Ollama: lokalny model AI do programowania krok po kroku

Ollama to bezpłatne narzędzie, które pozwala pobrać otwarty model językowy i uruchomić go na własnym komputerze, bez konta w chmurze i bez płacenia za każdy wysłany fragment kodu. Dla osób, które programują z pomocą AI, to najprostsza droga do asystenta działającego lokalnie: jedno polecenie pobiera model, drugie go uruchamia, a edytor łączy się z nim przez lokalne API. W tym tekście wyjaśniamy, czym jest Ollama, jakiego sprzętu wymaga, jak ją zainstalować na Windows, macOS i Linuksie, jak dobrać model do kodu i podpiąć go do edytora oraz jakich błędów bezpieczeństwa unikać.

Czym jest Ollama i do czego służy

Ollama to program działający w tle jako lokalny serwer modeli. Pobiera pliki modelu z własnej biblioteki, dobiera sposób ładowania do karty graficznej lub procesora, pilnuje pamięci i udostępnia gotowy interfejs do rozmowy. Projekt jest rozwijany otwarcie na GitHubie na licencji MIT, a nowe wersje wychodzą co kilka dni.

Z Ollamą rozmawia się na trzy sposoby: w terminalu, w aplikacji okienkowej na Windows i macOS albo przez API, z którego korzystają wtyczki do edytorów i własne skrypty. Sam program nie jest modelem. To silnik, do którego wkłada się wybrany duży model językowy (LLM), na przykład wyspecjalizowany w programowaniu.

Dlaczego model lokalnie i kiedy chmura wypada lepiej

Dla osoby, która uprawia vibecoding, czyli buduje oprogramowanie, opisując AI, co ma powstać, lokalny model ma kilka konkretnych zalet:

Prywatność kodu. Dokumentacja Ollamy wprost zaznacza, że przy uruchamianiu lokalnym firma nie widzi promptów ani danych. Kod klienta i wewnętrzne repozytoria nie opuszczają komputera.
Brak opłat za tokeny. Płacisz za sprzęt i prąd, a nie za każde zapytanie. Przy agentach, które w pętli czytają dziesiątki plików, to odczuwalna różnica.
Praca offline. Po pobraniu modelu internet nie jest potrzebny, co docenisz w pociągu, w samolocie i w sieciach firmowych z ograniczeniami.

Uczciwie trzeba jednak powiedzieć, że model, który mieści się w laptopie, zwykle przegrywa z największymi modelami w chmurze. Przy dużych refaktoryzacjach, rozumieniu nietypowej architektury czy długich zadaniach agentowych różnica bywa wyraźna. Na słabszym komputerze odpowiada też wolno. Rozsądny podział wygląda często tak: lokalnie podpowiedzi, proste funkcje, testy i praca na poufnym kodzie, w chmurze najtrudniejsze zadania. Jeśli zastanawiasz się, jak w tym zestawieniu wypadają popularne usługi, opisaliśmy je w tekście ChatGPT, Claude, Grok i Perplexity: które narzędzie do czego.

Uwaga: Ollama oferuje też modele w chmurze, oznaczone w bibliotece jako cloud. Wtedy zapytania trafiają na serwery usługi, więc jeśli kod ma nie wychodzić z komputera, wybieraj wyłącznie modele pobierane na dysk.

Wymagania sprzętowe: RAM, VRAM i kwantyzacja

Najważniejszy parametr to pamięć. Model musi zmieścić się w pamięci karty graficznej (VRAM), a jeśli się nie zmieści, część obliczeń trafia na procesor i praca wyraźnie zwalnia. Prosta zasada: potrzebujesz tyle pamięci, ile waży plik modelu, plus zapas na okno kontekstu i system.

Rozmiar pliku zależy od liczby parametrów i od kwantyzacji. Kwantyzacja to zapisanie wag modelu z mniejszą precyzją, na przykład w 4 bitach zamiast 16. Model robi się kilka razy mniejszy, a jakość spada nieznacznie. Dobrze widać to na przykładzie rodziny Qwen2.5-Coder w bibliotece Ollamy:

Wariant	Rozmiar pliku
7B, kwantyzacja 4-bitowa (domyślna)	4,7 GB
7B, kwantyzacja 8-bitowa	8,1 GB
7B, pełna precyzja 16-bitowa	15 GB
14B, kwantyzacja 4-bitowa	9,0 GB
32B, kwantyzacja 4-bitowa	20 GB

W praktyce karta z 8 GB VRAM wystarczy do modeli rzędu 7-8 mld parametrów, 12-16 GB otwiera drogę do modeli 14B, a modele około 30B wymagają już 24 GB lub więcej. Na komputerach Apple z procesorami serii M grafika korzysta ze wspólnej pamięci zunifikowanej, więc Mac z 32 GB lub więcej uruchomi modele, które na PC wymagałyby drogiej karty. Ollama wymaga na macOS systemu Sonoma (14) lub nowszego, a na Makach z procesorem Intela działa tylko na CPU.

Na PC obsługiwane są karty NVIDIA o compute capability 5.0 lub wyższym ze sterownikiem 550 lub nowszym, karty AMD Radeon przez ROCm v7, a dodatkowo karty działające z Vulkanem. Na Windows potrzebny jest system Windows 10 22H2 lub nowszy i co najmniej 4 GB miejsca na sam program, nie licząc modeli, które ważą od kilku do kilkuset gigabajtów. Jeśli dopiero kompletujesz sprzęt, przyda się nasz poradnik jak wybrać laptop do pracy.

Instalacja Ollamy na Windows, macOS i Linuksie

Instalacja zajmuje kilka minut, a na Windows nie wymaga uprawnień administratora.

Windows: pobierz instalator OllamaSetup.exe ze strony projektu albo w PowerShellu wpisz irm https://ollama.com/install.ps1 | iex. Domyślnie program instaluje się w katalogu użytkownika.
macOS: pobierz plik Ollama.dmg i przeciągnij aplikację do folderu Programy albo użyj polecenia curl -fsSL https://ollama.com/install.sh | sh.
Linux: w terminalu uruchom curl -fsSL https://ollama.com/install.sh | sh. Dostępny jest też oficjalny obraz Dockera ollama/ollama.

Po instalacji serwer działa w tle. Pierwsze kroki w terminalu wyglądają tak:

ollama pull qwen2.5-coder:7b pobiera model na dysk,
ollama run qwen2.5-coder:7b uruchamia model i otwiera rozmowę w terminalu,
ollama ls pokazuje pobrane modele,
ollama ps pokazuje modele załadowane do pamięci i to, czy działają na GPU czy na CPU,
ollama stop qwen2.5-coder:7b zwalnia pamięć, a ollama rm qwen2.5-coder:7b usuwa model z dysku.

Modele trafiają domyślnie do katalogu .ollama/models w folderze użytkownika (na Linuksie do /usr/share/ollama/.ollama/models). Jeśli brakuje miejsca na dysku systemowym, lokalizację zmienisz zmienną środowiskową OLLAMA_MODELS.

Jak wybrać model do programowania

Biblioteka Ollamy zawiera kilkadziesiąt modeli przydatnych do kodu i pracy z narzędziami. Zamiast szukać jednego najlepszego, lepiej dobrać model do pamięci i rodzaju pracy. Przykładowe rodziny, które pod koniec października 2026 roku są dostępne do pobrania:

Qwen2.5-Coder od Alibaby: seria wyspecjalizowana w generowaniu i poprawianiu kodu, w rozmiarach od 0,5B do 32B, z oknem kontekstu 32 tys. tokenów. Dobra na start na słabszym sprzęcie.
Qwen3-Coder: model z myślą o pracy agentowej i długim kontekście. Wariant 30B waży 19 GB, a dzięki architekturze mieszanki ekspertów aktywuje przy każdym tokenie tylko około 3,3 mld parametrów, więc działa szybciej, niż sugeruje rozmiar.
Devstral Small 2 od Mistrala: model 24B (15 GB) przeznaczony do przeglądania repozytoriów i edycji wielu plików przez agentów, na licencji Apache 2.0.

Najprościej przetestować dwa lub trzy modele na własnym projekcie: poprosić o tę samą funkcję, test i poprawkę błędu, a potem porównać wyniki. Benchmarki nie powiedzą, jak model radzi sobie z Twoim frameworkiem.

Lokalne API i podpięcie do edytora

Ollama nasłuchuje domyślnie pod adresem 127.0.0.1 na porcie 11434. Oprócz własnego API (na przykład http://localhost:11434/api/chat) udostępnia punkty zgodne z API OpenAI pod adresem http://localhost:11434/v1/, w tym /v1/chat/completions, /v1/models i /v1/embeddings. Dzięki temu większość narzędzi, które potrafią rozmawiać z OpenAI, połączy się z lokalnym modelem po zmianie adresu bazowego. Klient często wymaga podania klucza API: przy pracy lokalnej możesz wpisać dowolny tekst, bo Ollama go ignoruje.

Do edytora i asystentów kodu masz kilka dróg:

Rozszerzenie Ollama do VS Code, które według dokumentacji pozwala używać modeli w czacie edytora.
Polecenie ollama launch, które konfiguruje i uruchamia obsługiwane narzędzia, m.in. agentów kodujących działających w terminalu.
Wtyczki zewnętrzne do VS Code i środowisk JetBrains, które mają wbudowanego dostawcę Ollama albo pozwalają wpisać adres zgodny z OpenAI.

Okno kontekstu i ograniczenia jakości

Tu kryje się najczęstsza pułapka. Okno kontekstu to ilość tekstu, którą model widzi naraz: Twoje pytanie, fragmenty plików, historię rozmowy. Ollama ustawia domyślną długość kontekstu zależnie od pamięci karty: poniżej 24 GB VRAM to 4 tys. tokenów, przy 24-48 GB 32 tys., a od 48 GB 256 tys. Dokumentacja zaleca, by do narzędzi kodujących i agentów ustawić co najmniej 64 tys. tokenów.

Za mały kontekst powoduje, że model „zapomina” początek pliku lub wcześniejsze ustalenia i odpowiada niespójnie. Długość zmienisz zmienną OLLAMA_CONTEXT_LENGTH dla całego serwera albo parametrem num_ctx w zapytaniu. Pamiętaj, że większy kontekst zużywa więcej pamięci. Po zmianie uruchom ollama ps i sprawdź kolumnę PROCESSOR: jeśli zamiast 100% GPU widzisz podział z CPU, model przestał mieścić się w karcie i zwolni.

Nawet dobrze skonfigurowany model lokalny ma swoje granice. Zdarzają mu się zmyślone funkcje bibliotek, przestarzała wiedza o wersjach frameworków i błędy w długich zadaniach wieloetapowych. Dlatego zasada znana z chmury obowiązuje tu jeszcze mocniej: kod z AI czytaj, testuj i rozumiej. O tym, czym w praktyce różni się praca kogoś, kto tylko promptuje, od pracy kogoś, kto rozumie wynik, piszemy w tekście vibecoder: slogan czy zawód.

Bezpieczeństwo i licencje

Domyślne ustawienie, w którym Ollama nasłuchuje tylko na 127.0.0.1, jest bezpieczne. Problem zaczyna się, gdy ktoś zmienia zmienną OLLAMA_HOST na 0.0.0.0 lub publikuje port kontenera, żeby mieć dostęp z innego urządzenia, i przy okazji wystawia API do internetu. API Ollamy nie ma wbudowanego logowania. W styczniu 2026 roku badacze SentinelOne i Censys opisali ponad 175 tys. publicznie dostępnych serwerów Ollama w 130 krajach. W maju 2026 roku ujawniono lukę CVE-2026-7482, nazwaną Bleeding Llama: błąd w ładowaniu plików modeli pozwalał bez uwierzytelnienia odczytać fragmenty pamięci procesu, w tym prompty i klucze API. Poprawka trafiła do wersji 0.17.1.

Wniosek: nie wystawiaj portu 11434 do internetu, do zdalnego dostępu używaj VPN lub tunelu SSH i regularnie aktualizuj program.

Druga sprawa to licencje. Ollama jest na licencji MIT, ale każdy model ma własną. Część korzysta z liberalnych licencji, jak Apache 2.0, inne mają własne warunki, które mogą ograniczać zastosowania komercyjne lub wymagać oznaczeń. Zanim użyjesz modelu w projekcie dla klienta, przeczytaj licencję na jego stronie w bibliotece.

Lista kontrolna: Ollama do programowania

Sprawdź, ile masz VRAM lub pamięci zunifikowanej, i dobierz rozmiar modelu z zapasem na kontekst.
Zainstaluj Ollamę z oficjalnej strony lub repozytorium i trzymaj ją w aktualnej wersji.
Pobierz dwa-trzy modele kodujące i porównaj je na własnym projekcie.
Ustaw okno kontekstu na co najmniej 64 tys. tokenów, jeśli korzystasz z agentów.
Po zmianie kontekstu sprawdź ollama ps, czy model działa w całości na GPU.
Podłącz edytor przez rozszerzenie lub adres http://localhost:11434/v1/.
Nie zmieniaj adresu nasłuchu na publiczny i nie przekierowuj portu 11434 na routerze.
Jeśli zależy Ci na prywatności, nie używaj modeli oznaczonych jako cloud.
Przeczytaj licencję modelu przed użyciem go w komercyjnym projekcie.
Traktuj wygenerowany kod jak kod od nowego członka zespołu: przeglądaj go i testuj.

Ollama sprawiła, że lokalny asystent kodu przestał być projektem na weekend. Nie zastąpi w każdej sytuacji największych modeli w chmurze, ale do codziennej pracy, poufnych repozytoriów i nauki daje dużo za cenę sprzętu, który często już masz. Klucz to dobrany do pamięci model, rozsądnie ustawiony kontekst i serwer, który słucha tylko Ciebie.

Źródła

Redakcja HotaruMiłośnicy nowych technologii

Redakcję Hotaru.pl tworzą doświadczeni copywriterzy, redaktorzy, specjaliści IT oraz pasjonaci nowych technologii. Łączy nas ciekawość świata, zamiłowanie do komputerów, elektroniki i oprogramowania, a także przekonanie, że nawet najbardziej złożone zagadnienia można wyjaśnić prostym i zrozumiałym językiem. Na bieżąco śledzimy rozwój sztucznej inteligencji, modeli LLM, sprzętu komputerowego oraz cyfrowych usług. Testujemy narzędzia, sprawdzamy informacje i oddzielamy rzeczywiste możliwości technologii od marketingowych obietnic. Każdy temat analizujemy z punktu widzenia specjalisty i użytkownika. Chcemy tworzyć treści rzetelne, praktyczne i przydatne, które pomagają lepiej rozumieć cyfrowy świat, podejmować świadome decyzje i wykorzystywać technologię w codziennym życiu.

Kontakt z redakcją