LLM: co to jest duży model językowy i jak działa

LLM to skrót, który pojawia się w niemal każdym tekście o sztucznej inteligencji, a stoi za nim technologia napędzająca popularne czaty AI. Co to jest LLM? To duży model językowy, czyli program wytrenowany na ogromnych zbiorach tekstu, który na podstawie tego, co do niego napiszesz, przewiduje kolejne fragmenty odpowiedzi. W tym tekście wyjaśniamy bez wzorów i żargonu, jak działa duży model językowy, skąd bierze wiedzę, dlaczego czasem zmyśla i jak korzystać z niego rozsądnie.

LLM: co to jest i jak rozwinąć skrót

LLM to angielskie Large Language Model, po polsku duży model językowy. „Model” oznacza tu program matematyczny, który nauczył się statystycznych zależności w języku. „Językowy”, bo jego materiałem są słowa i zdania. „Duży”, bo ma bardzo wiele parametrów i był trenowany na gigantycznej ilości tekstu.

Dokumentacja Anthropic opisuje LLM jako modele językowe z wieloma parametrami, trenowane na ogromnych zbiorach danych tekstowych, które potrafią generować tekst podobny do ludzkiego, odpowiadać na pytania i streszczać informacje. Model nie jest jednak bazą danych z gotowymi odpowiedziami ani wyszukiwarką: za każdym razem tworzy odpowiedź od nowa.

Tokeny i przewidywanie kolejnego słowa

Model nie czyta tekstu tak jak człowiek. Najpierw dzieli go na tokeny, czyli małe jednostki, które mogą być całym słowem, jego fragmentem, pojedynczym znakiem, a nawet bajtem. Według dokumentacji Anthropic liczba znaków przypadająca na token zależy od modelu i od języka. W praktyce teksty po polsku, z odmianą przez przypadki i długimi wyrazami, zwykle rozpadają się na więcej tokenów niż ich angielskie odpowiedniki. Dlatego twórcy polskich modeli przygotowują tokenizery dopasowane do naszego języka.

Sedno działania LLM jest zaskakująco skromne: model dostaje ciąg tokenów i oblicza, jaki token najprawdopodobniej powinien być następny. Dopisuje go, a potem powtarza całą operację, już z dłuższym tekstem. Odpowiedź na Twoje pytanie powstaje więc token po tokenie. Parametr zwany temperaturą decyduje, czy model wybiera zawsze najbardziej prawdopodobną kontynuację, czy pozwala sobie na mniej oczywiste słowa. Stąd na to samo pytanie można dostać dwie różne odpowiedzi.

Transformer i mechanizm uwagi

Współczesne LLM opierają się na architekturze transformer, opisanej w 2017 roku w pracy naukowej „Attention Is All You Need” zespołu badaczy związanych z Google. Jej kluczowym elementem jest mechanizm uwagi (attention).

Uwagę najłatwiej wyobrazić sobie tak: przy przetwarzaniu każdego słowa model sprawdza, które inne słowa w tekście są dla niego najważniejsze. W zdaniu „Anna dała Kasi książkę, bo ona już ją przeczytała” mechanizm uwagi pomaga ustalić, do kogo odnosi się „ona” i czym jest „ją”. Transformer robi to dla wszystkich słów naraz i w wielu warstwach, dzięki czemu wychwytuje zarówno gramatykę, jak i dalekie powiązania znaczeniowe. Ta architektura dobrze się skaluje, co otworzyło drogę do dzisiejszych dużych modeli.

Jak powstaje duży model językowy

Trening LLM ma zwykle kilka etapów, które warto rozróżniać, bo tłumaczą wiele zachowań czatów AI.

Trening wstępny (pretraining). Model czyta ogromny zbiór tekstów i uczy się przewidywać kolejne słowo. Tak nabywa wiedzę o języku i świecie. Dokumentacja Anthropic zaznacza, że taki „surowy” model nie radzi sobie dobrze z odpowiadaniem na pytania ani z wykonywaniem poleceń. Potrafi przede wszystkim przekonująco kontynuować tekst.
Dostrajanie (fine-tuning). Model jest dalej trenowany na starannie przygotowanych przykładach rozmów i poleceń. Uczy się odpowiadać na pytania i trzymać instrukcji.
RLHF, czyli uczenie ze wzmocnieniem na podstawie opinii ludzi. Ludzie oceniają i układają w ranking kilka odpowiedzi modelu, a proces treningowy wzmacnia te zachowania, które zostały ocenione wyżej. Stosuje się też odmiany tej metody, w których część ocen wykonują inne modele.

Efekt tych etapów bywa ważniejszy niż sam rozmiar. W pracy OpenAI z 2022 roku o modelach InstructGPT oceniający woleli odpowiedzi modelu z 1,3 mld parametrów, dostrojonego metodą RLHF, od odpowiedzi GPT-3 ze 175 mld parametrów, czyli ponad stukrotnie większego.

Parametry, czyli co znaczy „duży”

Parametry to liczby wewnątrz modelu, które są ustawiane podczas treningu. Można o nich myśleć jak o pokrętłach: każde z osobna nic nie znaczy, ale razem kodują wszystko, czego model się nauczył. GPT-3, opisany w 2020 roku, miał 175 mld parametrów i był wtedy przełomem. Otwarte modele publikowane dziś w sieci mają od kilku do kilkuset miliardów parametrów. Wielu producentów najpopularniejszych modeli komercyjnych w ogóle nie ujawnia tej liczby, więc do krążących w internecie szacunków warto podchodzić z rezerwą.

Więcej parametrów zwykle oznacza większe możliwości, ale też wyższy koszt działania i potrzebę mocniejszego sprzętu. Dlatego rozwijane są też mniejsze modele, które da się uruchomić na laptopie lub smartfonie. „Duży” nie jest więc ścisłą granicą, tylko określeniem całej klasy modeli.

Okno kontekstu: pamięć robocza modelu

Okno kontekstu to ilość tekstu, którą model może jednocześnie „mieć przed oczami”, liczona w tokenach. Mieści się w nim polecenie systemowe, cała dotychczasowa rozmowa, wklejone dokumenty i odpowiedź, którą model właśnie pisze. Dokumentacja Anthropic nazywa je pamięcią roboczą i odróżnia od wiedzy zdobytej w treningu. Najnowsze modele tej firmy mają okno o wielkości 1 mln tokenów, a starsze 200 tys.

Wynikają z tego dwie praktyczne konsekwencje. Po pierwsze, model nie pamięta poprzednich rozmów, jeśli aplikacja sama nie dołączy ich do kontekstu (funkcje „pamięci” w czatach działają właśnie w ten sposób). Po drugie, większe okno nie zawsze znaczy lepiej. Ta sama dokumentacja przyznaje, że wraz ze wzrostem liczby tokenów spada dokładność i zdolność przypominania sobie szczegółów.

Halucynacje: dlaczego model zmyśla

Halucynacja to odpowiedź, która brzmi wiarygodnie, ale jest nieprawdziwa: zmyślony cytat, nieistniejący wyrok sądu, błędna data czy link donikąd. Wynika to wprost z zasady działania LLM. Model generuje tekst prawdopodobny, a prawdopodobny nie zawsze znaczy prawdziwy.

Badacze OpenAI w pracy z września 2025 roku wskazali jeszcze jedną przyczynę. Ich zdaniem trening i popularne testy nagradzają zgadywanie bardziej niż przyznanie się do niewiedzy. Model zachowuje się jak uczeń na teście, w którym za brak odpowiedzi jest zero punktów, a strzał daje szansę na punkt. Autorzy proponują zmianę sposobu oceniania modeli, tak by „nie wiem” przestało być karane. Żaden producent nie twierdzi, że halucynacje zostały wyeliminowane.

LLM a czatbot, asystent i wyszukiwanie

Sam model to tylko jeden element aplikacji, z której korzystasz. Czatbot czy asystent AI dokłada do niego interfejs, instrukcje systemowe, filtry bezpieczeństwa, pamięć rozmów i narzędzia: wyszukiwarkę, uruchamianie kodu czy dostęp do plików. Dlatego dwa produkty oparte na podobnym modelu mogą działać zupełnie inaczej. Różnice między popularnymi usługami opisaliśmy w tekście ChatGPT, Claude, Grok i Perplexity: które narzędzie AI do czego.

Ważną techniką jest RAG (retrieval augmented generation). Zanim model odpowie, system wyszukuje pasujące dokumenty, na przykład w internecie lub w firmowej bazie wiedzy, i wkleja je do okna kontekstu. Model odpowiada wtedy na podstawie konkretnych źródeł, a nie tylko pamięci z treningu, co zmniejsza ryzyko zmyśleń i pozwala podać aktualne informacje. Na tym mechanizmie opierają się wyszukiwarki AI, dlatego zmienia się też sposób, w jaki strony walczą o widoczność, o czym piszemy w artykule o pozycjonowaniu stron w AI.

Modele otwarte, zamknięte i polskie

Modele zamknięte są dostępne wyłącznie przez aplikację lub płatne API producenta. Tak udostępniane są na przykład najnowsze modele OpenAI, Anthropic czy Google. Modele otwarte, a dokładniej modele z otwartymi wagami, można pobrać i uruchomić na własnym serwerze, jak rodzina Llama od Meta czy modele Mistral AI. Warto pamiętać, że „otwarte wagi” to nie zawsze pełne open source: licencje bywają ograniczone, a dane treningowe zwykle nie są publikowane.

Polska ma dwa ważne projekty. PLLuM to rodzina otwartych polskich modeli rozwijana na zlecenie Ministerstwa Cyfryzacji, udostępniona w lutym 2025 roku. Prace prowadzi konsorcjum HIVE AI z NASK na czele, a modele mają od kilku do 70 mld parametrów. Część jest na licencjach pozwalających na użytek komercyjny, część tylko na niekomercyjny. W maju 2026 roku rodzinę poszerzono o nowe warianty, a głównym celem są zastosowania w administracji publicznej. Drugi projekt to Bielik, społecznościowa inicjatywa Fundacji SpeakLeash rozwijana we współpracy z ACK Cyfronet AGH. Generacja 3.0 obejmuje modele o wielkości 11 i 7 mld parametrów, udostępniane na licencji Apache 2.0. Oba projekty mają lepiej rozumieć polski język, prawo i kulturę niż modele trenowane głównie na tekstach angielskich.

Ograniczenia, bezpieczeństwo i AI Act

LLM nie rozumie świata tak jak człowiek. Nie zna bieżących wydarzeń, jeśli nie korzysta z wyszukiwarki, może powielać uprzedzenia obecne w danych treningowych i bywa podatny na tak zwane prompt injection, czyli ukryte polecenia w treści stron lub dokumentów, które próbują przejąć kontrolę nad jego działaniem. Treść rozmowy trafia też zwykle na serwery dostawcy. Nawet twórcy tej technologii otwarcie mówią o jej ryzykach, co omawiamy w tekście dlaczego twórcy AI ostrzegają przed AI.

W Unii Europejskiej modele ogólnego przeznaczenia, do których należą LLM, reguluje AI Act (rozporządzenie 2024/1689). Obowiązki ich dostawców, m.in. dokumentacja techniczna, polityka praw autorskich i publiczne podsumowanie danych treningowych, obowiązują od 2 sierpnia 2025 roku. Od 2 sierpnia 2026 roku Komisja Europejska może je egzekwować, także karami finansowymi, a modele wprowadzone na rynek przed sierpniem 2025 roku muszą spełnić wymogi do 2 sierpnia 2027 roku.

Lista kontrolna: jak bezpiecznie korzystać z LLM

Traktuj odpowiedź jak szkic do sprawdzenia, a nie wyrocznię, zwłaszcza w sprawach zdrowia, prawa i pieniędzy.
Proś o źródła i otwieraj je. Zmyślony link lub cytat to klasyczny objaw halucynacji.
Przy aktualnych tematach korzystaj z trybu wyszukiwania i sprawdzaj daty podanych informacji.
Nie wklejaj haseł, numerów PESEL, danych klientów ani poufnych dokumentów firmy, jeśli nie znasz zasad przetwarzania danych w danej usłudze.
Sprawdź w ustawieniach, czy Twoje rozmowy mogą służyć do trenowania modeli, i wyłącz tę opcję, jeśli jej nie chcesz.
Długą rozmowę zacznij od nowa, gdy model zaczyna gubić wcześniejsze ustalenia.
Formułuj polecenia konkretnie: podaj kontekst, cel, oczekiwaną formę i przykład.
Uważaj na polecenia ukryte w dokumentach i stronach, które dajesz asystentowi do analizy.
Do wrażliwych danych rozważ model uruchamiany lokalnie, na przykład z rodziny Bielik lub PLLuM, w narzędziu takim jak Ollama.

Duży model językowy to w gruncie rzeczy niezwykle sprawny mechanizm przewidywania tekstu, wzbogacony dostrajaniem, narzędziami i dostępem do źródeł. Kiedy wiesz, że odpowiedź powstaje token po tokenie na podstawie prawdopodobieństwa, łatwiej zrozumieć zarówno jego siłę, jak i słabości.

Źródła

Redakcja HotaruMiłośnicy nowych technologii

Redakcję Hotaru.pl tworzą doświadczeni copywriterzy, redaktorzy, specjaliści IT oraz pasjonaci nowych technologii. Łączy nas ciekawość świata, zamiłowanie do komputerów, elektroniki i oprogramowania, a także przekonanie, że nawet najbardziej złożone zagadnienia można wyjaśnić prostym i zrozumiałym językiem. Na bieżąco śledzimy rozwój sztucznej inteligencji, modeli LLM, sprzętu komputerowego oraz cyfrowych usług. Testujemy narzędzia, sprawdzamy informacje i oddzielamy rzeczywiste możliwości technologii od marketingowych obietnic. Każdy temat analizujemy z punktu widzenia specjalisty i użytkownika. Chcemy tworzyć treści rzetelne, praktyczne i przydatne, które pomagają lepiej rozumieć cyfrowy świat, podejmować świadome decyzje i wykorzystywać technologię w codziennym życiu.

Kontakt z redakcją