Unutar kodiranja parova bajtova (BPE): Kako LLM-ovi segmentiraju znakove u podriječne tokene
Moderne arhitekture transformatora – uključujući OpenAI-jeve serije GPT-5 i GPT-4.1, Anthropicov Claude 4.6, Googleov Gemini 3.1 i 2.5, xAI-jev Grok 4, Metin Llama 4 i DeepSeek V3/R1 – obrađuju tekst kroz determinističke algoritme tokenizacije podriječi kao što su Byte-Pair Encoding (BPE) i SentencePiece. Umjesto održavanja beskonačnog rječnika svake riječi na svakom jeziku, BPE započinje s pojedinačnim UTF-8 bajtovima i iterativno spaja najčešće susjedne parove znakova u podriječne tokene.
Kao rezultat toga, uobičajena engleska riječ s vodećim razmakom poput ` intelligence` kodira se kao jedan cjelobrojni ID tokena, dok se nepoznat složeni izraz, heksadecimalni hash ili jako uvučeni Python blok razbija na desetke pojedinačnih tokena. Multinookov vizualni tokenizator rekonstruira ove granice podriječi u stvarnom vremenu unutar RAM-a vašeg preglednika.

