Unutar kodiranja parova bajtova (BPE): Kako LLM-ovi segmentiraju znakove u tokene podreči
Moderne arhitekture transformatora — uključujući OpenAI-jevu seriju GPT-5 i GPT-4.1, Anthropicov Claude 4.6, Googleov Gemini 3.1 i 2.5, xAI-jev Grok 4, Metin Llama 4 i DeepSeek V3/R1 — obrađuju tekst kroz determinističke algoritme tokenizacije podreči kao što su Byte-Pair Encoding (BPE) i SentencePiece. Umjesto održavanja beskonačnog rječnika svake riječi na svakom jeziku, BPE počinje s pojedinačnim UTF-8 bajtovima i iterativno spaja najčešće susjedne parove znakova u tokene podreči.
Kao rezultat toga, uobičajena engleska riječ s vodećim razmakom poput ` intelligence` kodira se kao jedan cijeli ID tokena, dok se nepoznat složeni izraz, heksadecimalni heš ili jako uvučeni Python blok razbija na desetine pojedinačnih tokena. Multinookov vizuelni tokenizator rekonstruiše ove granice podreči u realnom vremenu unutar RAM-a vašeg pretraživača.

