Iza kulisa Byte-Pair Encoding (BPE) algoritma: Kako LLM modeli segmentiraju znakove u podređene tokene
Moderne transformatorske arhitekture—uključujući OpenAI GPT-5 i GPT-4.1 seriju, Anthropic Claude 4.6, Google Gemini 3.1 i 2.5, xAI Grok 4, Meta Llama 4 i DeepSeek V3/R1—obrađuju tekst kroz determinističke algoritme tokenizacije podređenih delova kao što su Byte-Pair Encoding (BPE) i SentencePiece. Umesto održavanja beskonačnog rečnika svake reči na svakom jeziku, BPE počinje sa pojedinačnim UTF-8 bajtovima i iterativno spaja najčešće susedne parove znakova u podređene tokene.
Kao rezultat toga, uobičajena engleska reč sa vodećim razmakom poput ` intelligence` kodira se kao jedan celobrojni ID tokena, dok se nepoznat složeni termin, heksadecimalni heš ili duboko uvučeni Python blok razlaže na desetine pojedinačnih tokena. Multinook-ov vizuelni tokenizer rekonstruiše ove granice podređenih delova u realnom vremenu unutar RAM-a vašeg pretraživača.

