A Byte-Pair Encoding (BPE) belsejében: Hogyan bontják az LLM-ek a karaktereket részszó-tokenekre
A modern transzformátor-architektúrák – beleértve az OpenAI GPT-5 és GPT-4.1 sorozatát, az Anthropic Claude 4.6-ját, a Google Gemini 3.1-es és 2.5-ös verzióját, az xAI Grok 4-ét, a Meta Llama 4-ét, valamint a DeepSeek V3/R1-et – determinisztikus részszó-tokenizálási algoritmusokon (például Byte-Pair Encoding (BPE) és SentencePiece) keresztül dolgozzák fel a szöveget. Ahelyett, hogy minden egyes nyelv minden szavának végtelen szótárát fenntartanák, a BPE az egyes UTF-8 bájtokkal kezdődik, és iteratívan egyesíti a leggyakrabban egymás mellett lévő karakterpárt részszó-tokenekké.
Ennek eredményeként a vezető szóközzel rendelkező gyakori angol szavak, mint például a ` intelligence`, egyetlen egész tokenazonosítóként kódolódnak, míg egy ismeretlen összetett kifejezés, egy hexadecimális hash vagy egy erősen behúzott Python-blokk tucatnyi egyedi tokenre töredezik. A Multinook vizuális tokenizálója valós időben, a böngésző RAM-ján belül állítja helyre ezeket a részszó-határokat.

