Byte-Pair Encoding (BPE) -menetelmän sisällä: Miten LLM:t pilkkovat merkit osasanatokeneiksi
Nykyaikaiset transformer-arkkitehtuurit – mukaan lukien OpenAI:n GPT-5- ja GPT-4.1-sarjat, Anthropicin Claude 4.6, Googlen Gemini 3.1 ja 2.5, xAI:n Grok 4, Metan Llama 4 sekä DeepSeek V3/R1 – käsittelevät tekstiä determinististen osasanatokenisointialgoritmien, kuten Byte-Pair Encoding (BPE) ja SentencePiece, kautta. Sen sijaan että ylläpidettäisiin ääretöntä sanakirjaa jokaisesta sanasta millä tahansa kielellä, BPE aloittaa yksittäisillä UTF-8-tavuilla ja yhdistää iteratiivisesti useimmiten vierekkäiset merkkiparit osasanatokeneiksi.
Tämän seurauksena yleinen englanninkielinen sana, jonka edessä on tyhjä tila, kuten ` intelligence`, koodataan yhtenä kokonaislukutokenin tunnuksena, kun taas tuntematon yhdyssana, heksadesimaalitiiviste tai raskaasti sisennetty Python-lohko pilkotaan kymmeniksi yksittäisiksi tokeneiksi. Multinookin visuaalinen tokenisoija rekonstruoi nämä osasanojen rajat reaaliajassa selaimesi keskusmuistissa.

