Binne Byte-Pair Encoding (BPE): Hoe LLMs Karakters in Subwoordtokens Segmenteer
Moderne transformator-argitekture—insluitend OpenAI se GPT-5- en GPT-4.1-reekse, Anthropic se Claude 4.6, Google se Gemini 3.1 en 2.5, xAI se Grok 4, Meta se Llama 4, en DeepSeek V3/R1—verwerk teks deur deterministiese subwoord-tokeniseringsalgoritmes soos Byte-Pair Encoding (BPE) en SentencePiece. In plaas daarvan om 'n eindelose woordeboek van elke woord in elke taal te handhaaf, begin BPE met individuele UTF-8-grepe en voeg iteratief die mees gereelde aangrensende karakterpare saam in subwoordtokens.
As gevolg hiervan word 'n algemene Engelse woord met 'n leidende spasie soos ` intelligence` as 'n enkele heelgetal-token-ID geënkodeer, terwyl 'n onbekende saamgestelde term, 'n heksadesimale hutspot of 'n swaar ingesprongde Python-blok in dosyne individuele tokens gebreek word. Multinook se visuele tokeniseerder herskep hierdie subwoordgrense intyds binne jou blaaier-RAM.

