Inden i Byte-Pair Encoding (BPE): Hvordan LLM'er opdeler tegn i underordnede token-stumper (subwords)
Moderne transformer-arkitekturer – herunder OpenAIs GPT-5- og GPT-4.1-serier, Anthropics Claude 4.6, Googles Gemini 3.1 og 2.5, xAI's Grok 4, Metas Llama 4 og DeepSeek V3/R1 – behandler tekst gennem deterministiske subword-tokeniseringsalgoritmer såsom Byte-Pair Encoding (BPE) og SentencePiece. I stedet for at opretholde en uendelig ordbog over hvert eneste ord på alle sprog, starter BPE med individuelle UTF-8-bytes og fletter iterativt de hyppigste tilstødende tegnpar til subword-tokens.
Som et resultat heraf indkodes et almindeligt engelsk ord med et foranstillet mellemrum som ` intelligence` som et enkelt heltals-token-id, hvorimod et ukendt sammensat udtryk, et hexadecimalt hash eller en stærkt indrykket Python-blok opdeles i dusinvis af individuelle tokens. Multinooks visuelle tokenizer genskaber disse subword-grænser i realtid inde i din browsers RAM.

