Inuti Byte-Pair Encoding (BPE): Hur LLM-modeller segmenterar tecken till delordstokens
Moderna transformerarkitekturer – inklusive OpenAIs GPT-5- och GPT-4.1-serier, Anthropics Claude 4.6, Googles Gemini 3.1 och 2.5, xAI:s Grok 4, Metas Llama 4 samt DeepSeek V3/R1 – bearbetar text genom deterministiska subword-tokeniseringsalgoritmer som Byte-Pair Encoding (BPE) och SentencePiece. Istället för att upprätthålla en oändlig ordlista över varje ord på varje språk, börjar BPE med enskilda UTF-8-byten och sammanslår iterativt de mest frekvent intilliggande teckenparen till delordstokens.
Som ett resultat kodas ett vanligt engelskt ord med ett inledande blanksteg som ` intelligence` som ett enda heltals-token-ID, medan en okänd sammansatt term, en hexadecimal hash eller ett kraftigt indenterat Python-block bryts sönder i dussintals enskilda tokens. Multinooks visuella tokenizer återskapar dessa delordsgränser i realtid direkt i webbläsarens RAM-minne.

