Inne i Byte-Pair Encoding (BPE): Hvordan LLM-er segmenterer tegn til underordnede tokens
Moderne transformer-arkitekturer – inkludert OpenAIs GPT-5- og GPT-4.1-serie, Anthropics Claude 4.6, Googles Gemini 3.1 og 2.5, xAIs Grok 4, Metas Llama 4 og DeepSeek V3/R1 – behandler tekst gjennom deterministiske underordnede tokeniseringsalgoritmer som Byte-Pair Encoding (BPE) og SentencePiece. I stedet for å opprettholde en uendelig ordliste med alle ord på alle språk, starter BPE med individuelle UTF-8-byter og slår iterativt sammen de mest frekvente tilstøtende tegnparene til underordnede tokens.
Som et resultat kodes et vanlig engelsk ord med et ledende mellomrom som ` intelligence` som en enkelt heltallstoken-ID, mens et ukjent sammensatt uttrykk, en heksadesimal hash eller en sterkt innrykket Python-blokk brytes opp i dusinvis av individuelle tokens. Multinooks visuelle tokenizer gjenoppretter disse underordnede grensene i sanntid inne i nettleserens RAM.

