A l'interior de la codificació de parells de bytes (BPE): com els LLM segmenten els caràcters en tokens de subparaules
Les arquitectures transformadores modernes—incloses les sèries GPT-5 i GPT-4.1 d'OpenAI, Claude 4.6 d'Anthropic, Gemini 3.1 i 2.5 de Google, Grok 4 d'xAI, Llama 4 de Meta i DeepSeek V3/R1—processen text mitjançant algorismes de tokenització de subparaules deterministes com ara la codificació de parells de bytes (BPE) i SentencePiece. En lloc de mantenir un diccionari infinit de cada paraula en cada idioma, BPE comença amb bytes UTF-8 individuals i fusiona de manera iterativa els parells de caràcters adjacents més freqüents en tokens de subparaules.
Com a resultat, una paraula anglesa comuna amb un espai inicial com ` intelligence` es codifica com un únic identificador de token sencer, mentre que un terme compost desconegut, un hash hexadecimal o un bloc Python amb molta sagnia es fractura en dotzenes de tokens individuals. El tokenitzador visual de Multinook reconstrueix aquests límits de subparaules en temps real dins de la memòria RAM del vostre navegador.

