Dentro da codificación de pares de bytes (BPE): como os LLM segmentan os caracteres en tokens de subpalabras
As arquitecturas de transformadores modernas —incluíndo a serie GPT-5 e GPT-4.1 de OpenAI, Claude 4.6 de Anthropic, Gemini 3.1 e 2.5 de Google, Grok 4 de xAI, Llama 4 de Meta e DeepSeek V3/R1— procesan o texto mediante algoritmos deterministas de tokenización de subpalabras como a codificación de pares de bytes (BPE) e SentencePiece. En lugar de manter un dicionario infinito de cada palabra en cada idioma, BPE comeza con bytes UTF-8 individuais e fusiona de forma iterativa os pares de caracteres adyacentes máis frecuentes en tokens de subpalabras.
Como resultado, unha palabra común en inglés cun espazo inicial como ` intelligence` codifícase como un único ID de token enteiro, mentres que un termo composto descoñecido, un hash hexadecimal ou un bloque de Python moi sangrado fractúrase en ducias de tokens individuais. O tokenizador visual de Multinook reconstrúe estes límites de subpalabras en tempo real dentro da RAM do navegador.

