À l'intérieur de l'encodage par paires d'octets (BPE) : comment les LLM segmentent les caractères en jetons de sous-mots
Les architectures de transformateurs modernes — y compris les séries GPT-5 et GPT-4.1 d'OpenAI, Claude 4.6 d'Anthropic, Gemini 3.1 et 2.5 de Google, Grok 4 d'xAI, Llama 4 de Meta et DeepSeek V3/R1 — traitent le texte via des algorithmes de tokenisation par sous-mots déterministes tels que l'encodage par paires d'octets (BPE) et SentencePiece. Plutôt que de maintenir un dictionnaire infini de chaque mot dans chaque langue, le BPE commence par des octets UTF-8 individuels et fusionne de manière itérative les paires de caractères adjacentes les plus fréquentes en jetons de sous-mots.
Par conséquent, un mot anglais courant avec un espace initial comme ` intelligence` est encodé en un seul ID de jeton entier, tandis qu'un terme composé inconnu, un hachage hexadécimal ou un bloc Python fortement indenté est fracturé en des dizaines de jetons individuels. Le tokeniseur visuel de Multinook reconstruit ces limites de sous-mots en temps réel dans la RAM de votre navigateur.