All'interno del Byte-Pair Encoding (BPE): come gli LLM segmentano i caratteri in token di sotto-parole
Le moderne architetture transformer, tra cui le serie GPT-5 e GPT-4.1 di OpenAI, Claude 4.6 di Anthropic, Gemini 3.1 e 2.5 di Google, Grok 4 di xAI, Llama 4 di Meta e DeepSeek V3/R1, elaborano il testo tramite algoritmi deterministici di tokenizzazione a livello di sotto-parole (subword), come il Byte-Pair Encoding (BPE) e SentencePiece. Invece di mantenere un dizionario infinito di ogni parola in ogni lingua, il BPE parte da singoli byte UTF-8 e unisce iterativamente le coppie di caratteri adiacenti più frequenti in token di sotto-parole.
Di conseguenza, una parola inglese comune con uno spazio iniziale come ` intelligence` viene codificata come un singolo ID token intero, mentre un termine composto non familiare, un hash esadecimale o un blocco Python fortemente indentato viene frammentato in dozzine di token individuali. Il tokenizer visivo di Multinook ricostruisce questi confini di sotto-parole in tempo reale all'interno della RAM del tuo browser.

