În culisele codării Byte-Pair Encoding (BPE): Cum segmentează LLM-urile caracterele în tokenuri de subcuvinte
Arhitecturile moderne de tip transformer — inclusiv seriile OpenAI GPT-5 și GPT-4.1, Anthropic Claude 4.6, Google Gemini 3.1 și 2.5, xAI Grok 4, Meta Llama 4 și DeepSeek V3/R1 — procesează textul prin algoritmi determiniști de tokenizare a subcuvintelor, cum ar fi Byte-Pair Encoding (BPE) și SentencePiece. În loc să mențină un dicționar infinit al fiecărui cuviu în fiecare limbă, BPE pornește de la octeți UTF-8 individuali și combină iterativ perechile de caractere cel mai frecvent adiacente în tokenuri de subcuvinte.
Ca rezultat, un cuviu comun în limba engleză cu un spațiu inițial precum ` intelligence` este codificat ca un singur ID de token întreg, în timp ce un termen compus nefamiliar, un hash hexazecimal sau un bloc Python puternic indentat este fracturat în zeci de tokenuri individuale. Tokenizatorul vizual de la Multinook reconstruiește aceste limite de subcuvinte în timp real în memoria RAM a browserului.

