Вътре в кодирането на двойки байтове (BPE): Как LLM моделите сегментират знаците в токени от поддуми
Съвременните трансформиращи архитектури — включително сериите GPT-5 и GPT-4.1 на OpenAI, Claude 4.6 на Anthropic, Gemini 3.1 и 2.5 на Google, Grok 4 на xAI, Llama 4 на Meta и DeepSeek V3/R1 — обработват текст чрез детерминистични алгоритми за токенизация на поддуми като кодиране на двойки байтове (BPE) и SentencePiece. Вместо да поддържа безкраен речник на всяка дума на всеки език, BPE започва с отделни UTF-8 байтове и итеративно обединява най-често съседните двойки знаци в токени от поддуми.
В резултат на това обикновена английска дума с водещ интервал като ` intelligence` се кодира като едно цяло число токен ID, докато непознат със��авен термин, шестнадесетичен хеш или силно индентиран Python блок се раздробяват на десетки отделни токени. Визуалният токенизатор на Multinook възстановява тези граници на поддумите в реално време в RAM паметта на браузъра ви.

