Всередині Byte-Pair Encoding (BPE): як LLM сегментують символи на підсловні токени
Сучасні архітектури трансформерів, зокрема серії OpenAI GPT-5 та GPT-4.1, Anthropic Claude 4.6, Google Gemini 3.1 та 2.5, xAI Grok 4, Meta Llama 4 та DeepSeek V3/R1, обробляють текст за допомогою детерміністичних алгоритмів токенізації підслов, таких як Byte-Pair Encoding (BPE) та SentencePiece. Замість того, щоб підтримувати нескінченний словник кожного слова кожної мови, BPE починає з окремих байтів UTF-8 і ітеративно об'єднує найчастіше суміжні пари символів у підсловні токени.
У результаті звичайне англійське слово з пробілом на початку, наприклад ` intelligence`, кодується як один цілочисельний ідентифікатор токена, тоді як незнайомий складений термін, шістнадцятковий хеш або блок Python із сильним відступом розбивається на десятки окремих токенів. Візуальний токенайзер Multinook відновлює ці підсловні межі в реальному часі всередині оперативної пам'яті вашого браузера.

