Wewnątrz kodowania par bajtów (BPE): Jak modele LLM segmentują znaki na tokeny podwyrazowe
Nowoczesne architektury transformerów – w tym serie OpenAI GPT-5 i GPT-4.1, Anthropic Claude 4.6, Google Gemini 3.1 i 2.5, xAI Grok 4, Meta Llama 4 oraz DeepSeek V3/R1 – przetwarzają tekst za pomocą deterministycznych algorytmów tokenizacji podwyrazowej, takich jak Byte-Pair Encoding (BPE) i SentencePiece. Zamiast utrzymywać nieskończony słownik każdego słowa w każdym języku, BPE zaczyna od poszczególnych bajtów UTF-8 i iteracyjnie łączy najczęściej występujące pary sąsiadujących znaków w tokeny podwyrazowe.
W rezultacie powszechne angielskie słowo z poprzedzającą spacją, takie jak ` intelligence`, jest kodowane jako pojedyncze całkowite ID tokena, podczas gdy nieznany termin złożony, skrót heksadecymalny lub silnie wcięty blok Pythona są rozbijane na dziesiątki pojedynczych tokenów. Wizualny tokenizator Multinook rekonstruuje te granice podwyrazów w czasie rzeczywistym w pamięci RAM przeglądarki.

