Analýza Byte-Pair Encoding (BPE): Ako LLM delia znaky na subbajtové tokeny
Moderné architektúry transformátorov – vrátane série GPT-5 a GPT-4.1 od OpenAI, Claude 4.6 od Anthropic, Gemini 3.1 a 2.5 od Google, Grok 4 od xAI, Llama 4 od Meta a DeepSeek V3/R1 – spracovávajú text prostredníctvom deterministických algoritmov tokenizácie podreťazcov, ako sú Byte-Pair Encoding (BPE) a SentencePiece. Namiesto udržiavania nekonečného slovníka každého slova v každom jazyku začína BPE s jednotlivými bajtmi UTF-8 a iteratívne zlučuje najčastejšie susediace páry znakov do tokenov podreťazcov.
Výsledkom je, že bežné anglické slovo s úvodnou medzerou ako ` intelligence` je zakódované ako jediné celočíselné ID tokenu, zatiaľ čo neznámy zložený výraz, hexadecimálny hash alebo silne odsadený blok Pythonu je rozbitý na desiatky jednotlivých tokenov. Vizuálny tokenizátor Multinook rekonštruuje tieto hranice subbajtov v reálnom čase v pamäti RAM vášho prehliadača.

