Zákulisí kódování Byte-Pair Encoding (BPE): Jak LLM rozdělují znaky na podřízené tokeny
Moderní architektury transformátorů – včetně řad GPT-5 a GPT-4.1 od OpenAI, Claude 4.6 od Anthropic, Gemini 3.1 a 2.5 od Google, Grok 4 od xAI, Llama 4 od Meta a DeepSeek V3/R1 – zpracovávají text pomocí deterministických algoritmů subword tokenizace, jako je Byte-Pair Encoding (BPE) a SentencePiece. Místo udržování nekonečného slovníku každého slova v každém jazyce začíná BPE u jednotlivých bajtů UTF-8 a iterativně slučuje nejčastěji sousedící páry znaků do podřízených tokenů.
Výsledkem je, že běžné anglické slovo s úvodní mezerou, jako je ` intelligence`, je kódováno jako jediné celočíselné ID tokenu, zatímco neznámý složený výraz, šestnáctkovitý hash nebo silně odsazený blok Pythonu je rozdroben na desítky jednotlivých tokenů. Vizuální tokenizátor Multinook rekonstruuje tyto hranice podřízených tokenů v reálném čase uvnitř paměti RAM vašeho prohlížeče.

