Binnen Byte-Pair Encoding (BPE): hoe LLM's tekst segmenteren in subwoordtokens
Moderne transformatorarchitecturen — waaronder OpenAI's GPT-5- en GPT-4.1-serie, Anthropic's Claude 4.6, Google's Gemini 3.1 en 2.5, xAI's Grok 4, Meta's Llama 4 en DeepSeek V3/R1 — verwerken tekst via deterministische subwoordtokenisatie-algoritmen zoals Byte-Pair Encoding (BPE) en SentencePiece. In plaats van een oneindig woordenboek van elk woord in elke taal bij te houden, begint BPE met individuele UTF-8-bytes en voegt het iteratief de meest frequent aangrenzende tekenparen samen tot subwoordtokens.
Als gevolg hiervan wordt een veelvoorkomend Engels woord met een leidende spatie zoals ` intelligence` gecodeerd als een enkel integer token-ID, terwijl een onbekende samengestelde term, een hexadecimale hash of een zwaar ingesprongen Python-blok wordt gebroken in tientallen individuele tokens. De visuele tokenizer van Multinook reconstruëert deze subwoordgrenzen in realtime in uw browser-RAM.

