Inni í Byte-Pair Encoding (BPE): Hvernig LLM skipta stöfum niður í undiroðstákn
Nútíma spennibyggingar — þar á meðal GPT-5 og GPT-4.1 röð OpenAI, Claude 4.6 frá Anthropic, Gemini 3.1 og 2.5 frá Google, Grok 4 frá xAI, Llama 4 frá Meta og DeepSeek V3/R1 — vinna úr texta í gegnum ákveðna undiroðstáknunaralgrím eins og Byte-Pair Encoding (BPE) og SentencePiece. Í stað þess að viðhalda óendanlegum orðabókum yfir öll orð á öllum tungumálum byrjar BPE á einstökum UTF-8 bétum og sameinar ítrekað algengustu aðlægu stafapörin í undiroðstákn.
Fyrir vikið er algengt enskt orð með undanfarandi bili eins og ` intelligence` kóðað sem einn heiltölutákna-kenni, á meðan ókunnugt samsett hugtak, sextánundarkóði eða innfelldur Python-blokkur brotnar niður í tugi einstakra tákna. Sjónræni táknerfi Multinook endurbyggir þessi undiroðsmörk í rauntíma inni í vinnsluminni vafrans þíns.

