Znotraj kodiranja v parih bajtov (BPE): Kako modeli LLM segmentirajo znake v podbesedne žetone
Sodobne arhitekture transformatorjev – vključno s serijami GPT-5 in GPT-4.1 družbe OpenAI, Claude 4.6 družbe Anthropic, Gemini 3.1 in 2.5 družbe Google, Grok 4 družbe xAI, Llama 4 družbe Meta ter DeepSeek V3/R1 – obdelujejo besedilo prek determinističnih algoritmov za tokenizacijo podbesed, kot sta kodiranje v parih bajtov (BPE) in SentencePiece. Namesto ohranjanja neskončnega slovarja vsake besede v vsakem jeziku BPE začne s posameznimi bajti UTF-8 in postopoma združuje najpogosteje sosednje pare znakov v podbesedne žetone.
Zato je običajna angleška beseda z vodilnim presledkom, kot je ` intelligence`, kodirana kot en sam celoštevilski ID žetona, medtem ko je neznan sestavljen izraz, šrajf heksadecimalne vrednosti ali močno zamaknjen blok Python razdrobljen na desettisoče posameznih žetonov. Multinookov vizualni tokenizator rekonstruira te podbesedne meje v realnem času znotraj pomnilnika RAM vašega brskalnika.

