Ġewwa l-Byte-Pair Encoding (BPE): Kif l-LLMs Jaqsmu l-Karattri f'Tokens Subparola
L-arkitetturi tat-transformer moderni—inkluż is-serje GPT-5 u GPT-4.1 ta' OpenAI, Claude 4.6 ta' Anthropic, Gemini 3.1 u 2.5 ta' Google, Grok 4 ta' xAI, Llama 4 ta' Meta, u DeepSeek V3/R1—jipproċessaw it-test permezz ta' algoritmi deterministiċi ta' tokenizzazione subparola bħal Byte-Pair Encoding (BPE) u SentencePiece. Minflok ma jżommu dizzjunarju infinit ta' kull kelma f'kull lingwa, il-BPE jibda b'bytes individwali UTF-8 u jgħaqqd b'mod iterattiv l-aktar pari ta' karattri ta' spiss maġenb xulxin fi tokens subparola.
B'riżultat ta' dan, kelma Ingliża komuni bi spazju minn quddiem bħal ` intelligence` tiġi kkowdjata bħala ID ta' token sħiħ uniku, filwaqt li terminu kompost mhux familjari, hash eżadeċimali, jew blokk Python indenta ħafna jinqasam f'tużżani ta' tokens individwali. It-tokenizer viżwali ta' Multinook jerġa' jibni dawn il-fruntieri subparola f'ħin reali ġewwa r-RAM tal-browser tiegħek.

