Byte-Pair Encoding (BPE) daxilində: LLM-lər Simvolları Alt-söz Tokenlərinə Necə Bölür
OpenAI-nin GPT-5 və GPT-4.1 seriyaları, Anthropic-in Claude 4.6, Google-un Gemini 3.1 və 2.5, xAI-nin Grok 4, Meta-nın Llama 4 və DeepSeek V3/R1 daxil olmaqla müasir transformator arxitekturaları mətni Byte-Pair Encoding (BPE) və SentencePiece kimi deterministik alt-söz tokenizasiya alqoritmləri vasitəsilə emal edir. BPE hər dildəki hər sözün sonsuz lüğətini saxlamaq əvəzində fərdi UTF-8 baytlarından başlayır və ən çox tez-tez yanaşı gələn simvol cütlərini təkrar-təkrar alt-söz tokenlərinə birləşdirir.
Nəticədə, əvvəlində boşluq olan ümumi ingilis dili sözü ` intelligence` kimi tək tam ədəd token ID-si kimi kodlaşdırılır, tanış olmayan mürəkkəb termin, onaltılıq heş və ya güclü şəkildə indentasiya edilmiş Python bloku isə onlarla fərdi tokenə bölünür. Multinook-un vizual tokenizatoru brauzerinizin RAM-ı daxilində real vaxt rejimində bu alt-söz sərhədlərini yenidən qurur.

