Byte-Pair Encoding (BPE) İç Yüzü: LLM'ler Karakterleri Alt Kelime Token'larına Nasıl Bölüyor?
OpenAI'nin GPT-5 ve GPT-4.1 serisi, Anthropic'in Claude 4.6'sı, Google'ın Gemini 3.1 ve 2.5 sürümleri, xAI'nin Grok 4'ü, Meta'nın Llama 4'ü ve DeepSeek V3/R1 dahil olmak üzere modern transformatör mimarileri, metinleri Byte-Pair Encoding (BPE) ve SentencePiece gibi belirleyici alt kelime tokenizasyon algoritmaları aracılığıyla işler. BPE, her dildeki her kelimenin sonsuz bir sözlüğünü tutmak yerine ayrı ayrı UTF-8 baytlarıyla başlar ve en sık bitişik olan karakter çiftlerini yinelemeli olarak alt kelime token'larında birleştirir.
Sonuç olarak, başında boşluk olan yaygın bir İngilizce kelime (` intelligence` gibi) tek bir tamsayı token kimliği (ID) olarak kodlanırken; tanıdık olmayan bir bileşik terim, onaltılık bir hash veya yoğun bir şekilde girintilenmiş bir Python bloğu düzinelerce ayrı token'a bölünür. Multinook'un görsel tokenizörü, bu alt kelime sınırlarını tarayıcı RAM'inizde gerçek zamanlı olarak yeniden oluşturur.

