Di Sebalik Pengekodan Pasangan Byte (BPE): Cara LLM Membahagikan Aksara kepada Token Subkata
Hibah transformer moden—termasuk siri GPT-5 dan GPT-4.1 OpenAI, Claude 4.6 Anthropic, Gemini 3.1 dan 2.5 Google, Grok 4 xAI, Llama 4 Meta, dan DeepSeek V3/R1—memproses teks melalui algoritma pengecaman token subkata deterministik seperti Pengekodan Pasangan Byte (BPE) and SentencePiece. Daripada mengekalkan kamiran tak terhingga bagi setiap perkataan dalam setiap bahasa, BPE bermula dengan bait UTF-8 individu dan secara berulang menggabungkan pasangan aksara yang paling kerap bersebelahan ke dalam token subkata.
Akibatnya, perkataan biasa Bahasa Inggeris dengan ruang pendahuluan seperti ` intelligence` dikodkan sebagai ID token integer tunggal, manakala istilah majmuk yang tidak biasa, cincangan heksadesimal, atau blok Python yang berindentasi berat dipecahkan kepada dozen token individu. Pengecam token visual Multinook membina semula sempadan subkata ini dalam masa nyata di dalam RAM pelayar anda.

