Di Dalam Byte-Pair Encoding (BPE): Bagaimana LLM Mengsegmentasi Karakter ke dalam Token Subkata
Arsitektur transformer modern—termasuk seri GPT-5 dan GPT-4.1 OpenAI, Claude 4.6 Anthropic, Gemini 3.1 dan 2.5 Google, Grok 4 xAI, Llama 4 Meta, dan DeepSeek V3/R1—memproses teks melalui algoritma tokenisasi subkata deterministik seperti Byte-Pair Encoding (BPE) dan SentencePiece. Alih-alih mempertahankan kamus tak terbatas dari setiap kata di setiap bahasa, BPE dimulai dengan byte UTF-8 individual dan secara berulang menggabungkan pasangan karakter yang paling sering berdampingan menjadi token subkata.
Hasilnya, kata bahasa Inggris umum dengan spasi di depan seperti ` intelligence` dikodekan sebagai ID token bilangan bulat tunggal, sedangkan istilah gabungan yang asing, hash heksadesimal, atau blok Python yang menjorok ke dalam dipecah menjadi lusinan token individual. Tokenizer visual Multinook merekonstruksi batas-batas subkata ini secara real time di dalam RAM browser Anda.

