เจาะลึก Byte-Pair Encoding (BPE): วิธีที่ LLM แบ่งส่วนตัวอักษรเป็นโทเค็นคำย่อย
สถาปัตยกรรม Transformer สมัยใหม่ ซึ่งรวมถึงซีรีส์ GPT-5 และ GPT-4.1 ของ OpenAI, Claude 4.6 ของ Anthropic, Gemini 3.1 และ 2.5 ของ Google, Grok 4 ของ xAI, Llama 4 ของ Meta และ DeepSeek V3/R1 จะประมวลผลข้อความผ่านอัลกอริทึมการแยกโทเค็นคำย่อยแบบดีเทอร์มิสติก เช่น Byte-Pair Encoding (BPE) และ SentencePiece แทนที่จะรักษาพจนานุกรมอนันต์ของทุกคำในทุกภาษา BPE จะเริ่มต้นด้วยไบต์ UTF-8 แต่ละไบต์ และรวมคู่ตัวอักษรที่อยู่ติดกันบ่อยที่สุดซ้ำๆ เป็นโทเค็นคำย่อย
ด้วยเหตุนี้ คำภาษาอังกฤษทั่วไปที่มีช่องว่างนำหน้า เช่น ` intelligence` จึงถูกเข้ารหัสเป็น ID โทเค็นจำนวนเต็มเดียว ในขณะที่คำประสมที่ไม่คุ้นเคย แฮชเลขฐานสิบทก หรือบล็อก Python ที่เยื้องลึกจะถูกแยกย่อยออกเป็นโทเค็นส่วนบุคคลหลายสิบ��ทเค็น ตัว tokenizer แบบภาพของ Multinook จะสร้างขอบเขตคำย่อยเหล่านี้ขึ้นใหม่แบบเรียลไทม์ภายใน RAM ของเบราว์เซอร์ของคุณ

