Bên Trong Mã Hóa Byte-Pair (BPE): Cách LLM Phân Đoạn Ký Tự Thành Token Từ Nhỏ
Các kiến trúc transformer hiện đại—bao gồm dòng GPT-5 và GPT-4.1 của OpenAI, Claude 4.6 của Anthropic, Gemini 3.1 và 2.5 của Google, Grok 4 của xAI, Llama 4 của Meta và DeepSeek V3/R1—xử lý văn bản thông qua các thuật toán phân đoạn token từ nhỏ mang tính quyết định như Mã hóa Byte-Pair (BPE) và SentencePiece. Thay vì duy trì một từ điển vô hạn gồm mọi từ trong mọi ngôn ngữ, BPE bắt đầu với các byte UTF-8 riêng lẻ và lặp đi lặp lại việc hợp nhất các cặp ký tự liền kề thường xuyên nhất thành các token từ nhỏ.
Kết quả là, một từ tiếng Anh phổ biến có khoảng trắng đi đầu như ` intelligence` được mã hóa thành một ID token số nguyên duy nhất, trong khi một thuật ngữ ghép không quen thuộc, một mã băm thập lục phân hoặc một khối Python thụt lề nhiều sẽ bị phân mảnh thành hàng chục token riêng lẻ. Trình tạo token trực quan của Multinook tái tạo lại các ranh giới từ nhỏ này trong thời gian thực bên trong RAM trình duyệt của bạn.