深入了解字节对编码(BPE):LLM 如何将字符分割为子词 Token
现代 Transformer 架构——包括 OpenAI 的 GPT-5 和 GPT-4.1 系列、Anthropic 的 Claude 4.6、Google 的 Gemini 3.1 和 2.5、xAI 的 Grok 4、Meta 的 Llama 4 以及 DeepSeek V3/R1——通过诸如字节对编码(BPE)和 SentencePiece 等确定性子词分词算法来处理文本。BPE 不维护每种语言中每个单词的无限字典,而是从单个 UTF-8 字节开始,迭代地将最频繁相邻的字符对合并为子词 Token。
因此,像 ` intelligence` 这样带有前导空格的常见英文单词会被编码为单个整数 Token ID,而不熟悉的复合词、十六进制哈希或高度缩进的 Python 块则会被拆分为数十个独立的 Token。Multinook 的可视化分词器会在浏览器内存��实时重建这些子词边界。

