Внатре во кодирањето со пар знаци (BPE): Како LLM ги сегментираат знаците во токени со потзборови
Современите трансформаторски архитектури — вклучувајќи ги сериите GPT-5 и GPT-4.1 на OpenAI, Claude 4.6 на Anthropic, Gemini 3.1 и 2.5 на Google, Grok 4 на xAI, Llama 4 на Meta и DeepSeek V3/R1 — го обработуваат текстот преку детерминистички алгоритми за токенизација на потзборови како Byte-Pair Encoding (BPE) и SentencePiece. Наместо да одржуваат бесконечен речник за секој збор на секој јазик, BPE започнува со индивидуални UTF-8 бајти и итеративно ги спојува најчестите соседни парови знаци во токени со потзборови.
Како резултат на тоа, вообичаениот англиски збор со водечки празно место, како ` intelligence`, се кодира како еден целуларен ID на токен, додека непознат сложен термин, хексадецимален хаш или силно вовлечен Python блок се скршува на десетици поединечни токени. Визуелниот токенизер на Multinook ги реконструира овие граници на потзборови во реално време во RAM меморијата на вашиот прелистувач.

