داخل ترميز أزواج البايت (BPE): كيف تقسّم نماذج اللغات الكبيرة الحروف إلى رموز كلمات فرعية
تعالج بنيات المحولات (transformer architectures) الحديثة—بما في ذلك سلاسل OpenAI GPT-5 و GPT-4.1، و Anthropic Claude 4.6، و Google Gemini 3.1 و 2.5، و xAI Grok 4، و Meta Llama 4، و DeepSeek V3/R1—النصوص من خلال خوارزميات ترميز كلمات فرعية حتمية مثل ترميز أزواج البايت (BPE) و SentencePiece. بدلاً من الاحتفاظ بقاموس لا نهائي لكل كلمة في كل لغة، يبدأ BPE ببايتات UTF-8 الفردية ويدمج بشكل تكراري أزواج الحروف المتجاورة الأكثر تكراراً في رموز كلمات فرعية.
ونتيجة لذلك، يتم ترميز كلمة إنجليزية شائعة مع مسافة بادئة مثل ` intelligence` كرمز رقمي صحيح واحد، بينما يتم كسر مصطلح مركب غير مألوف، أو تجزئة ست عشرية، أو كتلة Python مزاحة بكثافة إلى العشرات من الرموز الفردية. يعيد مُرمّز الرموز المرئي في Multinook بناء حدود الكلمات الفرعية هذه في الوقت الفعلي داخل ذاكرة الوصول العشوائي لمتصفحك.

