بائٹ پیئر انکوڈنگ (BPE) کے اندر: LLMs حروف کو سب ورڈ ٹوکنز میں کیسے تقسیم کرتے ہیں
جدید ٹرانسفارمر آرکیٹیکچرز—بشمول OpenAI کی GPT-5 اور GPT-4.1 سیریز، Anthropic کی Claude 4.6، Google کی Gemini 3.1 اور 2.5، xAI کی Grok 4، Meta کی Llama 4، اور DeepSeek V3/R1—متن پر عمل کرتے ہیں۔ Byte-Pair Encoding (BPE) اور SentencePiece جیسے معین سب ورڈ ٹوکنائزیشن الگورتھم کے ذریعے۔ ہر زبان کے ہر لفظ کی لامتناہی لغت کو برقرار رکھنے کے بجائے، BPE انفرادی UTF-8 بائٹس سے شروع ہوتا ہے اور بار بار ملحقہ حرف کے جوڑوں کو سب ورڈ ٹوکنز میں بار بار ضم کرتا ہے۔
نتیجے کے طور پر، ` intelligence` جیسے معروف انگریزی لفظ کو ایک ہی انٹیجر ٹوکن آئی ڈی کے طور پر انکوڈ کیا جاتا ہے، جبکہ ایک ناواقف مرکب اصطلاح، ایک ہیکساડેسمل ہیش، یا ایک بھاری انڈینٹڈ پائথন بلاک کو درجنوں انفرادی ٹوکنز میں توڑ دیا جاتا ہے۔ Multinook کا بصری ٹوکنزر آپ کے براؤزر RAM کے اندر حقیقی وقت میں ان سب ورڈ کی حدود کو دوبارہ بناتا ہے۔

