Byte-Pair Encoding (BPE) جي اندر: LLMs ڪردارن کي سب ورڊ ٽوڪنز ۾ ڪيئن ورهائيندا آهن
جديد ٽرانسفارمر آرڪيٽيڪچرز—جن ۾ OpenAI جا GPT-5 ۽ GPT-4.1 سيريز، اينٿراپڪ جو Claude 4.6، گوگل جا Gemini 3.1 ۽ 2.5، xAI جو Grok 4، ميٽا جو Llama 4، ۽ DeepSeek V3/R1 شامل آهن—بائيٽ-پيئر اينڪڊنگ (BPE) ۽ سينٽينس پيس وانگر تعيناتي سب ورڊ ٽوڪنائزيشن الگورٿمز ذريعي متن تي پروسيس ڪندا آهن. هر ٻوليءَ جي هر لفظ جي لامحدود لغت کي برقرار رکڻ جي بدران، BPE انفرادي UTF-8 بائيٽس سان شروعات ڪري ٿو ۽ بار بار سڀ کان وڌيڪ ويجھي ڪردارن جي جوڙن کي سب ورڊ ٽوڪنز ۾ بار بار ضم ڪري ٿو.
نتيجي طور, شروعاتي اسپيس سان گڏ هڪ عام انگريزي لفظ جيئن ` intelligence` هڪ واحد انٽيجৰ ٽوڪن آءِ ڊي جي طور تي انڪوڊ ڪيو ويندو آهي، جڏهن ته هڪ اڻڄاتل مرڪب اصطلاح، هڪ هեքساديشميمل هیش، يا سختي سان انڊينٽ ٿيل پائٿن بلاڪ درجن وار انفرادي ٽوڪنز ۾ ٽٽي ويندو آهي. Multinook جو بصري ٽوڪنائزر توهان جي برائوزر RAM جي اندر حقيقي وقت ۾ انهن سب ورڊ حدن کي ٻيهر تعمير ڪري ٿو.

