बाइट-पेयर एनकोडिंग (BPE) के अंदर: LLM कैरेक्टर को सबवर्ड टोकन में कैसे विभाजित करते हैं
आधुनिक ट्रांसफॉर्मर आर्किटेक्चर—जिਨ੍ਹਾਂ में OpenAI की GPT-5 और GPT-4.1 सीरीज़, Anthropic का Claude 4.6, Google के Gemini 3.1 और 2.5, xAI का Grok 4, Meta का Llama 4, और DeepSeek V3/R1 शामिल हैं—बाइट-पेयर एनकोडिंग (BPE) और SentencePiece जैसे नियतविकल्पी सबवर्ड टोकनाइजेशन एल्गोरिदम के माध्यम से टेक्स्ट को संसाधित करते हैं। प्रत्येक भाषा में प्रत्येक शब्द के अनंत शब्दकोश को बनाए रखने के बजाय, BPE व्यक्तिगत UTF-8 बाइट्स के साथ शुरू होता है और सबसे अधिक बार आने वाले आसन्न कैरेक्टर युग्मों को सबवर्ड टोकन में पुनरावृत्ति से मिलाता है.
परिणामस्वरूप, ` intelligence` जैसे अग्रणी स्थान वाला एक सामान्य अंग्रेज़ी शब्द एकल पूर्णांक टोकन ID के रूप में एन्कोड किया जाता है, जबकि एक अपरिचित यौगिक शब्द, एक हेक्साडेसिमल हैश, या एक भारी इंडेंटेड Python ब्लॉक को दर्जनों व्यक्तिगत टोकन में तोड़ दिया जाता है। Multinook का विजुअल टोकनाइज़र आपके ब्राउज़र RAM के भीतर वास्तविक समय में इन सबवर्ड सीमाओं का पुनर्निर्माण करता है।

