बाइट-पेअर एन्कोडिंग (BPE) च्या आत: LLMs वर���णांना सबवर्ड टोकन्समध्ये कसे विभाजित करतात
OpenAI चे GPT-5 आणि GPT-4.1 मालिका, Anthropic चे Claude 4.6, Google चे Gemini 3.1 आणि 2.5, xAI चे Grok 4, Meta चे Llama 4 आणि DeepSeek V3/R1 यासह आधुनिक ट्रान्सफॉर्मर आर्किटेक्चर्स—बाताईट-पेअर एन्कोडिंग (BPE) आणि सेन्टेन्सपीस सारख्याDeterministic सबवर्ड टोकनायझेशन अल्गोरिदमद्वारे टेक्स्ट प्रक्रिया करतात. प्रत्येक भाषेतील प्रत्येक शब्दाचा अमर्याद शब्दकोश राखण्याऐवजी, BPE वैयक्तिक UTF-8 बाइट्सपासून सुरू होते आणि सर्वात वारंवार लगतच्या वर्ण जोड्यांना सबवर्ड टोकन्समध्ये पुनरावृत्तीने एकत्र करते.
परिणामस्वरूप, अग्रेषित जागेसह एक सामान्य इंग्रजी शब्द जसे की ` intelligence` एकाच पूर्णांक टोकन आयडी म्हणून एनकोड केला जातो, तर एक अपरिचित कंपाऊंड टर्म, हेक्साडेसिमल हॅश, किंवा अत्यंत इंडेंटेड पायथन ब्लॉक डझनभर वैयक्तिक टोकन्समध्ये मोडला जातो. Multinook चा व्हिज्युअल टोकनायझर तुमच्या ब्राउझर RAM च्या आत रिअल टाइममध्ये या सबवर्ड सीमांची पुनर्रचना करतो.

