বাইট-পেয়ার এনকোডিং (BPE)-এর ভেতরে: LLM কীভাবে ক্যারেক্টারকে সাবওয়ার্ড টোকেনে বিভক্ত করে
আধুনিক ট্রান্সফর্মার আর্কিটেকচার—যার মধ্যে রয়েছে OpenAI-এর GPT-5 এবং GPT-4.1 সিরিজ, Anthropic-এর Claude 4.6, Google-এর Gemini 3.1 এবং 2.5, xAI-এর Grok 4, Meta-এর Llama 4 এবং DeepSeek V3/R1—বাইট-পেয়ার এনকোডিং (BPE) এবং SentencePiece-এর মতো ডিটারমিনিস্টিক সাবওয়ার্ড টোকেনাইজেশন অ্যালগরিদমগুলির মাধ��যমে পাঠ্য প্রক্রিয়া করে। প্রতিটি ভাষার প্রতিটি শব্দের একটি অনন্ত অভিধান বজায় রাখার পরিবর্তে, BPE পৃথক UTF-8 বাইট দিয়ে শুরু করে এবং বারবার সবচেয়ে ঘন ঘন সংলগ্ন ক্যারেক্টার জোড়গুলিকে সাবওয়ার্ড টোকেনে মার্জ করে।
ফলস্বরূপ, একটি অগ্রগামী স্পেসসহ একটি সাধারণ ইংরেজি শব্দ যেমন ` intelligence` একটি একক পূর্ণসংখ্যা টোকেন আইডি হিসেবে এনকোড করা হয়, যেখানে একটি অপরিচিত যৌগিক শব্দ, একটি হেক্সাডেসিমেল হ্যাশ, বা একটি গভীরভাবে ইন্ডেন্টেড পাইথন ব্লক কয়েক ডজন পৃথক টোকেনে ভেঙে যায়। Multinook-এর ভিজ্যুয়াল টোকেনাইজার আপনার ব্রাউজার RAM-এর ভেতরে রিয়েল টাইমে এই সাবওয়ার্ড সীমানাগুলিকে পুনর্গঠন করে।

