מבט מבפנים על קידוד זוג בייטים (BPE): כיצד מודלי LLM מפצלים תווים לטוקני מילות משנה
ארכיטקטורות טרנספורמר מודרניות – כולל סדרות GPT-5 ו-GPT-4.1 של OpenAI, Claude 4.6 של Anthropic, Gemini 3.1 ו-2.5 של Google, Grok 4 של xAI, Llama 4 של Meta ו-DeepSeek V3/R1 – מעבדות טקסט דרך אלגוריתמי טוקניזציה דטרמיניסטיים של מילות משנה כגון Byte-Pair Encoding (BPE) ו-SentencePiece. במקום לנהל מילון אינסופי של כל מילה בכל שפה, BPE מתחיל בבייטים בודדים מסוג UTF-8 וממזג באיטרציות את זוגות התווים הסמוכים ביותר לתוך טוקני מילות משנה.
כתוצאה מכך, מילה אנגלית נפוצה עם רווח מוביל כמו ` intelligence` מקודדת כמזהה טוקן של מספר שלם בודד, בעוד שמונח מורכב לא מוכר, גיבוב הקسדצימלי או בלוק Python מוזх היטב מפורקים לעשרות טוקנים בודדים. הטוקנייزر החזותי של Multinook משחזר את גבולות מילות המשנה הללו בזמן אמת בתוך זיכרון ה-RAM של הדפדפן שלך.

