د Byte-Pair Encoding (BPE) دننه: څنګه LLMونه کرکټرونه په سبورډ ټوکنونو ویشي
د عصري ټرانسفارمر آرکیټیکچرونه—د OpenAI د GPT-5 او GPT-4.1 لړۍ، د انتروپیک Claude 4.6، د ګوګل Gemini 3.1 او 2.5، د xAI Grok 4، د میټا Llama 4، او DeepSeek V3/R1 په شمول—متن د ټاکونکو سبورډ ټوکن کولو الګوریتمونو لکه Byte-Pair Encoding (BPE) او SentencePiece له لارې پروسس کوي. د دې پرځای چې په هរ ژبه کې د هرې کلمې لامحدود لغت وساتي، BPE د انفرادي UTF-8 بایتونو سره پیل کوي او په تک��اري توګه تر ټولو پرله پسې نږدې کرکټر جوړه په سبورډ ټوکنونو کې سره یوځای کوي.
د پایلې په توګه، یوه عامه انګلیسي کلمه چې د مخکینۍ تشې سره وي لکه ` intelligence` د یو واحد انټیجر ټوکن ID په توګه کوډ کیږي، په داسې حال کې چې یو نامعلومه مرکب اصطلاح، هیکساډیسیمل هش، یا سخت انډینټ شوی پایتون بلاک په لسګونو انفرادي ټوکنونو ماتیږي. د Multinook لیدلو وړ ټوکن جوړونکی ستاسو د براوزر RAM دننه په ریښتیني وخت کې دا سبورډ پولې بیا رغوي.

