Byte-Pair Encoding (BPE)-ի ներսում. Ինչպես են LLM-ները բաժանում նշանները ենթաբառային թոքենների
Ժամանակակից տրանսֆորմատորային ճարտարապետությունները, ներառյալ OpenAI-ի GPT-5 և GPT-4.1 սերիաները, Anthropic-ի Claude 4.6-ը, Google-ի Gemini 3.1 և 2.5-ը, xAI-ի Grok 4-ը, Meta-ի Llama 4-ը և DeepSeek V3/R1-ը, մշակում են տեքստը դետերմինիստական ենթաբառային թոքենիզացման ալգորիթմների միջոցով, ինչպիսին են Byte-Pair Encoding (BPE)-ը և SentencePiece-ը: Յուրաքանչյուր լեզվի յուրաքանչյուր բառի անվերջ բառարան պահելու փոխարեն՝ BPE-ն սկսում է անհատական UTF-8 բայերից և իտերատիվ կերպով միաձուլում ամենահաճախ հանդիպող հարակից նշանների զույգերը ենթաբառային թոքենների:
Արդյունքում՝ սկզբնական բացատով սովորական անգլերեն բառը, ինչպիսին է ` intelligence`-ը, կոդավորվում է որպես մեկ ամբողջ թոքենի ID, մինչդեռ անծանոթ բարդ տերմինը, հեքսադեցիմալ հեշը կամ խիստ ներհրված (indented) Python բլոկը բաժանվում են տասնյակ առանձին թոքենների: Multinook-ի տեսողական թոքենիզատորը վերակառուցում է այս ենթաբառային սահմանները իրական ժամանակում ձեր բրաուզերի RAM-ում:

