ბაიტ-წყვილური კოდირების (BPE) შიგნით: როგორ ყოფს LLM-ები სიმბოლოებს ქვე-სიტყვიერ ტოკენებად
თანამედროვე ტრანსფორმატორის არქიტექტურები — მათ შორის OpenAI-ს GPT-5 და GPT-4.1 სერიები, Anthropic-ის Claude 4.6, Google-ის Gemini 3.1 და 2.5, xAI-ს Grok 4, Meta-ს Llama 4 და DeepSeek V3/R1 — ამუშავებენ ტექსტს დეტერმინისტული ქვე-სიტყვიერი ტოკენიზაციის ალგორითმების მეშვეობით, როგორიცაა ბაიტ-წყვილური კოდირება (BPE) და SentencePiece. ნაცვლად იმისა, რომ შეინარჩუნოს ყოველი სიტყვის უსასრულო ლექსიკონი ყველა ენაზე, BPE იწყებს ინდივიდუალური UTF-8 ბაიტებით და იტერაციულად აერთიანებს ყველაზე ხშირად მიმდებარე სიმბოლოთა წყვილებს ქვე-სიტყვიერ ტოკენებად.
შედეგად, ჩვეულებრივი ინგლისური სიტყვა წამყვანი სივრცით, როგორიცაა ` intelligence`, კოდირებულია როგორც ერთი მთელი ტოკენის ID, ხოლო უცნობი რთული ტერმინი, თექვსმეტობითი ჰეში ან მძიმედ შეტანილი Python ბლოკი იშლება ათეულობით ინდივიდუალურ ტოკენად. Multinook-ის ვიზუალური ტოკენაიზერი აღადგენს ამ ქვე-სიტყვიერ საზღვრებს რეალურ დროში თქვენი ბრაუზერის ოპერატიულ მეხსიერებაში.

