Byte-Pair Encoding (BPE) Barruan: Nola Segmentatzen dituzte LLMek Karaktereak Azpitzaste Tokenetan
Transformadore arkutekura modernoek —OpenAI-ren GPT-5 eta GPT-4.1 serieak, Anthropic-en Claude 4.6, Google-ren Gemini 3.1 eta 2.5, xAI-ren Grok 4, Meta-ren Llama 4 eta DeepSeek V3/R1 barne— testua prozesatzen dute azpitzasteen tokenizazio algoritmo deterministen bidez, hala nola Byte-Pair Encoding (BPE) eta SentencePiece. Hizkuntza guztietako hitz guztien hiztegi infinitu bat mantendu beharrean, BPE-k banakako UTF-8 byteekin hasten da eta maiztasun handieneko ondoko karaktere bikoteak azpitzaste tokenetan iteratiboki batzen ditu.
Ondorioz, ` intelligence` bezalako hasierako zuriune bat duen ingeleseko hitz arrunta osotasun osoko token ID bakar gisa kodetzen da, eta termino konposatu ezezagun bat, hash hamaseitar bat edo koska handiko Python bloke bat banakako dozenaka tokenetan hausten da. Multinook-en tokenizatzaile bisualak denbora errealean berreraikitzen ditu azpitzaste muga hauek zure nabigatzailearen RAM memorian.

