Byte-Pair Encoding (BPE) ਦੇ ਅੰਦਰ: LLM ਅੱਖਰਾਂ ਨੂੰ ਸਬਵਰਡ ਟੋਕਨਾਂ ਵਿੱਚ ਕਿਵੇਂ ਵੰਡਦੇ ਹਨ
ਆਧੁਨਿਕ ਟਰਾਂਸਫਾਰਮਰ ਆਰਕੀਟੈਕਚਰ—ਜਿਸ ਵਿੱਚ OpenAI ਦੇ GPT-5 ਅਤੇ GPT-4.1 ਸੀਰੀਜ਼, Anthropic ਦੇ Claude 4.6, Google ਦੇ Gemini 3.1 ਅਤੇ 2.5, xAI ਦੇ Grok 4, Meta ਦੇ Llama 4, ��ਤੇ DeepSeek V3/R1 ਸ਼ਾਮਲ ਹਨ—Byte-Pair Encoding (BPE) ਅਤੇ SentencePiece ਵਰਗੇ ਨਿਰਧਾਰਤ ਸਬਵਰਡ ਟੋਕਨਾਈਜ਼ੇਸ਼ਨ ਐਲਗੋਰਿਤਮ ਰਾਹੀਂ ਟੈਕਸਟ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦੇ ਹਨ। ਹਰੇਕ ਭਾਸ਼ਾ ਵਿੱਚ ਹਰੇਕ ਸ਼ਬਦ ਦੀ ਇੱਕ ਬੇਅੰਤ ਸ਼ਬਦਾਵਲੀ ਬਣਾਈ ਰੱਖਣ ਦੀ ਬਜਾਏ, BPE ਵਿਅਕਤੀਗਤ UTF-8 ਬਾਈਟਾਂ ਨਾਲ ਸ਼ੁਰੂ ਹੁੰਦਾ ਹੈ ਅਤੇ ਵਾਰ-ਵਾਰ ਸਭ ਤੋਂ ਵੱਧ ਵਾਰ ਆਉਣ ਵਾਲੇ ਨਾਲ ਦੇ ਅੱਖਰ ਜੋੜਿਆਂ ਨੂੰ ਸਬਵਰਡ ਟੋਕਨਾਂ ਵਿੱਚ ਮਿਲਾਉਂਦਾ ਹੈ।
ਨਤੀਜੇ ਵਜੋਂ, ਮੋਹਰੀ ਸਪੇਸ ਵਾਲਾ ਇੱਕ ਆਮ ਅੰਗਰੇਜ਼ੀ ਸ਼ਬਦ ਜਿਵੇਂ ਕਿ ` intelligence` ਇੱਕ ਸਿੰਗਲ ਪੂਰਨ ਅੰਕ ਟੋਕਨ ID ਵਜੋਂ ਐਨਕੋਡ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜਦੋਂ ਕਿ ਇੱਕ ਅਣਜਾਣ ਮਿਸ਼ਰਤ ਸ਼ਬਦ, ਇੱਕ ਹੈਕਸਾਡੈਸੀਮਲ ਹੈਸ਼, ਜਾਂ ਇੱਕ ਭਾਰੀ ਇੰਡੈਂਟ ਕੀਤਾ Python ਬਲਾਕ ਦਰਜਨਾਂ ਵਿਅਕਤੀਗਤ ਟ���ਕਨਾਂ ਵਿੱਚ ਟੁੱਟ ਜਾਂਦਾ ਹੈ। Multinook ਦਾ ਵਿਜ਼ੂਅਲ ਟੋਕਨਾਈਜ਼ਰ ਤੁਹਾਡੀ ਬ੍ਰਾਊਜ਼ਰ RAM ਦੇ ਅੰਦਰ ਅਸਲ ਸਮੇਂ ਵਿੱਚ ਇਹਨਾਂ ਸਬਵਰਡ ਸੀਮਾਵਾਂ ਨੂੰ ਮੁੜ ਬਣਾਉਂਦਾ ਹੈ।

