100X SOTA

កម្មវិធីរាប់ Token LLM - ម៉ាស៊ីនគណនាថ្លៃដើម AI ដោយឥតគិតថ្លៃ

រាប់ token តួអក្សរ ពាក្យ ការប្រើប្រាស់បង្អួចបរិបទ និងថ្លៃដើម API សម្រាប់ GPT-5, GPT-4.1, o3, Claude 4.6, Gemini 3.1/2.5, DeepSeek, Grok 4 & Llama 4 ក្នុង RAM

កំពុងដំណើរការក្នុង RAM មូលដ្ឋាន...

សកម្មភាពដែលបានណែនាំបន្ទាប់

ដំណើរការរហ័ស

សម្អាតសញ្ញាទឹកសំណើដែលលាក់

លុបតួអក្សរ Unicode ដែលមើលមិនឃើញ ដែលធ្វើឱ្យចំនួនតូខេន BPE កើនឡើង។

ចាប់ផ្តើម កម្មវិធីសម្អាតតួអក្សរមើលមិនឃើញ

វិភាគដង់ស៊ីតេពាក្យគន្លឹះ និងពាក្យ

ពិនិត្យប្រវែងសំណើ ចំនួនប្រយោគ និងប្រេកង់ឃ្លា 1x-3x។

ចាប់ផ្តើម កម្មវិធីរាប់តួអក្សរ

សុពលភាពពេលវេលាអត្ថបទរង និងស្គ្រីប

ពិ��ិត្យល្បឿនអាន CPS និងដែនកំណត់បន្ទាត់ CPL សម្រាប់ស្គ្រីបដែលបង្កើតដោយ AI។

ចាប់ផ្តើម កម្មវិធីពិនិត្យ CPS ចំណងជើងរង

ក្នុងមួយភ្លែត

សេចក្តีសង្ខេបហ្មត់ចត់ និងចំណុចសំខាន់ៗ

ការយល់ដឹងសំខាន់ៗ សមត្ថភាពដំណើរការ និងការធានាភាពឯកជនក្នុងទិដ្ឋភាពតែមួយ។

និយមន័យផ្លូវការ

ឧបករណ៍រាប់ Token របស់ LLM និងកម្មវិធីគណនាថ្លៃចំណាយ AI គឺជារបស់ប្រើប្រាស់សម្រាប់អ្នកអភិវឌ្ឍន៍ដែលបែងចែកអត្ថបទ និងកូដប្រភពទៅជា Byte-Pair Encoding (BPE) subword tokens ក្នុងหน่วยความจำของកម្មវិធីរុករក ដើម្បីប៉ាន់ប្រមាណការប្រើប្រាស់បង្អួចបរិបទ និងថ្លៃចំណាយ inference របស់ API ឆ្លងកាត់គំរូភាសាខ្នាតធំ។

ទិដ្ឋភាពទូទៅ|ស្ថាបត្យកម្មฝั่งម៉ាស៊ីនអ្នកប្រើប្រាស់ដែលបានផ្ទៀងផ្ទាត់

ដើម្បីរាប់ token LLM និងគណនាថ្លៃដើមប្រអប់បញ្ចូល API របស់ AI អនឡាញដោយឥតគិតថ្លៃ សូមបិទភ្ជាប់ប្រអប់បញ្ចូល ឬកូដរបស់អ្នកទៅក្នុងកម្មវិធីរាប់ Token LLM របស់ Multinook។ ម៉ាស៊ីនវិភាគ Byte-Pair Encoding (BPE) នៅខាងអតិថិជនរបស់យើងបែងចែកអត្ថបទរបស់អ្នកទៅជាប្លុក token ដែលមើលឃើញក្នុង RAM របស់កម្មវិធីរុករក និងប្រៀបធៀបចំនួន token ពិតប្រាកដ ពិន្ទុភាគរយបង្អួចបរិបទ និងតម្លៃប្រព័ន្ធ API ផ្លូវការនៅទូទាំង GPT-5, GPT-4.1, o3, Claude 4.6, Gemini 3.1/2.5, DeepSeek V3/R1, Grok 4 និង Llama 4។

ការប្រៀបធៀបម៉ូដែលជាច្រើន

ប្រៀបធៀបចំនួន Token និងថ្លៃ API នៅទូទាំង GPT-4o, Claude Sonnet, Gemini Pro/Flash និង DeepSeek ក្នុងពេលតែមួយ។

ឧបករណ៍រំលេច Token បង្ហាញ

មើលបំណែក Subword token ដែលមានកូដពណ៌ពិតប្រាកដ ដើម្បីរកមើល JSON ที่หนัก Token, Khoảng trắng ឬខ្សែអក្សរកូដ។

កម្មវិធីគណនាថ្លៃ API ជា Batch

จำลองការចំណាយ API ការហៅទូរស័ព្ទតែមួយ និងផលិតកម្មប្រចាំថ្ងៃជាមួយគ្រាប់រំកិល Token បញ្ចូល និងចេញផ្ទាល់ខ្លួន។

ความเป็นส่วนตัวរបស់ Prompt ក្នុងស្រុក ១០០%

ធ្វើសវនកម្ម System Prompts សម្ងាត់ និងក��ដប្រភពที่เป็นកម្មសិទ្ធិក្នុង RAM ក្នុងស្រុកដោយគ្មានការផ្ទុកឡើងលើពពក។

ម៉ាស៊ីនដំណើរការខ្ពស់

កម្មវិធីរាប់ Token LLM - ម៉ាស៊ីនគណនាថ្លៃដើម AI ដោយឥតគិតថ្លៃ

រាប់ token LLM តួអក្សរ និងថ្លៃដើមប្រអប់បញ្ចូល API សម្រាប់ OpenAI GPT-5/GPT-4.1/o3, Claude 4.6, Gemini 3.1/2.5, DeepSeek, Grok 4 និង Llama 4 អនឡាញដោយឥតគិតថ្លៃ។

ការប៉ាន់ស្មាន token Byte-Pair Encoding (BPE) ក្នុងពេលជាក់ស្តែង និងឧបករណ៍ไฮไลท์ព្រំដែន token ដែលបានបែងចែកពណ៌

ការប្រៀបធៀបដំណាលគ្នានៅទូទាំងម៉ូដែលផ្លូវការចំនួន 21៖ OpenAI (GPT-5, GPT-4.1, o3, o4-mini, GPT-4o), Anthropic (Claude Opus 4.6, Sonnet 4.6, Haiku 4.5, 3.7 Sonnet), Google (Gemini 3.1 Pro, 3 Flash, 2.5 Pro/Flash), DeepSeek V3/R1, xAI Grok 4, និង Meta Llama 4

ម៉ាស៊ីនគណនាថ្លៃដើម API ផ្ទាល់ជាមួយអត្រាបញ្ចូល និងលទ្ធផលផ្លូវការក្នុង 1 លាន តួអក្សរ token លទ្ធផលរំពឹងទុក និងមេគុណការហៅ API ជាបណ្តុំប្រចាំថ្ងៃ

ម៉ែត្រប្រើប្រាស់បង្អួចបរិបទឆ្លងកាត់ដែនកំណត់បរិបទ token 128K, 164K, 200K, 400K, 500K និង 1M

បង្ហាញសមាមាត្��តួអក្សរទៅនឹង token ពិតប្រាកដ រួមជាមួយនឹងចំនួនតួអក្សរសរុប ពាក្យ និងព្រំដែនពាក្យរង

ដំណើរការក្នុង RAM របស់អតិថិជនដាច់ដោយឡែក 100% - ពិនិត្យប្រអប់បញ្ចូលប្រព័ន្ធកម្មសិទ្ធិ និងកូដប្រភពដោយសុវត្ថិភាពដោយគ្មានការអាប់ឡូតទៅ ސែវើ

ឯកជនភាពទិន្នន័យផ្តាច់ដាច់ពីអ៊ីនធឺណិត

ភាពសម្ងាត់នៃការមិនបញ្ជូនឡើងដាច់ខាត

ឯកសាររបស់អ្នកត្រូវបានដំណើរការយ៉ាងតឹងរ៉ឹងនៅក្នុង RAM ឧបករណ៍របស់អ្នកដោយប្រើ WebAssembly។ គ្មានការបញ្ជូនឡើងពពក។

ការដំណើរការលើ RAM ក្នុងប្រូស៊ែរ 100% • គ្មានការបញ្ជូនឡើងម៉ាស៊ីនបម្រើ

សេចក្តីណែនាំជាជំហានៗ

របៀបប្រើប្រាស់តាមអ៊ីនធឺណិត: កម្មវិធីរាប់ Token LLM - ម៉ាស៊ីនគណនាថ្លៃដើម AI ដោយឥតគិតថ្លៃ

ធ្វើតាម 3 ជំហានងាយៗទាំងនេះ ដើម្បីដំណើរការឯកសាររបស់អ្នកដោយផ្ទាល់នៅក្នុងប្រូស៊ែររបស់អ្នកដោយមិនចាំបាច់ដំឡើងអ្វីទាំងអស់។

១. បិទភ្ជាប់ System Prompt, ឯកសារ ឬកូដរបស់អ្នក

បិទភ្ជាប់ Prompt របស់ LLM, ឯកសារបរិបទ RAG, JSON schema ឬឯកសារកូដរបស់អ្នកទៅក្នុងកន្លែងធ្វើការ ឬផ្ទុក Prompt គំរូ TypeScript ផ្ទាល់នៅក្នុង RAM របស់កម្មវិធីរុករក។

២. ពិនិត្យព្រំដែន Token ដែលមានកូដពណ៌

មើលចំនួន Token สดៗ អត្រាអក្សរទៅ Token និងបំណែក Token subword ដែលមានកូដពណ៌ ដែលបង្ហាញពីរបៀបដែលឧបករណ៍បែងចែក Token របស់ BPE បែងចែកពាក្យ លេខ និងការเยื้องកូដ។

៣. ប្រៀបធៀបម៉ូដែលផ្លូវការ ២១ និងតម្លៃ API

កំណត់ Token លទ្ធផលដែលរំពឹងទុករបស់អ្នក និងបរិមាណហៅ API ប្រចាំថ្ងៃ ដើម្បីប្រៀបធៀបថ្លៃដុល្លារពិតប្រាកដក្នុងមួយសំណើ និងការប្រមូលផ្តុំ (Batch) នៅទូទាំង GPT-5, GPT-4.1, o3, Claude 4.6, Gemini 3.1/2.5, DeepSeek, Grok 4, និង Llama 4។

ឥតគិតថ្លៃ ១០០% ជារៀងរហូត (មិនចាំបាច់ចូលគណនី)

Paid Cloud Portals

ទាមទារគណនីអ្នកអភិវឌ្ឍន៍

ការប្រៀបធៀបមុខងារ៖ Multinook ទល់នឹង ផតថលពពកបែបប្រពៃណី	Multinook (RAM ក្នុងប្រូស៊ែរ)	Paid Cloud Portals
ម៉ូដែល AI ដែលគាំទ្រ	ម៉ូដែល API ផ្លូវការ ២១	ម៉ូដែល OpenAI ចាស់ៗតែប៉ុណ្ណោះ
ឧបករណ៍រំលេច Token មើលឃើញ	Subwords របស់ BPE ដែលមានកូដពណ៌	លទ្ធផលលេខធម្មតាតែប៉ុណ្ណោះ
ម៉ាទ្រីសថ្លៃចំណាយ API ន��ង Batch	ការបញ្ចូល + ការចេញ × ការហៅប្រចាំថ្ងៃ	ទាមទារការគណនាដោយដៃ
រង្វាស់បង្អួចបរិបទ (Context Window)	128K / 400K / 500K / 1M	មិនមានរួមបញ្ចូលទេ
ความเป็นส่วนตัวរបស់ Prompt	RAM ក្នុងស្រុក ១០០% (០ ការផ្ទុកឡើង)	បញ្ជូនទៅកាន់ម៉ាស៊ីនមេ API ខាងក្រៅ
តម្លៃ និងការប្រើប្រាស់	ឥតគិតថ្លៃ ១០០% ជារៀងរហូត (មិនចាំបាច់ចូលគណនី)	ទាមទារគណនីអ្នកអភិវឌ្ឍន៍

ស្ថាបត្យកម្មបច្ចេកទេស និងលក្ខណៈបច្ចេកទេស

លក្ខណៈបច្ចេកទេស និងភាពឆបគ្នានៃទម្រង់

ត្រូវបានរចនាឡើងយ៉ាងតឹងរ៉ឹងតាមលក្ខណៈបច្ចេកទេស W3C WebAssembly និង Typed Array។

ម៉ាស៊ីនបែងចែក Token (Tokenization Engine)Client-Side BPE Subword Segmenter (o200k_base, Claude BPE & SentencePiece)

ប្រព័ន្ធអេកូឡូស៊ីដែលគាំទ្រOpenAI (GPT-5/4.1/o3), Anthropic (Claude 4.6/4.5), Google (Gemini 3.1/2.5), DeepSeek, Grok 4 & Llama 4

ឧបករណ៍ត្រួតពិនិត្យภาพColor-Coded Subword Token Boundary Highlighter

គំរូថ្លៃចំណាយOfficial Per-1M Input + Output Token Pricing × Daily Batch Volume

telemetry បរិបទ128K, 164K, 200K, 400K, 500K & 1M Token Context Window Meters

ស្ថាបត្យកម្មความเป็นส่วนตัว100% Air-Gapped Local Browser RAM (Zero Server Uploads)

ទស្សនិកជន និងដំណើរការការងារ

ទស្សនិកជនគោលដៅ និងករណីប្រើប្រាស់ជាក់ស្តែង

អ្នកដែលទទួលបានអត្ថប្រយោជន៍ពីឧបករណ៍ប្រើប្រាស់ក្នុងកម្មវិធីរុករកនេះ និងពេលវេលាដែលត្រូវអនុវត្តវា។

ស្ថាបត្យករប្រព័ន្ធ RAG & Agentic

វិស្វករ AI & អ្នកអភិវឌ្ឍន៍កម្មវិធី LLM

ការធ្វើតេស្តប្រៀបធៀបទំហំ Token របស់ Prompt ការប្រើប្រាស់បង្អួចបរិបទ និងថ្លៃចំណាយ API inference ប្រចាំថ្ងៃនៅទូទាំង OpenAI, Anthropic និង Google ។

អ្នករចនា System Prompt

វិស្វករ Prompt & អ្នកនិបន្ធបច្ចេកទេស

ការប្រើប្រាស់ការរំលេច Token បង្ហាញដើម្បីបង្រួមការបញ្ជាដែលវែងអន្លាយ និងលុបបំបាត់ការរៀបចំទ្រង់ទ្រាយដែលប្រើប្រាស់ Token ច្រើន��

អ្នកวางแผนเศรษฐศาสตร์หน่วย AI

អ្នកគ្រប់គ្រងផលិតផល & អ្នកស្ថាបនិក SaaS

ការប៉ាន់ស្មានវិក្កយបត្រ LLM API ក្នុងមួយអ្នកប្រើប្រាស់ និងប្រចាំខែសម្រាប់សំណើសុំពី ១,០០០ ដល់ ១០០,០០០ ក្នុងមួយថ្ងៃ មុនពេលដាក់ឱ្យប្រើប្រាស់មុខងារ AI ថ្មី។

អ្នកចងក្រងชุดข้อมูล & Fine-Tuning

អ្នកវិទ្យាសាស្ត្រទិន្នន័យ & អ្នកស្រាវជ្រាវ

ការវាស់វែងអត្រាអក្សរទៅ Token ឆ្លងកាត់คลังអត្ថបទពហុភាសា និងឯកសារ Fine-Tuning JSONL ។

ការធ្វើតេស្តមន្ទីរពិសោធន៍ជាក់ស្តែង

ការផ្ទៀងផ្ទាត់ផ្ទាល់ និងបទដ្ឋានគោលនៃការអនុវត្ត

លទ្ធផលតេស្តជាក់ស្តែងដែលបានធ្វើឡើងនៅលើកម្មវិធីរុករក និងប្រព័ន្ធប្រតិបត្តិការទំនើបៗ ដោយគ្មានការបញ្ជូនបណ្តាញ។

Google Chrome 128 (Apple M3 Max)

ឯកសារ៖ ឯកសារបរិបទ RAG 120,000 ��ួអក្សរ (~30,000 Token)

3.8ms ការបែងចែក Subword BPE & តារាងថ្លៃចំណាយម៉ូដែលច្រើន0 KB បានផ្ទេរ (100% RAM ឧបករណ៍ក្នុងស្រុក)

Microsoft Edge 126 (Windows 11 x64 Intel i7)

ឯកសារ៖ Prompt TypeScript & JSON 15,000 តួអក្សរ

1.1ms การเรนเดอร์ព្រំដែន Token สดๆ0 KB បានផ្ទេរ (100% RAM ឧបករណ៍ក្នុងស្រុក)

Mobile Safari (iOS 18 / iPhone 15 Pro)

ឯកសារ៖ គំរូ System Prompt 4,000 តួអក្សរ

0.5ms การគណនា Token និងតម្លៃភ្លាមៗនៅលើទូរស័ព្ទ0 KB បានផ្ទេរ (100% RAM ឧបករណ៍ក្នុងស្រុក)

បរិស្ថានសាកល្បង / ឧបករណ៍	ឯកសារសាកល្បង & ភាពស្មុគស្មាញ	ភាពយឺតយ៉ាវក្នុងការដំណើរការ	ការផ្ទេរទិន្នន័យបណ្តាញ
Google Chrome 128 (Apple M3 Max)	ឯកសារបរិបទ RAG 120,000 ��ួអក្សរ (~30,000 Token)	3.8ms ការបែងចែក Subword BPE & តារាងថ្លៃចំណាយម៉ូដែលច្រើន	0 KB បានផ្ទេរ (100% RAM ឧបករណ៍ក្នុងស្រុក)
Microsoft Edge 126 (Windows 11 x64 Intel i7)	Prompt TypeScript & JSON 15,000 តួអក្សរ	1.1ms การเรนเดอร์ព្រំដែន Token สดๆ	0 KB បានផ្ទេរ (100% RAM ឧបករណ៍ក្នុងស្រុក)
Mobile Safari (iOS 18 / iPhone 15 Pro)	គំរូ System Prompt 4,000 តួអក្សរ	0.5ms การគណនា Token និងតម្លៃភ្លាមៗនៅលើទូរស័ព្ទ	0 KB បានផ្ទេរ (100% RAM ឧបករណ៍ក្នុងស្រុក)

សំណសួរទូទៅ

សំណួរដែលសួរញឹកញាប់

អ្វីគ្រប់យ៉ាងដែលអ្នកត្រូវដឹងអំពីឯកជនភាព សុវត្ថិភាព ដែនកំណត់ឯកសារ និងការប្រើប្រាស់។

គំរូភាសាខ្នាតធំ (Large Language Models) មិនអានអត្ថបទមួយពាក្យៗ ឬមួយតួអក្សរៗទេ ប៉ុន្តែពួកវាបែងចែកអត្ថបទទៅជាបំណែក Subword ដែលហៅថា Token ដោយប្រើ Byte-Pair Encoding (BPE) ឬ SentencePiece។ សម្រាប់អត្ថបទភាសាអង់គ្លេសស្តង់ដារ ១ Token ស្មើនឹងប្រហែល ៤ តួអក្សរ ឬ ០.៧៥ ពាក្យ។ ដូច្នេះ ១០០ Token គឺប្រហែល ៧៥ ពាក្យ និង ១,០០០ ពាក្យ គឺប្រហែល ១,៣៣៣ Token។

ឧបករណ៍បែងចែក Token របស់ BPE (`o200k_base` និង `cl100k_base`) ត្រូវបានបណ្តុះបណ្តាលជាចម្បងលើពាក្យភាសាអង់គ្លេសទូទៅ ��ែលអនុញ្ញាតឱ្យពាក្យញឹកញាប់ដូចជា 'application' ស្ថិតក្នុង Token តែមួយ។ ទោះជាយ៉ាងណាក៏ដោយ សញ្ញាក្បៀស សញ្ញាឈ្នៀត JSON លេខច្រើនខ្ទង់ ការเยื้อง khoảng trắng និងស្គ្រីប UTF-8 ដែលមិនមែនជាឡាតាំង ត្រូវបានបំបែកជា Subword កម្រិតបាយត (Byte-level) តូចជាង ដែលជារឿយៗប្រើប្រាស់ Token ច្រើនជាង ១.៥ ដង ទៅ ៣ ដង សម្រាប់ប្រវែងតួអក្សរដូចគ្នា។

អ្នកផ្តល់សេវាគំរូ AI គិតប្រាក់ដាច់ដោយឡែកសម្រាប់ Token បញ្ចូល (Prompt) និង Token ចេញ (Completion & Reasoning) ដែលគិតជាតម្លៃក្នុង ១ លាន Token (1M)។ ឧទាហរណ៍ OpenAI GPT-5 គិតប្រ��ក់ $1.25/1M បញ្ចូល និង $10.00/1M ចេញ, GPT-4.1 គិតប្រាក់ $2.00/1M បញ្ចូល និង $8.00/1M ចេញ, Claude Sonnet 4.6 គិតប្រាក់ $3.00/1M បញ្ចូល និង $15.00/1M ចេញ និង Google Gemini 2.5 Flash គិតប្រាក់ $0.30/1M បញ្ចូល និង $2.50/1M ចេញ។ កម្មវិធីគណនារបស់យើងគុណចំនួន Token បញ្ចូលពិតប្រាកដរបស់អ្នក និងប្រវែងលទ្ធផលគោលដៅធៀបនឹងអត្រា API ផ្លូវការរបស់ម៉ូដែលនីមួយៗ។

`cl100k_base` (ទំហំវាក្យសព្ទ 100,000) ត្រូវបានប្រើសម្រាប់ GPT-4 និង GPT-3.5-Turbo ចាស់។ ម៉ូដែល OpenAI សម័យទំនើប—រួមទាំង GPT-5, GPT-4.1, o3, o4-mini និង GPT-4o—ប្រើ `o200k_base` (ទំហំវាក្យសព្ទ 200,000) ដែលបង្ហាប់អត្ថបទที่ไม่ใช่ភ��សាអង់គ្លេស កូដប្រភព និងកន្សោមពាក្យច្រើនទូទៅទៅជា Token តិចជាង ១០% ទៅ ២៥%។

យោងតាមឯកសារ API ផ្លូវការ៖ OpenAI GPT-5 / mini / nano គាំទ្រ 400,000 Token (400K)፤ GPT-4.1 / mini គាំទ្រ 1,047,576 Token (1M)፤ OpenAI o3 & o4-mini គាំទ្រ 200,000 Token (200K)፤ Claude Opus 4.6 & Sonnet 4.6 គាំទ្ររហូតដល់ 1,000,000 Token (1M)፤ Google Gemini 3.1 Pro, 3 Flash & 2.5 Pro/Flash គាំទ្រ 1,000,000 Token (1M)፤ xAI Grok 4 គាំទ្រ 500,000 Token (500K)፤ DeepSeek V3 គាំទ្រ 164,000 Token (164K) និង Meta Llama 4 Maverick គាំទ្រ 1,048,576 Token (1M)។

អ្នកអាចកាត់បន្ថយការប្រើប្រាស់ Token ចន្លោះពី ២០% ទៅ ៤០% ដោយលុបចោល khoảng trắng JSON ស្ទួន (បង្រួម JSON មុនពេលបញ្ជូនវាទៅក្នុង Prompt) ជំនួសស្លាក XML ដែលវែងអន្លាយដោយតារាង Markdown ឬ CSV បង្រួម លុបតួអក្សរ Unicode ដែលមើលមិនឃើញ និងលុបការបញ្ជាដែលស្ទួនចេញ។

ការមើលឃើញព្រំដែន Token ដែលមានកូដពណ៌ច្បាស់លាស់បង្ហាញពីមូលហេតុដែល LLMs ពេលខ្លះជួបការលំបាកជាមួយភារកិច្ចកម្រិតតួអក្សរ (ដូចជាការត្រឡប់ពាក្យ ឬរាប់អក្សរ) និងរំលេចខ្សែអក្សរដែលគ្មានប្រសិទ្ធភាព—ដូចជា UUIDs, Base64 blobs ឬកូដដែលមិនបានបង្រួម—ដែលដុតបំផ្លាញ Token រាប់សិបដោយស្ងៀមស្ងាត់។

មិនពិតទេ។ Multinook ដំណើរការ ១០០% ក្នុងស្រុកនៅខាងក្នុង RAM របស់កម្មវិធីរុករករបស់អ្នក។ System Prompts, ឯកសារ RAG និងកូដប្រភពរបស់អ្នកមិនដែលចាកចេញពីម៉ាស៊ីនរបស់អ្នកឡើយ។

ស្តង់ដារ និងភស្តុតាង

ស្តង់ដារផ្លូវការ និងការយោងបច្ចេកទេស

លក្ខណៈជាក់លាក់នៃឧស្សាហកម្មផ្លូវការ ស្តង់ដារបណ្តាញ និងឯកសារយោងគ្រីបតូដែលផ្តល់ថាមពលដល់ម៉ាស៊ីននេះ។

Association for Computational Linguistics (ACL / Sennrich et al.)

Neural Machine Translation of Rare Words with Subword Units (BPE)

ឯកសារស្រាវជ្រាវមូលដ្ឋានដែលណែនាំការបែងចែក Token เป็น Subword Byte-Pair Encoding (BPE) សម្រាប់គំរូភាសាប្រាសាទ (Neural Language Models)។

មើលលក្ខណៈបច្ចេកទេស

WHATWG Encoding Living Standard

UTF-8 TextEncoder Web API Specification

ស្តង់ដារបណ្តាញផ្លូវការដែលគ្រប់គ្រងការអ៊ិនកូដស្ទ្រីមបាយត UTF-8 ដែលប្រើជាស្រទាប់មូលដ្ឋាននៃឧបករណ៍បែងចែក Token BPE កម្រិតបាយតសម័យទំនើប។

មើលលក្ខណៈបច្ចេកទេស

ខាងក្នុង Byte-Pair Encoding (BPE): របៀបដែល LLMs បែងចែកតួអក្សរទៅជា Subword Tokens

ស្ថាបត្យកម្ម Transformer ទំនើប—រួមទាំងស៊េរី GPT-5 និង GPT-4.1 របស់ OpenAI, Claude 4.6 របស់ Anthropic, Gemini 3.1 និង 2.5 របស់ Google, Grok 4 របស់ xAI, Llama 4 របស់ Meta និង DeepSeek V3/R1—ដំណើរការអត្ថបទតាមរយៈក្បួនដោះស្រាយការបែងចែក Token ជា Subword កំណត់ដូចជា Byte-Pair Encoding (BPE) និង SentencePiece។ ជាជាងការរក្សាវាក្យសព្ទគ្មានដែនកំណត់នៃរាល់ពាក្យជារៀងរាល់ភាសា BPE ចាប់ផ្តើមដោយបាយត UTF-8 ដាច់ដោយឡែក និងបញ្ចូលគូអក្សរដែលនៅជាប់គ្នាញឹកញាប់បំផុតទៅជា Token ជា Subword ជា iterative ។

ជាលទ្ធផល ពាក្យភាសាអង់គ្លេសទូទៅដែលមានដកឃ្លាខាងមុខដូចជា ` intelligence` ត្រូវបានអ៊ិនកូដជា ID Token ចំនួនគត់តែមួយ ខណៈដែលពាក្យផ្សំដែលមិនធ្លាប់ស្គាល់ Hash គោលដប់ប្រាំមួយ (Hexadecimal) ឬប្លុក Python ដែលមានការเยื้องច្រើន ត្រូវបានបំបែកជា Token ដាច់ដោយឡែករាប់សិប។ ឧបករណ៍បែងចែក Token របស់ Multinook កសាងព្រំដែន Subword ទាំងនេះឡើងវិញក្នុងពេលជាក់ស្តែងនៅខាងក្នុង RAM របស់កម្មវិធីរុករករបស់អ្នក។

ការបង្កើនប្រសិទ្ធភាពសេដ្ឋកិច្ចបង្អួចបរិបទ (Context Window) នៅទូទាំង GPT-5, GPT-4.1, Claude 4.6, Gemini 3.1 និង DeepSeek

នៅក្នុងកម្មវិធី AI ផលិតកម្ម និង Retrieval-Augmented Generation (RAG) pipelines ចំនួន Token គ្រប់គ្រងដោយផ្ទាល់ទាំងវិក្កយបត្រពពកប្រចាំខែ និងភាពយឺតយ៉ាវ Time-To-First-Token (TTFT)។ ដោយសារភាពស្មុគស្មាញនៃ Self-attention បង្កើនកម្រិតការ៉េជាមួយនឹងប្រវែងลำดับ ការដាក់ឯកសារ 50,000 Token ที่មិនបានបង្កើនប្រសិទ្ធភាពទៅក្នុងការហៅ API នីមួយៗ ធ្វើឱ្យថវិកាអស់យ៉ាងលឿន។

ដោយការប្រៀបធៀប Prompt របស់អ្នកដំណាលគ្នានៅទូទាំងម៉ូដែលកំពូលៗ (GPT-5, GPT-4.1, Claude Opus 4.6, Claude Sonnet 4.6, Gemini 3.1 Pro, Grok 4) និងម៉ូដែលសមត្ថភាពខ្ពស់/flash (GPT-5 mini/nano, o4-mini, Claude Haiku 4.5, Gemini 3 Flash, Gemini 2.5 Flash-Lite, DeepSeek V3/R1, Llama 4 Maverick) ក្រុមវិស្វកម្មអាចធ្វើតេស្តប្រៀបធៀបថ្លៃដើមពិតប្រាកដក្នុង ១,០០០ ការហៅ និងកំណត់ទំហំម៉ូដែលរបស់ពួកគេឱ្យបានត្រឹមត្រូវ។

ការធ្វើសវនកម្ម Prompt បិទជិត ១០០% សម្រាប់ក្រុម AI របស់សហគ្រាស

System Prompts និងបរិបទ RAG របស់សហគ្រាសតំណាងឱ្យកម្មសិទ្ធិបញ្ញាຫຼັກ។ ការបិទភ្ជាប់គំរូ Prompt ที่ជាកម្មសិទ្ធិ ឬชุดข้อมูลរបស់អតិថិជនទៅក្នុងឧបករណ៍រាប់ Token ពពកភាគីទីបី เสี่ยงต่อការលេចធ្លាយតក្កវិជ្ជាអាជីវកម្មសម្ងាត់។ Multinook ធ្វើការបែងចែក BPE និងគំរូថ្លៃដើមទាំងអស់យ៉ាងតឹងរ៉ឹងនៅខាងក្នុងหน่วยความจำ RAM ក្នុងស្រុកដោយគ្មានការបញ្ជូនបណ្តាញណាមួយឡើយ។

សុវត្ថិភាព RAM ក្នុងប្រូស៊ែរដែលបានផ្ទៀងផ្ទាត់ 100%

បានធ្វើបច្ចុប្បន្នភាពសម្រាប់ស្តង់ដារបណ្តាញឆ្នាំ 2026