ප්‍රධාන අන්තර්ගතයට යන්න
Multinook

LLM ටෝකන් ගණකය - නොමිලේ AI පිරිවැය කැල්කියුලේටරය

RAM එක තුළ GPT-5, GPT-4.1, o3, Claude 4.6, Gemini 3.1/2.5, DeepSeek, Grok 4 සහ Llama 4 සඳහා ටෝකන, අක්ෂර, වචන, සන්දර්භ කවුළු භාවිතය සහ API පිරිවැය ගණන් කරන්න

දේශීය RAM එක තුළ සකසමින් පවතී...

ඊළඟට නිර්දේශිත ක්‍රියාමාර්ග

ක්ෂණික කාර්ය ප්‍රවාහ
සැඟවුණු විධාන දිය සලකුණු පිරිසිදු කරන්න

BPE ටෝකන ගණන වැඩි කරන නොපෙනෙන Unicode අක්ෂර ඉවත් කරන්න.

දියත් කරන්න අදෘශ්‍යමාන අක්ෂර පිරිසිදුකාරකය
මූලපද සහ වචන ඝනත්වය විශ්ලේෂණය කරන්න

විධාන දිග, වාක්‍ය ගණන සහ 1x-3x වාක්‍ය ඛණ්ඩ වාර ගණන පරීක්ෂා කරන්න.

දියත් කරන්න අක්ෂර ගණකය
උපසිරැසි සහ පිටපත් කාල නියමය තහවුරු කරන්න

AI-උත්පාදිත පිටපත් සඳහා CPS කියවීමේ වේගය සහ CPL රේඛා සීමාවන් පරී��්ෂා කරන්න.

දියත් කරන්න උපසිරැසි CPS පරීක්ෂකය
එක් බැල්මකින්

ක්ෂණික සාරාංශය සහ ප්‍රධාන කරුණු

අත්‍යවශ්‍ය අවබෝධය, කාර්ය සාධන හැකියාවන් සහ රහස්‍යතා සහතික කිරීම් එක බැල්මකින්.

නිල අර්ථ දැක්වීම

LLM Token Counter සහ AI Cost Calculator යනු විශාල භාෂා ආකෘති හරහා සන්දර්භ කවුළු භාවිතය සහ API අනුමාන පිරිවැය ඇස්තමේන්තු කිරීම සඳහා බ්‍රව්සර මතකයේ පෙළ සහ මූලාශ්‍ර කේත Byte-Pair Encoding (BPE) උපවචන ටෝකන් වලට බෙදීමේ සංවර්ධක උපයෝගීතාවයකි.

දළ විශ්ලේෂණය|තහවුරු කරන ලද සේවාදායක පාර්ශ්වීය ගෘහ නිර්මාණ ශිල්පය

LLM ටෝකන ගණන් කිරීමට සහ AI API විමසුම් පිරිවැය නොමිලේ මාර්ගගතව ගණනය කිරීමට, ඔබේ විමසුම හෝ කේතය Multinook හි LLM ටෝකන් ගණකය වෙත අලවන්න. අපගේ ක්라이언트-පාර්ශ්වීය Byte-Pair Encoding (BPE) විශ්ලේෂකය බ්‍රවුසර් RAM එක තුළ ඔබේ පෙළ දෘශ්‍ය ටෝකන් බ්ලොක් වලට ඛණ්ඩනය කරන අතර GPT-5, GPT-4.1, o3, Claude 4.6, Gemini 3.1/2.5, DeepSeek V3/R1, Grok 4, සහ Llama 4 පුරා ზუსট ටෝකන් ගණන, සන්දර්භ කවුළු ප්‍රතිශත සහ නිල API ආද��න/ප්‍රතිදාන මිල ගණන් සංසන්දනය කරයි.

බහු-ආකෘති සංසන්දනය

GPT-4o, Claude Sonnet, Gemini Pro/Flash, සහ DeepSeek හරහා ටෝකන් ගණන සහ API පිරිවැය එකවර සංසන්දනය කරන්න.

දෘශ්‍ය ටෝකන් උද්දීපනය

ටෝකන් බරින් වැඩි JSON, වයිට්ස්පේස් හෝ කේත ස්ට්‍රින්ග්ස් හඳුනා ගැනීමට නිශ්චිත වර්ණ කේතගත උපවචන ටෝකන් කොටස් බලන්න.

බැච් API පිරිවැය කැල්කියුලේටරය

අභිරුචි ආදාන සහ ප්‍රතිදාන ටෝකන් ස්ලයිඩර් සමඟ තනි ඇමතුම් සහ දෛනික නිෂ්පාදන API වියදම් අනුකරණය කරන්න.

100% දේශීය ප්‍රොම්ප්ට් රහස්‍යතාව

වලාකුළු උඩුගත කිරීම් ශුන්‍යයක් සමඟ දේශීය RAM තුළ රහස්‍ය system prompts සහ හිමිකාරිත්වයක් ඇති මූලාශ්‍ර කේත විගණනය කරන්න.

LLM ටෝකන් ගණකය - නොමිලේ AI පිරිවැය කැල්කියුලේටරය — තාක්ෂණික නිර්මාණ ශිල්පය සහ පිරිවිතර
ඉහළ කාර්යසාධනයක් සහිත එන්ජිම

LLM ටෝකන් ගණකය - නොමිලේ AI පිරිවැය කැල්කියුලේටරය

OpenAI GPT-5/GPT-4.1/o3, Claude 4.6, Gemini 3.1/2.5, DeepSeek, Grok 4, සහ Llama 4 සඳහා LLM ටෝකන, අක්ෂර සහ API විමසුම් පිරිවැය නොමිලේ මාර්ගගතව ගණන් කරන්න.

තත්‍ය කාලීන Byte-Pair Encoding (BPE) ටෝකන් ඇස්තමේන්තුව සහ දෘශ්‍ය වර්ණ-කේතගත ටෝකන් සීමා උද්දීපනය
නිල ආකෘති 21 ක් හරහා එකවර සංසන්දනය: OpenAI (GPT-5, GPT-4.1, o3, o4-mini, GPT-4o), Anthropic (Claude Opus 4.6, Sonnet 4.6, Haiku 4.5, 3.7 Sonnet), Google (Gemini 3.1 Pro, 3 Flash, 2.5 Pro/Flash), DeepSeek V3/R1, xAI Grok 4, සහ Meta Llama 4
නිල 1M ආදාන සහ ප්‍රතිදාන අනුපාත, අපේක්ෂිත ප්‍රතිදාන ටෝකන සහ දෛනික බැච් API ඇමතුම් ගුණක සමඟ සජීවී API පිරිවැය කැල්කියුලේටරය
128K, 164K, 200K, 400K, 500K, සහ 1M ටෝකන සන්දර්භ සීමා හරහා සන්දර්භ කවුළු උපਯෝගීතා මීටර
මුළු අක්ෂර, වචන සහ උපපද සීමාවන් සමඟ නියම අක්ෂර සිට ටෝකන් අනුපාතය පෙන්වය���
100% ගුවන්-විසන්ධි වූ ක්라이언트-පාර්ශ්වීය RAM ක්‍රියාත්මක කිරීම — 0 සේවාදායක උඩුගත කිරීම් සමඟ හිමිකාරීත්ව පද්ධති විමසුම් සහ මූල කේත ආරක්ෂිතව විගණනය කරන්න
Air-Gapped දත්ත රහස්‍යභාවය

සම්පූර්ණ අප්ලෝඩ් කිරීමකින් තොර රහස්‍යභාවය

WebAssembly භාවිතයෙන් ඔබගේ ගොනු ඔබගේ උපාංගයේ RAM එක තුළ පමණක් දැඩි ලෙස සකසනු ලැබේ. කිසිදු ක්ලවුඩ් අප්ලෝඩ් කිරීමක් නැත.

100% බ්‍රවුසරය තුළ RAM සැකසුම් • සේවාදායකයට කිසිදු අප්ලෝඩ් කිරීමක් නැත
Air-Gapped දත්ත රහස්‍යභාවය
පියවරෙන් පියවර උපදෙස්

අන්තර්ජාලය ඔස්සේ භාවිතා කරන්නේ කෙසේද: LLM ටෝකන් ගණකය - නොමිලේ AI පිරිවැය කැල්කියුලේටරය

කිසිදු ස්ථාපනයකින් තොරව ඔබගේ ලේඛන කෙලින්ම ඔබගේ බ්‍රවුසරය තුළ සැකසීමට මෙම සරල පියවර 3 අනුගමනය කරන්න.

1

ඔබේ System Prompt, ලේඛනය හෝ කේතය අලවන්න

ඔබේ LLM ප්‍රොම්ප්ට්, RAG සන්දර්භ ලේඛනය, JSON ස්කීමාව හෝ කේත ගොනුව වැඩ අවකාශයට අලවන්න, නැතහොත් බ්‍රව්සර් RAM මත සජීවීව නියැදි TypeScript ප්‍රොම්ප්ට් එකක් පූරණය කරන්න.

2

වර්ණ කේතගත ටෝකන් සීමාවන් පරීක්ෂා කරන්න

සජීවී ටෝකන් ගණන, අක්ෂර-සිට-ටෝකන් අනුපාත, සහ BPE ටෝකනයිසර් මඟින් වචන, අංක සහ කේත ඉන්ඩෙන්ටೇಶන් බෙදෙන ආකාරය පෙන්වන වර්ණ කේතගත උපවචන ටෝකන් කොටස් නරඹන්න.

3

නිල ආකෘති 21ක් සහ API මිල ගණන් සංසන්දනය කරන්න

GPT-5, GPT-4.1, o3, Claude 4.6, Gemini 3.1/2.5, DeepSeek, Grok 4, සහ Llama 4 හරහා එක් ඉල්ලීමකට සහ බැච් ඩොලර් පිරිවැය නිශ්චිතව සංසන්දනය කිරීමට ඔබ අපේක්ෂිත ප්‍රතිදාන ටෝකන් සහ දෛනික API ඇමතුම් පරිමාව සකසන්න.

රහස්‍යභාවය සහ කාර්යසාධන මිණුම් ලකුණ

සාම්ප්‍රදායික ක්ලවුඩ් පරිවර්තකයන්ට වඩා Multinook වඩා හොඳ වන්නේ ඇයි

සේවාලාභී පාර්ශවීය WebAssembly නිර්මාණ ශිල්පය සාම්ප්‍රදායික ක්ලවුඩ් අප්ලෝඩ් සේවාවන් සමඟ සංසන්දනය කරන්නේ කෙසේදැයි බලන්න.

සංස්කරණය කරන ලද AI ආකෘති

Multinook
නිල API ආකෘති 21ක්
Paid Cloud Portals
OpenAI පරම්පරාවේ පැරණි ආකෘති පමණි

දෘශ්‍ය ටෝකන් උද්දීපනය

Multinook
වර්ණ කේතගත BPE උපවචන
Paid Cloud Portals
සරල අංක ප්‍රතිදානය පමණි

API පිරිවැය සහ බැච් න්‍යාಸ್‌ම

Multinook
ආදානය + ප්‍රතිදානය × දෛනික ඇමතුම්
Paid Cloud Portals
අතින් ගණනය කිරීම අවශ්‍ය වේ

සන්දර්භ කවුළු මීටරය

Multinook
128K / 400K / 500K / 1M
Paid Cloud Portals
ඇතුළත් කර නැත

ප්‍රොම්ප්ට් රහස්‍යතාව

Multinook
100% දේශීය RAM (උඩුගත කිරීම් 0යි)
Paid Cloud Portals
බාහිර API සේවාදායකයකට යවනු ලැබේ

පිරිවැය සහ ප්‍රවේශය

Multinook
සදහටම 100% නොමිලේ (ලොග් වීම අවශ්‍ය නොවේ)
Paid Cloud Portals
සංවර්ධක ගිණුමක් අවශ්‍ය වේ
තාක්ෂණික නිර්මාණ ශිල්පය සහ පිරිවිතර

පිරිවිතර සහ ආකෘති අනුකූලතාව

W3C WebAssembly සහ Typed Array පිරිවිතරයන්ට දැඩි ලෙස අනුකූලව නිර්මාණය කර ඇත.

ටෝකනකරණ එන්ජුමක��라이언트 පැත්තේ BPE උපවචන කොටස්කාරකය (o200k_base, Claude BPE සහ SentencePiece)
සහාය දක්වන පරිසර පද්ධතිOpenAI (GPT-5/4.1/o3), Anthropic (Claude 4.6/4.5), Google (Gemini 3.1/2.5), DeepSeek, Grok 4 සහ Llama 4
දෘශ්‍ය පරීක්ෂකයවර්ණ කේතගත උපවචන ටෝකන් සීමා උද්දීපනය
පිරිවැය ආකෘති නිර්මාණයනිල මිලියන 1 ආදාන + ප්‍රතිදාන ටෝකන් මිල × දෛනික බැච් පරිමාව
සන්දර්භ දුරස්ථ මිනුම්128K, 164K, 200K, 400K, 500K සහ 1M ටෝකන් සන්දර්භ කවුළු මීටර
පෞද්ගලිකත්ව වාස්තු විද්‍යාව100% දේශීය බ්‍රව්සර RAM (සේවාදායක උඩුගත කිරීම් ශුන්‍යය)
ප්‍රේක්ෂකයින් සහ කාර්ය ප්‍රවාහයන්

ඉලක්කගත ප්‍රේක්ෂකයින් සහ ප්‍රායෝගික භාවිත අවස්ථා

බ්‍රවුසරය තුළ ක්‍රියාත්මක වන මෙම උපයෝගීතාවෙන් ප්‍රතිලාභ ලබන්නේ කවුරුන්ද සහ එය යෙදිය යුත්තේ කවදාද යන්න.

RAG සහ ඒජන්ට් පද්ධති වාස්තු විද්‍යාඥයින්

AI ඉංජිනේරුවන් සහ LLM යෙදුම් සංවර්ධකයින්

OpenAI, Anthropic, සහ Google හරහා ප්‍රොම්ප්ට් ටෝකන් ප්‍රමාණයන්, සන්දර්භ කව���ළු භාවිතය සහ දෛනික API අනුමාන පිරිවැය මිණුම් ලකුණු කිරීම.

System Prompt නිර්මාණකරුවන්

ප්‍රොම්ප්ට් ඉංජිනේරුවන් සහ තාක්ෂණික ලේඛකයින්

වාචාල උපදෙස් සම්පීඩනය කිරීමට සහ ටෝකන් බරින් වැඩි හැඩතල ගැන්වීමේ උ버ෝඩ් ඉවත් කිරීමට දෘශ්‍ය ටෝකන් උද්දීපනය භාවිතා කිරීම.

AI ඒකක ආර්ථික විද්‍යා සැලසුම්කරුවන්

නිෂ්පාදන කළමනාකරුවන් සහ SaaS නිර්මාතෘවරුන්

නව AI විශේෂාංග දියත් කිරීමට පෙර දිනකට ඉල්ලීම් 1,000 සිට 100,000 දක්වා පරිශීලක-සඳහා සහ මාසික LLM API බිල්පත් පුරෝකථනය කිරීම.

දත්ත කට්ටල සහ මනාව-සුසර කිරීමේ භාරකරුවන්

දත්ත විද්‍යාඥයින් සහ පර්යේෂකයින්

බහුභාෂා කෝಪෝරා සහ JSONL මනාව-සුසර කිරීමේ ගොනු හරහා අක්ෂර-සිට-ටෝකන් අනුපාත මැනීම.

ප්‍රායෝගික රසායනාගාර පරීක්ෂණ

ප්‍රථම අත්දැකීමෙන් සත්‍යාපනය සහ කාර්ය සාධන මිණුම් ලකුණු

ජාල සම්ප්‍රේෂණයකින් තොරව නවීන බ්‍රවුසර සහ මෙහෙයුම් පද්ධති හරහා සිදු කරන ලද ප්‍රායෝගික පරීක්ෂණ ප්‍රතිඵල.

Google Chrome 128 (Apple M3 Max)

ගොනුව: අක්ෂර 120,000 ක RAG සන්දර්භ ලේඛනය (~ටෝකන් 30,000)

3.8ms BPE උපවචන කොටස් කිරීම සහ බහු-ආකෘති පිරිවැය වගුවමාරු කරන ලද 0 KB (100% දේශීය උපාංග RAM)
Microsoft Edge 126 (Windows 11 x64 Intel i7)

ගොනුව: අක්ෂර 15,000 ක TypeScript සහ JSON ප්‍රොම්ප්ට්

1.1ms සජීවී දෘශ්‍ය ටෝකන් සීමා रेండරින්මාරු කරන ලද 0 KB (100% ද��ශීය උපාංග RAM)
Mobile Safari (iOS 18 / iPhone 15 Pro)

ගොනුව: අක්ෂර 4,000 ක System Prompt සැකිල්ල

0.5ms ක්ෂණික ජංගම ටෝකන් සහ පිරිවැය ගණනය කිරීමමාරු කරන ලද 0 KB (100% දේශීය උපාංග RAM)
පොදු විමසීම්

නිතර අසන ප්‍රශ්න

රහස්‍යභාවය, ආරක්ෂාව, ගොනු සීමාවන් සහ භාවිතය පිළිබඳව ඔබ දැනගත යුතු සියල්ල.

විශාල ��ාෂා ආකෘති (Large Language Models) පෙළ වචනයෙන්-වචනයට හෝ අක්ෂරයෙන්-අක්ෂරයට කියවන්නේ නැත; ඒ වෙනුවට, ඒවා Byte-Pair Encoding (BPE) හෝ SentencePiece භාවිතයෙන් පෙළ ටෝකන් ලෙස හැඳින්վෙන උපවචන කොටස් වලට කඩයි. සාමාන්‍ය ඉංග්‍රීසි පෙළ සඳහා, ටෝකන් 1 ක් ආසන්න වශයෙන් අක්ෂර 4 කට හෝ වචන 0.75 කට සමාන වේ. එබැවින්, ටෝකන් 100 ක් දළ වශයෙන් වචන 75 ක් වන අතර, වචන 1,000 ක් ආසන්න වශයෙන් ටෝකන් 1,333 ක් වේ.
BPE ටෝකනයිසර් (`o200k_base` සහ `cl100k_base`) ප්‍රධාන වශයෙන් පුහුණු කර ඇත්තේ පොදු ඉංග්‍රීසි වචන මත වන අතර, එයි��් 'application' වැනි නිතර භාවිතා වන වචන එකම ටෝකනයකට ගැළපීමට ඉඩ සලසයි. කෙසේ වෙතත්, විරාಮ ලක්ෂණ, JSON වරහන්, ඉලක්කම් කිහිපයක අංක, වයිට්ස්පේස් ඉන්ඩෙන්ටೇಶන් සහ ලතින් නොවන UTF-8 ස්ක්‍රිප්ට් කුඩා බাইট මට්ටමේ උපවචන වලට කඩා දමනු ලබන අතර, එම අක්ෂර දිගම සඳහා බොහෝ විට 1.5x සිට 3x දක්වා වැඩි ටෝකන් ප්‍රමාණයක් පරිභෝජනය කරයි.
AI ආකෘති සපයන්නන් ආදාන (ප්‍රොම්ප්ට්) ටෝකන් සහ ප්‍රතිදාන (සම්පූර්ණ කිරීම සහ තර්කනය) ටෝකන් සඳහා වෙන වෙනම බිල්පත් කරයි, මිල මිලියන 1 ක ටෝකන් (1M) සඳහා උපුටා දක��වයි. උදාහරණයක් ලෙස, OpenAI GPT-5 ආදානය මිලියන 1 කට $1.25 ක් සහ ප්‍රතිදානය මිලියන 1 කට $10.00 ක් බිල්පත් කරයි, GPT-4.1 ආදානය මිලියන 1 කට $2.00 ක් සහ ප්‍රතිදානය මිලියන 1 කට $8.00 ක් බිල්පත් කරයි, Claude Sonnet 4.6 ආදානය මිලියන 1 කට $3.00 ක් සහ ප්‍රතිදානය මිලියන 1 කට $15.00 ක් බිල්පත් කරයි, සහ Google Gemini 2.5 Flash ආදානය මිලියන 1 කට $0.30 ක් සහ ප්‍රතිදානය මිලියන 1 කට $2.50 ක් බිල්පත් කරයි. අපගේ කැල්කියුලේටරය ඔබගේ නිශ්චිත ආදාන ටෝකන් ගණන සහ ඉලක්ක ප්‍රතිදාන දිග එක් එක් ආකෘතියේ නිල ලේඛනගත API අනුපාතයට එරෙහිව ගුණ කරයි.
`cl100k_base` (ශබ්දකෝෂ ප්‍රමාණය 100,000) පැරණි GPT-4 සහ GPT-3.5-Turbo සඳහා භාවිතා කරන ලදී. නවීන OpenAI ආකෘති—GPT-5, GPT-4.1, o3, o4-mini, සහ GPT-4o ඇතුළුව—`o200k_base` (ශබ්දකෝෂ ප්‍රමාණය 200,000) භාවිතා කරයි, එය ඉංග්‍රීසි නොවන පෙළ, මූලාශ්‍ර කේත සහ පොදු බහු-වචන ප්‍රකාශන 10% සිට 25% දක්වා අඩු ටෝකන් වලට සම්පීඩනය කරයි.
නිල API ලේඛනවලට අනුව: OpenAI GPT-5 / mini / nano ටෝකන් 400,000 ක් (400K) සඳහා සහය දක්වයි; GPT-4.1 / mini ටෝකන් 1,047,576 ක් (1M) සඳහා සහය දක්වයි; OpenAI o3 සහ o4-mini ටෝකන් 200,000 ක් (200K) සඳහා සහය දක්වයි; Claude Opus 4.6 සහ Sonnet 4.6 ටෝකන් 1,000,000 ක් (1M) දක්වා සහය දක්වයි; Google Gemini 3.1 Pro, 3 Flash සහ 2.5 Pro/Flash ටෝකන් 1,000,000 ක් (1M) සඳහා සහය දක්වයි; xAI Grok 4 ටෝකන් 500,000 ක් (500K) සඳහා සහය දක්වයි; DeepSeek V3 ටෝකන් 164,000 ක් (164K) සඳහා සහය දක්වයි; සහ Meta Llama 4 Maverick ටෝකන් 1,048,576 ක් (1M) සඳහා සහය දක්වයි.
අතිරික්ත JSON වයිට්ස්පේස් ඉවත් කිරීමෙන් (ප්‍රොම්ප්ට් වෙත යැවීමට පෙර JSON කුඩා කිරීම), වාක්‍ය ඛණ්ඩමය XML ටැග් සංයුක්ත Markdown හෝ CSV වගු සමඟ ප්‍රතිස්ථාපනය කිරීමෙන්, නොපෙනෙන Unicode අක්ෂර ඉවත් කිරීමෙන් සහ පුනරාවර්තන උපදෙස් ඉවත් කිරීමෙන් ඔබට ටෝකන් පරිභෝජනය 20% සිට 40% දක්වා අඩු කර ගත හැක.
නිශ්චිත වර්ණ කේතගත ටෝකන් සීමාවන් දැකීමෙන් LLM සමහර විට අක්ෂර මට්ටමේ කාර්යයන් සමඟ (වචන ආපසු හැරවීම හෝ අක්ෂර ගණන් කිරීම වැනි) අරගල කරන්නේ මන්දැයි හෙළි කරන අතර UUID, Base64 බ්लोಬ್ස් හෝ කුඩා නොකළ කේත වැනි ටෝකන් දුසිම් ගණනක් නිහඬව දවාලන අකාර්යක්ෂම ස්ට්‍රින්ග්ස් උද්දීපනය කරයි.
කිසිවිටෙක නැත. Multinook ඔබේ බ්‍රව්සරයේ අස්ථාවර RAM මත 100% ක් දේශීයව ක්‍රියාත්මක වේ. ඔබේ system prompts, RAG ලේඛන සහ මූලාශ්‍ර කේත කිසිවිටෙක ඔබේ යන්ත්‍රයෙන් පිටතට නොයයි.
මූලධර්ම සහ සාක්ෂි

බලගතු ප්‍රමිතීන් සහ තාක්ෂණික උපුටා දැක්වීම්

මෙම එන්ජිම බලගන්වන නිල කර්මාන්ත පිරිවිතර, වෙබ් ප්‍රමිතීන් සහ සංකේතාත්මක යොමු කිරීම්.

ගණිතමය භාෂා විද්‍යා සංගමය (ACL / Sennrich සහ වෙනත්)

උපවචන ඒකක සමඟ දුර්ලභ වචනවල ස්නායු යන්ත්‍ර පරිවර්තනය (BPE)

ස්නායු භාෂා ආකෘති සඳහා Byte-Pair Encoding (BPE) උපවචන ටෝකනකරණය හඳුන්වා දෙන මූලික පර්යේෂණ පත්‍රිකාව.

විශේෂාංග බලන්න
WHATWG කේතනය කිරීමේ ජීවමාන ප්‍රමිතිය

UTF-8 TextEncoder වෙබ් API පිරිවිතර

නූතන බাইট මට්ටමේ BPE ටෝකනයිසර්වල මූලික ස්ථරය ලෙස භාවිතා කරන UTF-8 බাইট ප්‍රවාහ කේතනය පාලනය කරන නිල වෙබ් ප්‍රමිතිය.

විශේෂාංග බලන්න

Byte-Pair Encoding (BPE) ඇතුළත: LLM මඟින් අක්ෂර උපවචන ටෝකන් වලට බෙදන්නේ කෙසේද

OpenAI හි GPT-5 සහ GPT-4.1 මාලාව, Anthropic හි Claude 4.6, Google හි Gemini 3.1 සහ 2.5, xAI හි Grok 4, Meta හි Llama 4, සහ DeepSeek V3/R1 ඇතුළු නවීන ට්‍රාන්ස්ෆෝමර් ආකෘති Byte-Pair Encoding (BPE) සහ SentencePiece වැනි නිර්ණායක උපවචන ටෝකනකරණ ඇල්ගොරිතම හරහා පෙළ සකසයි. සෑම භාෂාවකම ඇති සෑම වචනයකම අනන්ත ශබ්දකෝෂයක් පවත්වාගෙන යාමට වඩා, BPE තනි UTF-8 බයිට් වලින් ආරම්භ වන අතර නිතර ආසන්නම අක්ෂර යුගල පුනරාවර්තන ලෙස උපවචන ටෝකන් වලට ඒකාබද්ධ කරයි.

ප්‍රතිඵලයක් වශයෙන්, ` intelligence` වැනි ප්‍රමුඛ අවකාශයක් සහිත පොදු ඉංග්‍රීසි වචනයක් තනි පූර්ණ සංඛ්‍යා ටෝකන් හැඳුනුම්පතක් ලෙස කේතනය කරනු ලබන අතර, හුරුපුරුදු නොවන සංයුක්ත පදයකි, ෂඩාස්‍ර හැෂයකි, හෝ දැඩි ලෙස ඉන්ඩෙන්ට් කරන ලද Python බ්ලොක් එකක් ටෝකන් දහස් ගණනකට බිඳ වැටේ. Multinook හි දෘශ්‍ය ටෝකනයිසර් ඔබේ බ්‍රව්සරයේ RAM තුළ තත්‍ය කාලීනව මෙම උපවචන සීමාවන් නැවත සකස් කරයි.

GPT-5, GPT-4.1, Claude 4.6, Gemini 3.1 සහ DeepSeek හරහා සන්දර්භ කවුළු ආර්ථික විද්‍යාව ප්‍රශස්ත කිරීම

නිෂ්පාදන AI යෙදුම් සහ Retrieval-Augmented Generation (RAG) পাইপಲਾਈන්වල, ටෝකන් ග��න මාසික වලාකුළු බිල්පත් සහ Time-To-First-Token (TTFT) ප්‍රමාදය යන දෙකම සෘජුවම පාලනය කරයි. ස්වයං-අවධානය සංකීර්ණතාව අනුක්‍රමික දිග සමඟ චතුරස්‍රාකාරව පරිමාණය වන බැවින්, ප්‍රශස්ත නොකළ ටෝකන් 50,000 ක ලේඛන සෑම API ඇමතුමකටම පිරවීම අයවැය වේගයෙන් ක්ෂය කරයි.

දේශසීමා ප්‍රමුඛ ආකෘති (GPT-5, GPT-4.1, Claude Opus 4.6, Claude Sonnet 4.6, Gemini 3.1 Pro, Grok 4) සහ ඉහළ කාර්යක්ෂමතා තර්කන/ෆ්ලෑෂ් ආකෘති (GPT-5 mini/nano, o4-mini, Claude Haiku 4.5, Gemini 3 Flash, Gemini 2.5 Flash-Lite, DeepSeek V3/R1, Llama 4 Maverick) හරහා ඔබේ ප්‍රොම්ප්ට් එක එකවර සංසන්දනය කිරීමෙන්, ඉංජිනේරු කණ්ඩායම් වලට එක් වරක් ඇමතුම් 1,000 ක පිරිවැය මිණුම් ලකුණු කර ඔවුන්ගේ ආකෘති මාර්ගගත කිරීම නිවැර��ි කර ගත හැක.

ව්‍යවසාය AI කණ්ඩායම් සඳහා 100% කපන ලද ප්‍රොම්ප්ට් විගණනය

System prompts සහ ව්‍යවසාය RAG සන්දර්භයන් මූලික බුද්ධිමය දේපළ නියෝජනය කරයි. හිමිකාරිත්වයක් ඇති ප්‍රොම්ප්ට් සැකිලි හෝ පාරිභෝගික දත්ත කට්ටල තෙවන පාර්ශවීය වලාකුළු ටෝකනයිසර් වෙත ඇලවීම රහස්‍ය ව්‍යාපාරික තර්කනය කාන්දු වීමේ අවදානමක් ඇත. Multinook කිසිදු ජාල සම්ප්‍රේෂණයකින් තොරව දේශීය බ්‍රව්සර මතකයේ දැඩි ලෙස සියලුම BPE කොටස් කිරීම සහ පිරිවැය ආකෘති නිර්මාණය සිදු කරයි.

තහවුරු කරන ලද 100% බ්‍රවුසරය තුළ RAM ආරක්ෂාව
2026 වෙබ් ප්‍රමිතීන් සඳහා යාවත්කාලීන කරන ලදී

අදාළ මෙවලම්

ප්‍රවර්ගයේ සියලුම මෙවලම් බලන්න →
COUNT
ජනප්‍රිය

අක්ෂර ගණකය

ബ്രවුසර් RAM එක තුළ අක්ෂර, වචන, වාක්‍ය, UTF-8 බයිට්, කියවීමේ කාලය සහ 1x-3x මූලපද ඝණත්වය ගණන් කරන්න

සංවර්ධක මෙවලම්→
X-RAY
2026 නව

අදෘශ්‍යමාන අක්ෂර පිරිසිදුකාරකය

ಬ್ರවුಸර් RAM එක තුළ සැඟවුණු Unicode අක්ෂර 35+, බිංදු-ಪಳಲ හිස්තැන් සහ AI වෝಟರ್මාර්ක් අනාවරණය කර ඉවත් කරන්න

සංවර්ධක මෙවලම්→
GSM-7
2026 නව

SMS ගණකය

GSM-7 (අක්ෂර 160) සහ UCS-2 Unicode (අක්ෂර 70) SMS කොටස් ගණනය කරන්න, GSM නොවන අක්ෂර හඳුනා ගන්න සහ පණිවිඩ යැවීමේ පිරිවැය කපා හරින්න

සංවර්ධක මෙවලම්→