100X SOTA

Kihesabu cha Tokeni za LLM - Kikokotoo cha Gharama za AI Bure

Hesabu tokeni, herufi, maneno, matumizi ya dirisha la muktadha, na gharama za API kwa GPT-5, GPT-4.1, o3, Claude 4.6, Gemini 3.1/2.5, DeepSeek, Grok 4 & Llama 4 kwenye RAM

Inachakata kwenye RAM ya karibu...

Hatua Zinazofuata Zinazopendekezwa

Mitiririko ya Kazi ya Haraka

Safisha Alama Zilizofichwa za Vidokezo

Ondoa herufi zisizoonekana za Unicode zinazoongeza idadi ya tokeni za BPE.

Zindua Kisafisha Herufi Zisizoonekana

Changanua Msongamano wa Maneno Muhimu na Maneno

Kagua urefu wa kidokezo, idadi ya sentensi, na masafa ya vishazi vya 1x-3x.

Zindua Kipingaji cha Herufi

Thibitisha Muda wa Manukuu na Maandishi

Angalia kasi ya kusoma ya CPS na mipaka ya mistari ya CPL kwa maandishi yaliyozalishwa na AI.

Zindua Kichunguzi cha CPS ya Manukuu

Kwa Mtazamo

Muhtasari wa Haraka na Vitu Muhimu vya Kuzingatia

Maarifa muhimu, uwezo wa utendakazi, na uhakikisho wa faragha kwa mtazamo mmoja tu.

Ufafanuzi Rasmi

Kikokotoo cha Tokeni za LLM na Gharama za AI ni zana ya msanidi programu inayogawanya maandishi na msimbo wa chanzo katika tokeni za maneno madogo za Byte-Pair Encoding (BPE) kwenye kumbukumbu ya kivinjari ili kukadiria utumiaji wa dirisha la muktadha na gharama za utabiri wa API katika mifano mikubwa ya lugha.

Muhtasari|Usanifu wa Upande wa Mteja Uliothibitishwa

Ili kuhesabu tokeni za LLM na kukokotoa gharama za vidokezo vya API ya AI mtandaoni bure, bandika kidokezo au msimbo wako kwenye Kihesabu cha Tokeni za LLM cha Multinook. Kichanganuzi chetu cha Byte-Pair Encoding (BPE) cha upande wa mteja kinagawa maandishi yako katika vizuizi vya tokeni zinazoonekana kwenye RAM ya kivinjari na kulinganisha idadi kamili ya tokeni, asilimia za dirisha la muktadha, na bei rasmi za uingizaji/matokeo ya API kote GPT-5, GPT-4.1, o3, Claude 4.6, Gemini 3.1/2.5, DeepSeek V3/R1, Grok 4, na Llama 4.

Ulinganisho wa Mifano Mingi

Linganisha idadi ya tokeni na gharama za API katika GPT-4o, Claude Sonnet, Gemini Pro/Flash, na DeepSeek kwa mara moja.

Kionyeshi cha Tokeni za Kuona

Ona vipande halisi vya tokeni za maneno madogo zilizowekewa rangi ili kugundua JSON nzito ya tokeni, nafasi nyeupe, au mistari ya msimbo.

Kikokotoo cha Gharama za API za Makundi

Igiza matumizi ya API ya simu moja na ya uzalishaji ya kila siku kwa vitelezi maalum vya tokeni za uingizaji na ututoaji.

Faragha ya Maagizo ya Ndani ya 100%

Kagua maagizo ya siri ya mfumo na msimbo wa chanzo wa wamiliki katika RAM ya ndani bila upakiaji wowote kwenye wingu.

Injini ya Utendaji wa Juu

Kihesabu cha Tokeni za LLM - Kikokotoo cha Gharama za AI Bure

Hesabu tokeni za LLM, herufi, na gharama za vidokezo vya API kwa OpenAI GPT-5/GPT-4.1/o3, Claude 4.6, Gemini 3.1/2.5, DeepSeek, Grok 4, na Llama 4 mtandaoni bure.

Makadirio ya tokeni ya Byte-Pair Encoding (BPE) ya wakati halisi na kionyeshi cha rangi cha mpaka wa tokeni

Ulinganisho wa wakati mmoja katika miundo 21 rasmi: OpenAI (GPT-5, GPT-4.1, o3, o4-mini, GPT-4o), Anthropic (Claude Opus 4.6, Sonnet 4.6, Haiku 4.5, 3.7 Sonnet), Google (Gemini 3.1 Pro, 3 Flash, 2.5 Pro/Flash), DeepSeek V3/R1, xAI Grok 4, na Meta Llama 4

Kikokotoo cha gharama za API cha wakati halisi chenye viwango rasmi vya Uingizaji na Matokeo kwa Kila Milioni 1, Tokeni Zinazotarajiwa za Matokeo, na vizidishi vya Miito ya API ya Kundi la Kila Siku

Mita za matumizi ya dirisha la muktadha kote vikomo vya muktadha wa tokeni 128K, 164K, 200K, 400K, 500K, na 1M

Inaonyesha uwiano halisi wa Herufi kwa Tokeni pamoja na jumla ya herufi, maneno, na mipaka ya neno ndogo (subword)

Utekelezaji wa 100% uliotengwa wa mteja kwenye RAM—hakiki kwa usalama vidokezo vya mfumo wa umiliki na msimbo chanzo bila upakiaji wowote wa seva

Faragha ya Data Iliyotengwa na Mtandao

Usiri Kamili Usio na Upakiaji

Faili zako zinachakatwa kabisa ndani ya RAM ya kifaa chako kwa kutumia WebAssembly. Hakuna upakiaji kwenye wingu.

Usindikaji wa RAM ya Kwenye Kivinjari 100% • Hakuna Upakiaji Kwenye Seva

Maagizo ya Hatua kwa Hatua

Jinsi ya kutumia mtandaoni: Kihesabu cha Tokeni za LLM - Kikokotoo cha Gharama za AI Bure

Fuata hatua hizi 3 rahisi ili kuchakata hati zako moja kwa moja kwenye kivinjari chako bila usakinishaji wowote.

Bandika Kidokezo Chako cha Mfumo, Hati, au Msimbo

Bandika kidokezo chako cha LLM, hati ya muktadha wa RAG, mpango wa JSON, au faili ya msimbo kwenye eneo la kazi, au pakia kidokezo cha mfano cha TypeScript moja kwa moja kwenye RAM ya kivinjari.

Chunguza Mipaka ya Tokeni Iliyowekewa Alama za Rangi

Tazama idadi ya tokeni ya moja kwa moja, uwiano wa herufi kwa tokeni, na vipande vya tokeni vya neno dogo vilivyowekewa rangi vinavyoonyesha jinsi vigeuzi vya tokeni vya BPE vinavyogawa maneno, namba, na upangaji wa msimbo.

Linganisha Mifano 21 Rasmi & Bei za API

Weka tokeni zako za matokeo zinazotarajiwa na kiwango cha kila siku cha simu za API ili kulinganisha gharama halisi za dola kwa kila ombi na kundi katika GPT-5, GPT-4.1, o3, Claude 4.6, Gemini 3.1/2.5, DeepSeek, Grok 4, na Llama 4.

100% Bure Milele (Hakuna Kuingia)

Paid Cloud Portals

Inahitaji Akaunti ya Msanidi Programu

Ulinganisho wa Vipengele	Multinook (RAM ya Kwenye Kivinjari)	Paid Cloud Portals
Mifano ya AI Inayoungwa Mkono	Mifano 21 Rasmi ya API	Mifano ya Awali ya OpenAI Pekee
Kionyeshi cha Tokeni za Kuona	Maneno Madogo ya BPE Yaliyowekewa Alama za Rangi	Matokeo ya Namba Tu
Matrix ya Gharama na Makundi ya API	Uingizaji + Utoaji × Simu za Kila Siku	Hesabu za Mwongozo Zinahitajika
Kipimo cha Dirisha la Muktadha	128K / 400K / 500K / 1M	Haijajumuishwa
Faragha ya Vidokezo	RAM ya Ndani ya 100% (Hakuna Upakiaji)	Imetum ImageTk kwa Seva ya Nje ya API
Gharama na Upatikanaji	100% Bure Milele (Hakuna Kuingia)	Inahitaji Akaunti ya Msanidi Programu

Muundo wa Kiufundi na Vipimo

Vipimo na Utangamano wa Miundo

Imeundwa kikamilifu kulingana na vipimo vya W3C WebAssembly na Typed Array.

Injini ya Ugawaji wa TokeniKigawaji cha Maneno Madogo cha BPE cha Upande wa Mteja (o200k_base, Claude BPE & SentencePiece)

Mifumo Inayoungwa MkonoOpenAI (GPT-5/4.1/o3), Anthropic (Claude 4.6/4.5), Google (Gemini 3.1/2.5), DeepSeek, Grok 4 & Llama 4

Kichunguzi cha KuonaKionyeshi cha Mipaka ya Tokeni za Maneno Madogo Zilizowekewa Alama za Rangi

Uundaji wa GharamaBei Rasmi kwa Kila 1M ya Tokeni za Uingizaji + Utoaji × Kiasi cha Kundi la Kila Siku

Telemetri ya MuktadhaVipimo vya Dirisha la Muktadha la Tokeni 128K, 164K, 200K, 400K, 500K & 1M

Muundo wa FaraghaRAM ya Ndani ya Kivinjari Iliyotengwa na Hewa kwa 100% (Hakuna Upakiaji wa Seva)

Watazamaji na Mitiririko ya Kazi

Watazamaji Wanaolengwa na Matumizi Halisi

Nani anayenufaika na zana hii ya kivinjari na wakati wa kuitumia.

Wasanifu wa Mifumo ya RAG na Mawakala

Wahandisi wa AI na Wasanidi Programu wa LLM

Kupima ukubwa wa tokeni za maagizo, utumiaji wa dirisha la muktadha, na gharama za kila siku za utabiri wa API katika OpenAI, Anthropic, na Google.

Wabunifu wa Maagizo ya Mfumo

Wahandisi wa Maagizo na Waandishi wa Kiufundi

Kutumia uwekaji alama wa rangi kwenye tokeni ili kubana maagizo yenye maelezo marefu na kuondoa uzito mkubwa wa uumbizaji wa tokeni.

Wapangaji wa Uchumi wa Kitengo cha AI

Mameneja wa Bidhaa na Waanzilishi wa SaaS

Kutabiri bili za API za LLM kwa kila mtumiaji na za kila mwezi katika maombi 1,000 hadi 100,000 ya kila siku kabla ya kuzindua vipengele vipya vya AI.

Wachunguzi wa Seti za Data na Urekebishaji

Wanasayansi wa Data na Watafiti

Kupima uwiano wa herufi kwa tokeni katika mikusanyiko ya lugha nyingi na faili za urekebishaji za JSONL.

Upimaji wa Maabara kwa Vitendo

Uthibitishaji wa Kibinafsi na Vipimo vya Utendakazi

Matokeo ya majaribio ya vitendo yaliyofanywa katika vivinjari vya kisasa na mifumo ya uendeshaji bila maambukizi yoyote ya mtandao.

Google Chrome 128 (Apple M3 Max)

Faili: Hati ya Muktadha wa RAG ya Herufi 120,000 (~Tokeni 30,000)

Uchambuzi wa maneno madogo ya BPE ya 3.8ms na jedwali la gharama za mifano mingi0 KB Imehamishwa (RAM ya Kifaa cha Ndani ya 100%)

Microsoft Edge 126 (Windows 11 x64 Intel i7)

Faili: Kidokezo cha TypeScript & JSON cha Herufi 15,000

Utoaji wa mpaka wa tokeni za kuona moja kwa moja wa 1.1ms0 KB Imehamishwa (RAM ya Kifaa cha Ndani ya 100%)

Mobile Safari (iOS 18 / iPhone 15 Pro)

Faili: Kiolezo cha Kidokezo cha Mfumo cha Herufi 4,000

Hesabu ya papo hapo ya tokeni na gharama ya simu ya 0.5ms0 KB Imehamishwa (RAM ya Kifaa cha Ndani ya 100%)

Mazingira ya Jaribio / Kifaa	Faili ya Jaribio & Utata	Muda wa Uchakataji	Uhamisho wa Data ya Mtandao
Google Chrome 128 (Apple M3 Max)	Hati ya Muktadha wa RAG ya Herufi 120,000 (~Tokeni 30,000)	Uchambuzi wa maneno madogo ya BPE ya 3.8ms na jedwali la gharama za mifano mingi	0 KB Imehamishwa (RAM ya Kifaa cha Ndani ya 100%)
Microsoft Edge 126 (Windows 11 x64 Intel i7)	Kidokezo cha TypeScript & JSON cha Herufi 15,000	Utoaji wa mpaka wa tokeni za kuona moja kwa moja wa 1.1ms	0 KB Imehamishwa (RAM ya Kifaa cha Ndani ya 100%)
Mobile Safari (iOS 18 / iPhone 15 Pro)	Kiolezo cha Kidokezo cha Mfumo cha Herufi 4,000	Hesabu ya papo hapo ya tokeni na gharama ya simu ya 0.5ms	0 KB Imehamishwa (RAM ya Kifaa cha Ndani ya 100%)

Maswali ya Kawaida

Maswali Yanayoulizwa Mara kwa Mara

Kila kitu unachohitaji kujua kuhusu faragha, usalama, mipaka ya faili, na matumizi.

Mifano Kubwa ya Lugha haisomi maandishi neno kwa neno au herufi kwa herufi; badala yake, hugawanya maandishi katika vipande vya maneno madogo vinavyoitwa tokeni kwa kutumia Byte-Pair Encoding (BPE) au SentencePiece. Kwa maandishi ya kawaida ya Kiingereza, tokeni 1 ni sawa na takriban herufi 4 au maneno 0.75. Kwa hiyo, tokeni 100 ni takriban maneno 75, na maneno 1,000 ni takriban tokeni 1,333.

Vigeuzi vya tokeni vya BPE (`o200k_base` na `cl100k_base`) vimefunzwa hasa kwa maneno ya kawaida ya Kiingereza, hivyo kuruhusu maneno ya mara kwa mara kama 'application' kutoshea kwenye tokeni moja. Hata hivyo, alama za uakifishaji, mabano ya JSON, namba zenye tarakimu nyingi, nafasi nyeupe za upangaji, na hati za UTF-8 zisizo za Kilatini hugawanywa katika maneno madogo ya kiwango cha byte, mara nyingi zikitumia mara 1.5 hadi 3 zaidi ya tokeni kwa urefu ule ule wa herufi.

Watoa huduma wa mifano ya AI hutoza malipo kando kwa tokeni za Uingizaji (Ombi) na tokeni za Utoaji (Kukamilisha na Kufikiri), zilizotajwa kwa kila Tokeni Milioni 1 (1M). Kwa mfano, OpenAI GPT-5 hutoza $1.25/1M ya uingizaji na $10.00/1M ya utoaji, GPT-4.1 hutoza $2.00/1M ya uingizaji na $8.00/1M ya utoaji, Claude Sonnet 4.6 hutoza $3.00/1M ya uingizaji na $15.00/1M ya utoaji, na Google Gemini 2.5 Flash hutoza $0.30/1M ya uingizaji na $2.50/1M ya utoaji. Kikokotoo chetu huzidisha idadi yako halisi ya tokeni za uingizaji na urefu uliokusudiwa wa matokeo dhidi ya kiwango rasmi cha API kilichorekodiwa cha kila mfano.

`cl100k_base` (ukubwa wa msamiati 100,000) ilitumika kwa GPT-4 na GPT-3.5-Turbo za zamani. Mifano ya kisasa ya OpenAI—ikiwa ni pamoja na GPT-5, GPT-4.1, o3, o4-mini, na GPT-4o—hutumia `o200k_base` (ukubwa wa msamiati 200,000), ambayo inabana maandishi yasiyo ya Kiingereza, msimbo wa chanzo, na maneno ya kawaida ya maneno mengi kuwa na tokeni chache kwa 10% hadi 25%.

Kulingana na hati rasmi za API: OpenAI GPT-5 / mini / nano zinasaidia tokeni 400,000 (400K); GPT-4.1 / mini zinasaidia tokeni 1,047,576 (1M); OpenAI o3 & o4-mini zinasaidia tokeni 200,000 (200K); Claude Opus 4.6 & Sonnet 4.6 zinasaidia hadi tokeni 1,000,000 (1M); Google Gemini 3.1 Pro, 3 Flash & 2.5 Pro/Flash zinasaidia tokeni 1,000,000 (1M); xAI Grok 4 inasaidia tokeni 500,000 (500K); DeepSeek V3 inasaidia tokeni 164,000 (164K); na Meta Llama 4 Maverick inasaidia tokeni 1,048,576 (1M).

Unaweza kupunguza matumizi ya tokeni kwa 20% hadi 40% kwa kuondoa nafasi nyeupe za ziada za JSON (kupunguza JSON kabla ya kuiingiza kwenye maagizo), kubadilisha lebo za XML zenye maelezo marefu kuwa majawabu ya Markdown au CSV yaliyoshikana, kuondoa herufi za Unicode zisizoonekana, na kuondoa maagizo yaliyojirudia.

Kuona mipaka halisi ya tokeni iliyowekewa rangi kunaonyesha kwa nini wakati mwingine LLM hupambana na kazi za kiwango cha herufi (kama vile kugeuza maneno au kuhesabu herufi) na kuangazia minyororo isiyo na ufanisi—kama vile UUIDs, vipande vya Base64, au msimbo usiopunguzwa—ambazo huchoma tokeni nyingi kimya kimya.

Hapana kamwe. Multinook hufanya kazi 100% ndani ya RAM ya muda mfupi ya kivinjari chako. Maagizo yako ya mfumo, hati za RAG, na msimbo wa chanzo haviachi kamwe mashine yako.

Viwango na Ushahidi

Viwango Vya Mamlaka na Marejeleo ya Kĩteknolojia

Vipimo rasmi vya tasnia, viwango vya wavuti, na marejeleo ya usimbaji fiche yanayowezesha injini hii.

Association for Computational Linguistics (ACL / Sennrich et al.)

Neural Machine Translation of Rare Words with Subword Units (BPE)

Karatasi ya utafiti ya msingi inayotanguliza ugawaji wa tokeni za maneno madogo za Byte-Pair Encoding (BPE) kwa mifano ya lugha ya neva.

Tazama Maelezo

WHATWG Encoding Living Standard

UTF-8 TextEncoder Web API Specification

Kiwango rasmi cha wavuti kinachosimamia usimbaji wa mtiririko wa byte wa UTF-8 unaotumika kama safu ya msingi ya vigeuzi vya tokeni vya BPE vya kiwango cha byte cha kisasa.

Tazama Maelezo

Ndani ya Byte-Pair Encoding (BPE): Jinsi LLM Hugawanya Herufi katika Tokeni za Maneno Madogo

Mifumo ya kisasa ya 'transformer'—ikiwa ni pamoja na mfululizo wa GPT-5 na GPT-4.1 wa OpenAI, Claude 4.6 ya Anthropic, Gemini 3.1 na 2.5 ya Google, Grok 4 ya xAI, Llama 4 ya Meta, na DeepSeek V3/R1—huchakata maandishi kupitia algoriti thabiti za ugawaji wa tokeni za maneno madogo kama vile Byte-Pair Encoding (BPE) na SentencePiece. Badala ya kudumisha kamusi isiyo na kikomo ya kila neno katika kila lugha, BPE huanza na byte binafsi za UTF-8 na kuunganisha mara kwa mara jozi za herufi zilizo karibu zaidi kuwa tokeni za maneno madogo.

Kama matokeo, neno la kawaida la Kiingereza lenye nafasi mbele kama vile ` intelligence` limewekwa kama kitambulisho kimoja cha namba kamili cha tokeni, wakati neno geni la kiwanja, hashi ya hexadecimal, au kizuizi cha Python kilichowekwa ndani sana kinavunjwa kuwa tokeni nyingi binafsi. Kigeuzi cha tokeni za kuona cha Multinook hurejesha mipaka hii ya maneno madogo kwa wakati halisi ndani ya RAM ya kivinjari chako.

Koresha Uchumi wa Dirisha la Muktadha Katika GPT-5, GPT-4.1, Claude 4.6, Gemini 3.1, na DeepSeek

Katika matumizi ya uzalishaji wa AI na mifumo ya Retrieval-Augmented Generation (RAG), idadi ya tokeni huongoza moja kwa moja bili za wingu za kila mwezi na kuchelewa kwa Muda Hadi Tokeni ya Kwanza (TTFT). Kwa sababu utata wa 'self-attention' huongezeka kulingana na mraba wa urefu wa mlolongo, kuweka hati za tokeni 50,000 ambazo hazijaboreshwa katika kila simu ya API humaliza bajeti haraka.

Kwa kulinganisha ombi lako kwa wakati mmoja katika mifano mikuu ya mstari wa mbele (GPT-5, GPT-4.1, Claude Opus 4.6, Claude Sonnet 4.6, Gemini 3.1 Pro, Grok 4) na mifano ya ufanisi mkubwa ya kufikiri/flash (GPT-5 mini/nano, o4-mini, Claude Haiku 4.5, Gemini 3 Flash, Gemini 2.5 Flash-Lite, DeepSeek V3/R1, Llama 4 Maverick), timu za uhandisi zinaweza kupima gharama halisi kwa kila simu 1,000 na kuweka sawa uelekezaji wao wa mfano.

Ukaguzi wa Maagizo Uliotengwa na Hewa kwa 100% kwa Timu za AI za Biashara

Maagizo ya mfumo na muktadha wa RAG wa biashara unawakilisha mali miliki ya msingi. Kubandika violezo vya maagizo ya wamiliki au seti za data za wateja kwenye vigeuzi vya tokeni vya wingu vya watu wengine kuna hatari ya kuvuja kwa mantiki ya siri ya biashara. Multinook hufanya ugawaji wote wa BPE na uundaji wa gharama kwa ukali ndani ya kumbukumbu ya ndani ya kivinjari bila usambazaji wowote wa mtandao.

Usalama Uliothibitishwa wa 100% wa RAM ya Kwenye Kivinjari

Imesasishwa kwa Viwango vya Wavuti vya 2026