100X SOTA

LLM-i tokenite loendur – tasuta AI kulude kalkulaator

Loenda tokeneid, märke, sõnu, kontekstiakna kasutust ja API kulusid mudelitele GPT-5, GPT-4.1, o3, Claude 4.6, Gemini 3.1/2.5, DeepSeek, Grok 4 ja Llama 4 RAM-is

Töötlemine kohalikus RAM-is...

Järgmised soovitatavad toimingud

Kiired töövood

Puhasta peidetud viiba vesimärgid

Eemalda nähtamatud Unicode'i märgid, mis suurendavad BPE tokenite arvu.

Käivita Nähtamatute märkide puhastaja

Analüüsi märksõnade ja sõnade tihedust

Auditeeri viiba pikkust, lausete arvu ja 1x–3x fraaside sagedust.

Käivita Märgiloendur

Kinnita subtiitrite ja skripti ajastus

Kontrolli CPS-i lugemiskiirust ja CPL-i reapiire tehisintellekti loodud skriptide puhul.

Käivita Subtiitrite CPS-i kontrollija

Lühidalt

Kiirülevaade ja peamised järeldused

Olulised teadmised, jõudlusvõimekus ja privaatsusgarantiid ühe pilguga.

Ametlik määratlus

LLM-i tokenite loendur ja AI kulude kalkulaator on arendaja tööriist, mis segmenteerib teksti ja lähtekoodi brauseri mälus Byte-Pair Encoding (BPE) alamsõna tokeniteks, et hinnata kontekstiakna kasutust ja API järelduskulusid suurtes keelemudelites.

Ülevaade|Kontrollitud kliendipoolne arhitektuur

LLM-i tokenite loendamiseks ja AI API viiba kulude tasuta veebis arvutamiseks kleepige oma viip või kood Multinooki LLM-i tokenite loendurisse. Meie kliendipoolne BPE (Byte-Pair Encoding) analüsaator segmenteerib teie teksti brauseri RAM-is visuaalseteks tokeniplokkideks ning võrdleb täpseid tokenite arve, kontekstiakna protsente ja ametlikku API sisendi/väljundi hinnakirja mudelitel GPT-5, GPT-4.1, o3, Claude 4.6, Gemini 3.1/2.5, DeepSeek V3/R1, Grok 4 ja Llama 4.

Mitme mudeli võrdlus

Võrrelge tokenite arve ja API kulusid mudelite GPT-4o, Claude Sonnet, Gemini Pro/Flash ja DeepSeek vahel korraga.

Visuaalne tokenite esiletõstja

Vaadake täpseid värvikoodiga alamsõna tokenite tükke, et tuvastada tokenirohkeid JSON-i, tühiku- või koodistringe.

Pakettpõhine API kulukalkulaator

Simuleerige ühekordse päringu ja igapäevaseid tootmistaseme API kulusid kohandatud sisend- ja väljundtokenite liuguritega.

100% kohalik päringu privaatsus

Auditeerige konfidentsiaalseid süsteemipäringuid ja patenteeritud lähtekoodi kohalikus RAM-is ilma pilve üles laadimata.

Suure jõudlusega mootor

LLM-i tokenite loendur – tasuta AI kulude kalkulaator

Loenda LLM-i tokeneid, märke ja API viiba kulusid OpenAI GPT-5/GPT-4.1/o3, Claude 4.6, Gemini 3.1/2.5, DeepSeek, Grok 4 ja Llama 4 jaoks veebis tasuta.

Reaalajas BPE (Byte-Pair Encoding) tokenite hindamine ja visuaalne värvikoodiga tokenite piiride esiletõstja

Samaaegne võrdlus 21 ametliku mudeli vahel: OpenAI (GPT-5, GPT-4.1, o3, o4-mini, GPT-4o), Anthropic (Claude Opus 4.6, Sonnet 4.6, Haiku 4.5, 3.7 Sonnet), Google (Gemini 3.1 Pro, 3 Flash, 2.5 Pro/Flash), DeepSeek V3/R1, xAI Grok 4 ja Meta Llama 4

Reaalajas API kulude kalkulaator ametlike 1M sisendi ja väljundi tariifidega, oodatud väljundi tokenite ja igapäevaste pakett-API päringute kordajatega

Kontekstiakna kasutusmõõdikud 128K, 164K, 200K, 400K, 500K ja 1M tokeni kontekstipiirangute ulatuses

Kuvab täpset märkide ja tokenite suhet koos märkide, sõnade ja alamtekstide piiride koguarvuga

100% isoleeritud kliendipoolne RAM-i täitmine – kontrollige turvaliselt patenteeritud süsteemiviipasid ja lähtekoodi 0 serverisse üleslaadimisega

Eraldatud andmeprivaatsus

Absoluutne üleslaadimisvaba konfidentsiaalsus

Sinu faile töödeldakse rangelt sinu seadme RAM-is, kasutades WebAssemblyt. Null pilve üleslaadimist.

100% töötlemine brauseri RAM-is • Null serverisse üleslaadimist

Samm-sammulised juhised

Kuidas veebis kasutada: LLM-i tokenite loendur – tasuta AI kulude kalkulaator

Järgi neid 3 lihtsat sammu, et töödelda oma dokumente otse brauseris ilma paigaldusteta.

Kleepige oma süsteemipäring, dokument või kood

Kleepige oma LLM-i päring, RAG-i kontekstiedokument, JSON-skeem või koodifail töölauale või laadige näidis-TypeScripti p��ring otse brauseri mällu (RAM).

Kontrollige värvikoodiga tokenite piire

Vaadake reaalajas tokenite arve, märkide ja tokenite suhteid ning värvikoodiga alamsõnade tokenitükke, mis näitavad, kuidas BPE tokenisaatorid jagavad sõnu, numbreid ja koodi taandeid.

Võrrelge 21 ametlikku mudelit ja API hinnakirja

Määrake eeldatavad väljundtokenid ja igapäevane API päringute maht, et võrrelda täpseid päringu- ja pakettpõhiseid dollarikulusid mudelite GPT-5, GPT-4.1, o3, Claude 4.6, Gemini 3.1/2.5, DeepSeek, Grok 4 ja Llama 4 vahel.

100% tasuta igavesti (sisselogimiseta)

Paid Cloud Portals

Nõuab arendajakontot

Funktsioonide võrdlus	Multinook (brauserisiseses RAM-is)	Paid Cloud Portals
Toetatud AI mudelid	21 ametlikku API mudelit	Ainult OpenAI pärandmudelid
Visuaalne tokenite esiletõstja	Värvikoodiga BPE alamsõnad	Ainult lihttekstina numbrid
API kulu ja pakettide maatriks	Sisend + väljund × igapäevased päringud	Nõuab käsitsi arvutamist
Kontekstiakna mõõdik	128K / 400K / 500K / 1M	Pole kaasas
Päringu privaatsus	100% kohalik RAM (0 üleslaadimist)	Saadetakse välisesse API serverisse
Maksumus ja juurdepääs	100% tasuta igavesti (sisselogimiseta)	Nõuab arendajakontot

Tehniline arhitektuur ja spetsifikatsioonid

Spetsifikatsioonid ja vormingute ühilduvus

Loodud rangelt vastavalt W3C WebAssembly ja Typed Array spetsifikatsioonidele.

TokeniseerimismootorKliendipoolne BPE alamsõnade segmenteerija (o200k_base, Claude BPE & SentencePiece)

Toetatud ökosüsteemidOpenAI (GPT-5/4.1/o3), Anthropic (Claude 4.6/4.5), Google (Gemini 3.1/2.5), DeepSeek, Grok 4 & Llama 4

Visuaalne inspektorVärvikoodiga alamsõnade tokenite piiride esiletõstja

Kulude modelleerimineAmetlik 1M sisend- ja väljundtokeni hind × igapäevane pakettide maht

Konteksti telemeetria128K, 164K, 200K, 400K, 500K ja 1M tokeni kontekstiakna mõõdikud

Privaatsusarhitektuur100% kohalik brauseri RAM (serverisse üleslaadimisi pole)

Sihtrühm ja töövood

Sihtrühm ja praktilised kasutusjuhud

Kes saavad sellest brauserisisesest utiliidist kasu ja millal seda rakendada.

RAG-i ja agent-süsteemide arhitektid

AI insenerid ja LLM-i rakenduste arendajad

Päringute tokenite suuruste, kontekstiakna kasutusmahu ja igapäevaste API järelduskulude võrdlemine OpenAI, Anthropicu ja Google'i vahel.

Süsteemipäringute disainerid

Päringute spetsialistid ja tehnilised kirjutajad

Visuaalse tokenite esiletõstmise kasutamine paljusõnaliste juhiste tihendamiseks ja tokenimahuka vorminduse ülekulu kaotamiseks.

AI ühikökonoomika planeerijad

Tootejuhid ja SaaS-i asutajad

Kasutajapõhiste ja igakuiste LLM-i API arvete prognoosimine 1000 kuni 100 000 igapäevase päringu puhul enne uute AI funktsioonide turule toomist.

Andmestike ja peenhäälestuse kuraatorid

Andmeteadlased ja teadlased

Märkide ja tokenite suhete mõõtmine mitmekeelsetes korpustes ja JSONL-i peenhäälestusfailides.

Empiirilised laboritestid

Esmakordne kontrollimine ja jõudluse võrdlusuuringud

Empiirilised test tulemused, mis on läbi viidud kaasaegsetes brauserites ja operatsioonisüsteemides ilma võrguühenduseta.

Google Chrome 128 (Apple M3 Max)

Fail: 120 000 tähemärgiga RAG-i kontekstiedokument (~30 000 tokenit)

3,8 ms BPE alamsõnade segmenteerimine ja mitme mudeli kulutabel0 KB edastatud (100% kohalik seadme RAM)

Microsoft Edge 126 (Windows 11 x64 Intel i7)

Fail: 15 000 tähemärgiga TypeScripti ja JSON-i päring

1,1 ms reaalajas visuaalne tokeni piiride renderdamine0 KB edastatud (100% kohalik seadme RAM)

Mobile Safari (iOS 18 / iPhone 15 Pro)

Fail: 4000 tähemärgiga süsteemipäringu mall

0,5 ms kiirpäringu tokenite ja kulude arvutamine mobiilis0 KB edastatud (100% kohalik seadme RAM)

Testkeskkond / Seade	Testfail ja keerukus	Töötlemise latentsus	Võrgu andmeedastus
Google Chrome 128 (Apple M3 Max)	120 000 tähemärgiga RAG-i kontekstiedokument (~30 000 tokenit)	3,8 ms BPE alamsõnade segmenteerimine ja mitme mudeli kulutabel	0 KB edastatud (100% kohalik seadme RAM)
Microsoft Edge 126 (Windows 11 x64 Intel i7)	15 000 tähemärgiga TypeScripti ja JSON-i päring	1,1 ms reaalajas visuaalne tokeni piiride renderdamine	0 KB edastatud (100% kohalik seadme RAM)
Mobile Safari (iOS 18 / iPhone 15 Pro)	4000 tähemärgiga süsteemipäringu mall	0,5 ms kiirpäringu tokenite ja kulude arvutamine mobiilis	0 KB edastatud (100% kohalik seadme RAM)

Levinud päringud

Korduma kippuvad küsimused

Kõik, mida pead teadma privaatsuse, turvalisuse, failipiirangute ja kasutuse kohta.

Suured keelemudelid ei loe teksti sõna-sõnalt ega tähemärk-tähemärgilt; selle asemel jagavad nad teksti BPE (Byte-Pair Encoding) või SentencePiece'i abil alamsõna tükkideks, mida nimetatakse tokeniteks. Standardse ingliskeelse teksti puhul võrdub 1 token ligikaudu 4 tähemärki või 0,75 sõna. Seega on 100 tokenit umbes 75 sõna ja 1000 sõna umbes 1333 tokenit.

BPE tokenisaatoreid (`o200k_base` ja `cl100k_base`) on treenitud peamiselt levinud ingliskeelsete sõnadega, mis võimaldab sageli esinevatel sõnadel, nagu 'application', mahtuda ühte tokenisse. Kirjavahemärgid, JSON-i sulud, mitmekohalised numbrid, tühikutaanded ja muud kui Ladina UTF-8 skriptid jagatakse aga väiksemateks baidipõhisteks alamsõnadeks, mis kulutavad sama tähemärkide pikkuse juures sageli 1,5x kuni 3x rohkem tokeneid.

AI mudelitepakkujad arveldavad eraldi sisendi (päringu) tokenite ja väljundi (lõpetamise ja arutluskäigu) tokenite eest, hinnaga miljoni tokeni (1M) kohta. Näiteks OpenAI GPT-5 maksab 1,25 $/1M sisendit ja 10,00 $/1M väljundit, GPT-4.1 maksab 2,00 $/1M sisendit ja 8,00 $/1M väljundit, Claude Sonnet 4.6 maksab 3,00 $/1M sisendit ja 15,00 $/1M väljundit ning Google Gemini 2.5 Flash maksab 0,30 $/1M sisendit ja 2,50 $/1M väljundit. Meie kalkulaator korrutab teie täpse sisendtokenite arvu ja sihtväljundi pikkuse iga mudeli ametliku dokumenteeritud API määraga.

`cl100k_base` (sõnavara suurus 100 000) kasutati vanemate GPT-4 ja GPT-3.5-Turbo mudelite jaoks. Kaasaegsed OpenAI mudelid, sealhulgas GPT-5, GPT-4.1, o3, o4-mini ja GPT-4o, kasutavad `o200k_base` (sõnavara suurus 200 000), mis tihendab muud kui ingliskeelse teksti, lähtekoodi ja levinud mitmesõnalised väljendid 10% kuni 25% vähemateks tokeniteks.

Ametliku API dokumentatsiooni kohaselt: OpenAI GPT-5 / mini / nano toetavad 400 000 tokenit (400K); GPT-4.1 / mini toetavad 1 047 576 tokenit (1M); OpenAI o3 & o4-mini toetavad 200 000 tokenit (200K); Claude Opus 4.6 & Sonnet 4.6 toetavad kuni 1 000 000 tokenit (1M); Google Gemini 3.1 Pro, 3 Flash & 2.5 Pro/Flash toetavad 1 000 000 tokenit (1M); xAI Grok 4 toetab 500 000 tokenit (500K); DeepSeek V3 toetab 164 000 tokenit (164K); ja Meta Llama 4 Maverick toetab 1 048 576 tokenit (1M).

Saate tokenite tarbimist vähendada 20% kuni 40% võrra, eemaldades liigsed JSON-i tühikud (minimeerides JSON-i enne selle päringutesse andmist), asendades paljusõnalised XML-märgendid kompaktsete Markdowni või CSV-tabelitega, eemaldades nähtamatud Unicode'i tähemärgid ja eemaldades korduvad juhised.

Täpsete värvikoodiga tokenite piiride nägemine paljastab, miks LLM-id mõnikord tähemärgipõhiste ülesannetega (näiteks sõnade tagurpidi keeramine või tähtede lugemine) vaeva näevad, ning toob esile ebatõhusad stringid – nagu UUID-d, Base64 puhvrid või minimeerimata kood –, mis põletavad märkamatult kümneid tokeneid.

Mitte kunagi. Multinook töötab 100% kohapealt teie brauseri muutmälu (RAM) sees. Teie süsteemipäringud, RAG-i dokumendid ja lähtekood ei lahku kunagi teie arvutist.

Standardid ja tõendid

Autoriteetsed standardid ja tehnilised viited

Ametlikud tööstusharu spetsifikatsioonid, veebistandardid ja krüptograafilised viited, mis seda mootorit toidavad.

Association for Computational Linguistics (ACL / Sennrich et al.)

Neural Machine Translation of Rare Words with Subword Units (BPE)

Aluspõhine teadustöö, mis tutvustab Byte-Pair Encoding (BPE) alamsõnade tokeniseerimist närvikeelemudelite jaoks.

Vaata spetsifikatsiooni

WHATWG Encoding Living Standard

UTF-8 TextEncoder Web API Specification

Ametlik veebistandard, mis reguleerib UTF-8 baidivoo kodeeringut, mida kasutatakse kaasaegsete baidipõhiste BPE tokenisaatorite aluskihina.

Vaata spetsifikatsiooni

BPE (Byte-Pair Encoding) sisemus: kuidas LLM-id segmenteerivad tähemärgid alamsõna tokeniteks

Kaasaegsed translaatorarhitektuurid, sealhulgas OpenAI GPT-5 ja GPT-4.1 seeria, Anthropicu Claude 4.6, Google'i Gemini 3.1 ja 2.5, xAI Grok 4, Meta Llama 4 ja DeepSeek V3/R1, töötlevad teksti deterministlike alamsõnade tokeniseerimisalgoritmide, nagu BPE (Byte-Pair Encoding) ja SentencePiece, kaudu. Selle asemel, et säilitada lõputut sõnastikku igast sõnast igas keeles, alustab BPE individuaalsete UTF-8 baitidega ja liidab korduvalt kõige sagedamini külgnevaid tähemärgipaare alamsõna tokeniteks.

Selle tulemusena kodeeritakse tavaline eesti- või ingliskeelne sõna koos juhtiva tühikuga, nt ` intelligence`, üheks täisarvuliseks tokeni ID-ks, samas kui tundmatu liitsõna, kuueteistkümnendsüsteemi räsikood või tugevalt taandega Pythoni plokk purustatakse kümneteks individuaalseteks tokeniteks. Multinooki visuaalne tokenisaator rekonstrueerib need alamsõna piirid reaalajas teie brauseri mälus (RAM).

Kontekstiakna ökonoomika optimeerimine mudelite GPT-5, GPT-4.1, Claude 4.6, Gemini 3.1 ja DeepSeek vahel

Tootmistaseme AI rakendustes ja RAG-i (Retrieval-Augmented Generation) torudes määrab tokenite arv otseselt nii igakuised pilvearved kui ka esimese tokeni saamise aja (TTFT viivituse). Kuna enesetähelepanu keerukus kasvab järjestuse pikkusega ruutvõrdeliselt, kurnab optimeerimata 50 000 tokeni pikkuste dokumentide toppimine igasse API päringusse kiiresti eelarved.

Võrreldes oma päringut samaaegselt tipptasemel lipulaevade mudelite (GPT-5, GPT-4.1, Claude Opus 4.6, Claude Sonnet 4.6, Gemini 3.1 Pro, Grok 4) ning kõrge efektiivsusega arutlus-/välkmudelitega (GPT-5 mini/nano, o4-mini, Claude Haiku 4.5, Gemini 3 Flash, Gemini 2.5 Flash-Lite, DeepSeek V3/R1, Llama 4 Maverick), saavad insenerimeeskonnad võrrelda täpseid kulusid 1000 päringu kohta ja valida oma mudelile õige suunamise.

100% isoleeritud päringute auditeerimine ettevõtte AI meeskondadele

Süsteemipäringud ja ettevõtte RAG-i kontekstid esindavad peamist intellektuaalset omandit. Patenteeritud päringumallide või kliendiandmestike kleepimine kolmandate osapoolte pilvetokenisaatoritesse võib kaasa tuua konfidentsiaalse äri-logika lekke. Multinook teostab kogu BPE segmenteerimise ja kulude modelleerimise rangelt kohalikus brauseri mälus, ilma võrguühenduseta.

Kinnitatud 100% brauserisisese RAM-i turvalisus

Värskendatud 2026. aasta veebistandarditele