100X SOTA

Numërues i token-ëve LLM - Llogaritës falas i kostos së AI

Numëroni token-ë, karaktere, fjalë, përdorimin e dritares së kontekstit dhe kostot e API-së për GPT-5, GPT-4.1, o3, Claude 4.6, Gemini 3.1/2.5, DeepSeek, Grok 4 & Llama 4 në RAM

Po përpunohet në RAM-in lokal...

Veprimet e Mëpasshme të Recomanduara

Rrjedha të Shpejta Pune

Pastro shenjat e fshehura të ujit të kërkesave

Hiq karakteret e padukshme Unicode që rrisin numrin e tokenëve BPE.

Hap Pastrues i karaktereve të padukshme

Analizo dendësinë e fjalëve kyçe dhe fjalëve

Audito gjatësinë e kërkesës, numrin e fjalive dhe frekuencën e frazave 1x-3x.

Hap Numërues karaktesh

Valido kohëzgjatjen e titullit dhe skenarit

Kontrollo shpejtësinë e leximit CPS dhe kufijtë e rreshtave CPL për skenarët e gjeneruar nga AI.

Hap Kontrollues i CPS-së së subtit-leve

Në një Shikim

Përmbledhje e Shpejtë & Pikat Kryesore

Vështrime thelbësore, aftësi performance dhe garanci privatësie në një shikim.

Përkufizimi Zyrtar

Një Llogaritës i Tokenëve LLM dhe Kostove të AI është një mjet zhvilluesi që ndan tekstin dhe kodin burimor në tokenë nën-fjalësh të Kodimit Byte-Pair (BPE) në kujtesën e shfletuesit për të vlerësuar përdorimin e dritares së kontekstit dhe kostot e konkluzionit të API-së në modelet e mëdha gjuhësore.

Përmbledhje|Arkitekturë e Verifikuar në Anën e Klientit

Për të numëruar token-ët LLM dhe për të llogaritur kostot e kërkesave API të AI në internet falas, ngjitni kërkesën ose kodin tuaj në Numëruesin e Token-ëve LLM të Multinook. Analizuesi ynë i kodimit Byte-Pair Encoding (BPE) në anën e klientit e segmenton tekstin tuaj në blloqe vizuale token-ësh në RAM-in e shfletuesit dhe krahason numrin e saktë të token-ëve, përqindjet e dritares së kontekstit dhe çmimet zyrtare të hyrjes/daljes së API-së nëpër GPT-5, GPT-4.1, o3, Claude 4.6, Gemini 3.1/2.5, DeepSeek V3/R1, Grok 4 dhe Llama 4.

Krahasimi i Shumë Modeleve

Krahasoni numrin e tokenëve dhe kostot e API-së në GPT-4o, Claude Sonnet, Gemini Pro/Flash dhe DeepSeek menjëherë.

Theksuesi Vizual i Tokenëve

Shikoni copëzat e sakta të tokenëve nën-fjalë të koduara me ngjyra për të dalluar JSON të rënda nga tokenët, hapësirat e bardha ose vargjet e kodit.

Llogaritësi i Kostos së API-së në Grupe

Simuloni shpenzimet e API-së me thirrje të vetme dhe prodhim ditor me rrëshqitës të personalizuar të tokenëve hyrës dhe dalës.

Privatësia 100% Lokale e Kërkesës

Audito kërkesat konfidenciale të sistemit dhe kodin burimor të pronësisë në RAM-in lokal me zero ngarkime në re.

Motor me performancë të lartë

Numërues i token-ëve LLM - Llogaritës falas i kostos së AI

Numëroni token-ë LLM, karaktere dhe kosto të kërkesave API për OpenAI GPT-5/GPT-4.1/o3, Claude 4.6, Gemini 3.1/2.5, DeepSeek, Grok 4 dhe Llama 4 në internet falas.

Vlerësim i token-ëve në kohë reale me kodimin Byte-Pair Encoding (BPE) & nënvizues vizual i kufijve të token-ëve me kodim ngjyrash

Krahasim i njëkohëshëm në 21 modele zyrtare: OpenAI (GPT-5, GPT-4.1, o3, o4-mini, GPT-4o), Anthropic (Claude Opus 4.6, Sonnet 4.6, Haiku 4.5, 3.7 Sonnet), Google (Gemini 3.1 Pro, 3 Flash, 2.5 Pro/Flash), DeepSeek V3/R1, xAI Grok 4, dhe Meta Llama 4

Llogaritës i kostos së API-së në kohë reale me tarifat zyrtare për 1M hyrje & dalje, token-ët dalës të pritshëm dhe shumëzuesit e thirrjeve API në grupe ditore

Matësa të përdorimit të dritares së kontekstit në kufijtë e kontekstit 128K, 164K, 200K, 400K, 500K dhe 1M token-ë

Shfaq raportin e saktë nga karakter te token së bashku me totalin e karaktereve, fjalëve dhe kufijve të nënfjalëve

Eksekutim 100% i izoluar në RAM-in e klientit — auditoni në mënyrë të sigurt kërkesat e sistemit pronësor dhe kodin burimor me 0 ngarkime në server

Privatësi e të dhënave e izoluar

Konfidencialitet absolut me zero ngarkime

Skedarët tuaj përpunohen rreptësisht brenda RAM-it të pajisjes suaj duke përdorur WebAssembly. Zero ngarkime në re.

Përpunim 100% në RAM-in e shfletuesit • Zero ngarkime në server

Udhëzime hap pas hapi

Si të përdorni në internet: Numërues i token-ëve LLM - Llogaritës falas i kostos së AI

Niqni këto 3 hapa të thjeshtë për të përpunuar dokumentet tuaja direkt në shfletuesin tuaj pa instalime.

Ngjitni Kërkesën e Sistemit, Dokumentin ose Kodin Tuaj

Ngjitni k��rkesën tuaj LLM, dokumentin e kontekstit RAG, skemën JSON ose skedarin e kodit në hapësirën e punës, ose ngarkoni një kërkesë shembull TypeScript direkt në RAM-in e shfletuesit.

Inspektoni Kufijtë e Tokenëve me Kod Ngjyrash

Shikoni numërimin e tokenëve në kohë reale, raportet karakter-në-token dhe copëzat e tokenëve nën-fjalë të koduara me ngjyra që tregojnë se si tokenizuesit BPE ndajnë fjalët, numrat dhe indentimin e kodit.

Krahasoni 21 Modele Zyrtare & Çmimet e API-së

Vendosni tokenët tuaj të pritur të daljes dhe vëllimin ditor të thirrjeve të API-së për të krahasuar kostot e sakta në dollarë për kërkesë dhe për grup (batch) në GPT-5, GPT-4.1, o3, Claude 4.6, Gemini 3.1/2.5, DeepSeek, Grok 4 dhe Llama 4.

100% Falas Përgjithmonë (Pa Hyrje)

Paid Cloud Portals

Kërkon Llogari Zhvilluesi

Krahasimi i veçorive	Multinook (RAM në shfletues)	Paid Cloud Portals
Modelet e AI të Mbështetura	21 Modele Zyrtare API	Vetëm Modelet e Vjetra të OpenAI
Theksuesi Vizual i Tokenëve	Nën-fjalë BPE me Kod Ngjyrash	Vetëm Dalje me Numra të Thjeshtë
Matrica e Kostos & Grupeve të API-së	Hyrja + Dalja × Thirrjet Ditore	Kërkohet Matematikë Manuale
Matësi i Dritares së Kontekstit	128K / 400K / 500K / 1M	Nuk Përfshihet
Privatësia e Kërkesës	100% RAM Lokal (0 Ngarkime)	Dërguar në Serverin e Jashtëm të API-së
Kostoja & Qasja	100% Falas Përgjithmonë (Pa Hyrje)	Kërkon Llogari Zhvilluesi

Arkitektura teknike dhe specifikimet

Specifikimet dhe përputhshmëria e formateve

Projektuar rreptësisht sipas specifikimeve W3C WebAssembly dhe Typed Array.

Motori i TokenizimitSegmentuesi i Nën-fjalëve BPE në Anën e Klientit (o200k_base, Claude BPE & SentencePiece)

Ekokistemet e MbështeturaOpenAI (GPT-5/4.1/o3), Anthropic (Claude 4.6/4.5), Google (Gemini 3.1/2.5), DeepSeek, Grok 4 & Llama 4

Inspektori VizualTheksuesi i Kufijve të Tokenëve të Nën-fjalëve me Kod Ngjyrash

Modelimi i KostosÇmimi Zyrtar Për 1M Token Hyrje + Dalje × Vëllimi i Grupit Ditor

Telemetria e KontekstitMatësat e Dritares së Kontekstit 128K, 164K, 200K, 400K, 500K & 1M Token

Arkitektura e Privatësisë100% RAM i Shfletuesit Lokal i Izoluar (Zero Ngarkime në Server)

Audienca & Rrjedhat e Punës

Audienca e Synuar & Rastet Praktike të Përdorimit

Kush përfiton nga ky mjet në shfletues dhe kur duhet zbatuar ai.

Arkitektë të Sistemeve RAG & Agjentëve

Inxhinierë të AI & Zhvillues të Aplikacioneve LLM

Matja e madhësisë së tokenëve të kërkesave, përdorimi i dritares së kontekstit dhe kostot ditore të konkluzionit të API-së në OpenAI, Anthropic dhe Google.

Projektues të Kërkesave të Sistemit

Inxhinierë të Kërkesave & Shkrimtarë Teknikë

Përdorimi i theksimit vizual të tokenëve për të kompresuar udhëzimet e gjata dhe për të eliminuar shpenzimet e formatimit të rënda nga tokenët.

Planifikues të Ekonomisë së Njësive të AI

Menaxherë të Produktit & Themelues të SaaS

Parashikimi i faturave të API-së së LLM-së për përdorues dhe mujore në 1,000 deri në 100,000 kërkesa ditore përpara se të lansohen veçori të reja të AI.

Kuratorë të Grupeve të Të Dhënave & Akordimit të Imët

Shkencëtarë të Të Dhënave & Hulumtues

Matja e raporteve karakter-në-token në korpuse shumëgjuhëshe dhe skedarë akordimi të imët JSONL.

Testimi Empirik në Laborator

Verifikimi nga Dorë e Parë & Standardet e Performancës

Rezultatet e testimit empirik të kryera në shfletuesit dhe sistemet operative moderne pa transmetim të të dhënave në rrjet.

Google Chrome 128 (Apple M3 Max)

Skedari: Dokument Konteksti RAG me 120,000 Karaktere (~30,000 Tokenë)

Segmentim nën-fjalësh BPE 3.8ms & tabelë e kostos së shumë modeleve0 KB të Transferuara (100% RAM i Pajisjes Lokale)

Microsoft Edge 126 (Windows 11 x64 Intel i7)

Skedari: Kërkesë TypeScript & JSON me 15,000 Karaktere

Renderim i kufirit të tokenit vizual live 1.1ms0 KB të Transferuara (100% RAM i Pajisjes Lokale)

Mobile Safari (iOS 18 / iPhone 15 Pro)

Skedari: Shabllon Kërkese Sistemi me 4,000 Karaktere

Llogaritje e menjëhershme e tokenit dhe kostos celulare 0.5ms0 KB të Transferuara (100% RAM i Pajisjes Lokale)

Mjedisi i testimit / Pajisja	Skedari i testimit & Kompleksiteti	Vonesa e përpunimit	Transferimi i të dhënave në rrjet
Google Chrome 128 (Apple M3 Max)	Dokument Konteksti RAG me 120,000 Karaktere (~30,000 Tokenë)	Segmentim nën-fjalësh BPE 3.8ms & tabelë e kostos së shumë modeleve	0 KB të Transferuara (100% RAM i Pajisjes Lokale)
Microsoft Edge 126 (Windows 11 x64 Intel i7)	Kërkesë TypeScript & JSON me 15,000 Karaktere	Renderim i kufirit të tokenit vizual live 1.1ms	0 KB të Transferuara (100% RAM i Pajisjes Lokale)
Mobile Safari (iOS 18 / iPhone 15 Pro)	Shabllon Kërkese Sistemi me 4,000 Karaktere	Llogaritje e menjëhershme e tokenit dhe kostos celulare 0.5ms	0 KB të Transferuara (100% RAM i Pajisjes Lokale)

Pyetje të zakonshme

Pyetjet e bëra më shpesh

Gjithçka që duhet të dini rreth privatësisë, sigurisë, kufijve të skedarëve dhe përdorimit.

Modelet e Mëdha Gjuhësore nuk e lexojnë tekstin fjalë për fjalë apo karakter për karakter; në vend të kësaj, ato e ndajnë tekstin në copëza nën-fjalësh të quajtura tokenë duke përdorur Kodimin Byte-Pair (BPE) ose SentencePiece. Për tekstin standard në anglisht, 1 token barazohet afërsisht me 4 karaktere ose 0.75 fjalë. Prandaj, 100 tokenë janë rreth 75 fjalë, dhe 1,000 fjalë janë përafërsisht 1,333 tokenë.

Tokenizuesit BPE (`o200k_base` dhe `cl100k_base`) janë trajnuar kryesisht në fjalë të zakonshme në anglisht, duke lejuar që fjalët e shpeshta si 'application' të përfshihen në një token të vetëm. Megjithatë, shenjat e pikësimit, kllapat JSON, numrat me shifra të shumta, hapësirat e indentimit dhe skriptet UTF-ase jo-latine ndahen në nën-fjalë më të vogla në nivel bajti, duke konsumuar shpesh 1.5x deri në 3x më shumë tokenë për të njëjtën gjatësi karakteresh.

Ofruesit e modeleve të AI faturojnë veçmas për tokenët e Hyrjes (Kërkesës) dhe tokenët e Daljes (Plotësimit dhe Arsyetimit), të cituara për 1 Milion tokenë (1M). Për shembull, OpenAI GPT-5 faturon $1.25/1M hyrje dhe $10.00/1M dalje, GPT-4.1 faturon $2.00/1M hyrje dhe $8.00/1M dalje, Claude Sonnet 4.6 faturon $3.00/1M hyrje dhe $15.00/1M dalje, dhe Google Gemini 2.5 Flash faturon $0.30/1M hyrje dhe $2.50/1M dalje. Llogaritësi ynë shumëzon numrin tuaj të saktë të tokenëve hyrës dhe gjatësinë e synuar të daljes me tarifën zyrtare të dokumentuar të API-së për çdo model.

`cl100k_base` (madhësia e fjalorit 100,000) u përdor për GPT-4 dhe GPT-3.5-Turbo të vjetra. Modelet moderne të OpenAI—prfshirë GPT-5, GPT-4.1, o3, o4-mini dhe GPT-4o—përdorin `o200k_base` (madhësia e fjalorit 200,000), e cila kompreson tekstin jo-anglez, kodin burimor dhe shprehjet e zakonshme me shumë fjalë në 10% deri në 25% më pak tokenë.

Sipas dokumentacionit zyrtar të API-së: OpenAI GPT-5 / mini / nano mbështesin 400,000 tokenë (400K); GPT-4.1 / mini mbështesin 1,047,576 tokenë (1M); OpenAI o3 & o4-mini mbështesin 200,000 tokenë (200K); Claude Opus 4.6 & Sonnet 4.6 mbështesin deri në 1,000,000 tokenë (1M); Google Gemini 3.1 Pro, 3 Flash & 2.5 Pro/Flash mbështesin 1,000,000 tokenë (1M); xAI Grok 4 mbështet 500,000 tokenë (500K); DeepSeek V3 mbështet 164,000 tokenë (164K); dhe Meta Llama 4 Maverick mbështet 1,048,576 tokenë (1M).

Ju mund të ulni konsumin e tokenëve me 20% deri në 40% duke hequr hapësirat e tepërta JSON (minimizimi i JSON para se ta kaloni atë në kërkesa), duke zëvendësuar etiketat e gjata XML me tabela kompakte Markdown ose CSV, duke hequr karakteret e padukshme Unicode dhe duke eliminuar dublikimin e udhëzimeve të përsëritura.

Shikimi i kufijve të saktë të tokenëve me kod ngjyrash zbulon pse LLM-ja nganjëherë ka vështirësi me detyrat në nivel karakteri (si p.sh. kthimi mbrapsht i fjalëve ose numërimi i shkronjave) dhe nxjerr në pah vargje joefikase—të tilla si UUID, bllokimet Base64 ose kodi i ominimizuar—që djegin heshturazi dhjetëra tokenë.

Asnjëherë. Multinook funksionon 100% lokalisht brenda RAM-it të paqëndrueshëm të shfletuesit tuaj. Kërkesat tuaja të sistemit, dokumentet RAG dhe kodi burimor nuk largohen kurrë nga pajisja juaj.

Standardet & Evidenca

Standardet Autoritative & Citimet Teknike

Specifikimet zyrtare të industrisë, standardet e uebit dhe referencat e kriptografisë që fuqizojnë këtë motor.

Shoqata për Gjuhësi Llogaritëse (ACL / Sennrich et al.)

Përkthimi Neural i Makinës i Fjalëve të Ralla me Njësi Nën-fjalësh (BPE)

Punim kërkimor themelor që prezanton tokenizimin e nën-fjalëve të Kodimit Byte-Pair (BPE) për modelet gjuhësore neurale.

Shiko specifikimet

Standardi i Jetesës së Enkodimit WHATWG

Specifikimi i API-së Web UTF-8 TextEncoder

Standard zyrtar i uebit që rregullon enkodin e rrjedhës së bajteve UTF-8 të përdorur si shtresa bazë e tokenizuesve modernë BPE në nivel bajti.

Shiko specifikimet

Brenda Kodimit Byte-Pair (BPE): Si i Ndajnë LLM-të Karakteret në Tokenë Nën-fjalësh

Arkitekturat moderne të transformatorëve—duke përfshirë seritë GPT-5 dhe GPT-4.1 të OpenAI, Claude 4.6 të Anthropic, Gemini 3.1 dhe 2.5 të Google, Grok 4 të xAI, Llama 4 të Meta, dhe DeepSeek V3/R1—përpunojnë tekstin përmes algoritmeve deterministike të tokenizimit të nën-fjalëve si Kodimi Byte-Pair (BPE) dhe SentencePiece. Në vend që të ruajnë një fjalor të pafund të çdo fjalë në çdo gjuhë, BPE fillon me bajte individuale UTF-8 dhe bashkon në mënyrë iterative çiftet e karaktereve më të shpeshta ngjitur në tokenë nën-fjalësh.

Si rezultat, një fjalë e zakonshme në anglisht me një hapësirë në fillim si ` intelligence` enkodohet si një ID e vetme tokeni e plotë, ndërsa një term i panjohur i përbërë, një hash heksadecimal ose një bllok Python i indentuar rëndë thyhet në dhjetëra tokenë individualë. Tokenizuesi vizual i Multinook rindërton këto kufij nën-fjalësh në kohë reale brenda RAM-it të shfletuesit tuaj.

Optimizimi i Ekonomisë së Dritares së Kontekstit në GPT-5, GPT-4.1, Claude 4.6, Gemini 3.1 dhe DeepSeek

Në aplikacionet e AI në prodhim dhe tubacionet e Gjenerimit të Augmentuar me Përmbledhje (RAG), numri i tokenëve drejtpërdrejt përcakton si faturat mujore të resë kompjuterike ashtu edhe vonesën e Kohës deri te Tokeni i Parë (TTFT). Për shkak se kompleksiteti i vetë-vëmendjes shkallëzohet në mënyrë kuadratike me gjatësinë e sekuencës, futja e dokumenteve me 50,000 tokenë të paoptimizuara në çdo thirrje API shkatërron me shpejtësi buxhetet.

Duke krahasuar kërkesën tuaj në të njëjtën kohë midis modeleve kryesore kufitare (GPT-5, GPT-4.1, Claude Opus 4.6, Claude Sonnet 4.6, Gemini 3.1 Pro, Grok 4) dhe modeleve të arsyetimit/flash me efikasitet të lartë (GPT-5 mini/nano, o4-mini, Claude Haiku 4.5, Gemini 3 Flash, Gemini 2.5 Flash-Lite, DeepSeek V3/R1, Llama 4 Maverick), ekipet e inxhinierisë mund të krahasojnë koston e saktë për 1,000 thirrje dhe të përshtatin drejtimin e modelit të tyre.

Auditimi i Kërkesave 100% i Izoluar (Air-Gapped) për Ekipet e Ndërmarrjeve të AI

Kërkesat e sistemit dhe kontekstet RAG të ndërmarrjeve përfaqësojnë pronë intelektuale thelbësore. Ngjitja e shablloneve të kërkesave të pronësisë ose grupeve të të dhënave të klientëve në tokenizues të resë kompjuterike të palëve të treta rrezikon të nxjerrë në pah logjikën konfidenciale të biznesit. Multinook kryen të gjithë segmentimin BPE dhe modelimin e kostove rreptësisht brenda kujtesës lokale të shfletuesit me zero transmetime rrjeti.

Siguri e verifikuar 100% në RAM-in e shfletuesit

Përditësuar për standardet e uebit 2026