Contador de Tokens para LLM

Token é a unidade que um modelo de linguagem lê e escreve: um pedaço de palavra, não a palavra inteira. Em inglês contam-se cerca de 1,1 token por palavra, ou quatro a seis caracteres por token. Palavras comuns costumam caber num único token, as raras se dividem («tokenizer» vira token / iz / er). Preço, limites de vazão e a janela de contexto são medidos em tokens, nunca em palavras ou caracteres — daí a importância de contar antes de chamar a API.

Depende inteiramente do modelo, e a regra popular «um caractere = um token» está errada nos modelos mais novos. Medido com os vocabulários reais, a frase de 14 caracteres 今天天气很好，我们出去玩吧. sai com 9 tokens em o200k_base (GPT-4o, GPT-5, o3 e posteriores) mas 17 tokens em cl100k_base (GPT-4, GPT-3.5). A OpenAI ampliou a cobertura do chinês em 2024, então o chinês custa cerca de 0,6 token por caractere nos modelos atuais e uns 1,2 nos antigos. Japonês e coreano seguem a mesma lógica.

Três motivos. Primeiro, o número padrão é uma estimativa estatística calibrada em medições reais: ±10 % em texto de um idioma, até ±25 % quando o prompt mistura escritas latina, chinesa, japonesa e cirílica. Segundo, uma requisição de chat não é só o seu texto: o provedor a embrulha em tokens de controle para os papéis, e modelos de raciocínio cobram tokens de pensamento invisíveis. Por fim, os vocabulários mudam a cada geração de modelo. O botão «Contar exatamente» elimina a primeira fonte de erro.

Não. A estimativa roda num pequeno script local e a contagem exata baixa um vocabulário BPE aberto de cerca de 1 MB e divide o seu texto nesta própria aba. O texto não sai do aparelho e, depois que o arquivo entra em cache, nenhuma requisição é feita.

Com um vocabulário público, não. Anthropic e Google nunca publicaram seus tokenizadores, então todo site que promete contagem exata de Claude ou Gemini também está estimando. Esta ferramenta aplica um perfil calibrado contra contagens reais da OpenAI e mostra o resultado como estimativa. Uma armadilha que vale conhecer: do Claude 4.7 em diante todos os modelos Claude usam um tokenizador novo, então o mesmo texto é cobrado com mais tokens que no 4.6 e anteriores — pela própria Anthropic, até cerca de 35 % a mais. Para um número real, use o endpoint /v1/messages/count_tokens da Anthropic ou o countTokens do Google: os dois devolvem a contagem do próprio provedor.

A janela de contexto é o orçamento conjunto do prompt e da resposta gerada, medido em tokens. Um modelo de 128k não dá a você 128k de prompt: o system prompt, as definições de ferramentas, os documentos recuperados e a saída reservada saem do topo. Em outubro de 2026, as janelas atuais são cerca de 400k do GPT-5 ao 5.3, perto de 1M do GPT-5.4 ao 5.6 e no GPT-6, 1M no Claude Opus 5.5, Sonnet 5.5, Haiku 5.5 e Fable 5.1, e 1.048.576 no Gemini 4 Argon — que no Gemini soma entrada, raciocínio e saída na mesma cota. A barra abaixo do contador subtrai o seu texto da janela que você definir; digite o orçamento de entrada se o provedor publicar um menor.

Só caracteres. Imagens, áudio e páginas de PDF são cobrados por regras próprias: uma imagem vira geralmente um número de patches proporcional à resolução, e não ao texto legível que ela contém. Os esquemas JSON de funções e ferramentas consomem tokens de texto de verdade: cole-os aqui para medir esse custo.