Token

O que é

No contexto da Inteligência Artificial e dos Modelos de Linguagem de Grande Escala (LLM), um token é a unidade fundamental de medição. Ao contrário dos seres humanos, que leem palavras completas, os modelos de IA decompõem o texto em unidades mais pequenas chamadas tokens para os conseguirem processar matematicamente.

Imagine que está a explicar a um sistema informático como interpretar uma frase. Se o sistema tivesse de aprender cada variação de cada palavra (correr, correndo, correu), a base de dados seria infinita. Ao dividir as palavras em subunidades, a IA consegue ser muito mais eficiente. Um token pode ser uma palavra inteira (em palavras curtas e comuns como "casa"), uma parte de uma palavra (como o sufixo "-mente") ou até apenas um sinal de pontuação ou um espaço.

Para uma PME, entender o conceito de token é crucial porque ele é a "moeda de troca" do mundo da IA. É através dos tokens que os fornecedores (como OpenAI ou Anthropic) faturam o serviço e é através deles que se mede a capacidade de memória de curto prazo de um modelo.

Como funciona

O processo de transformar texto em tokens chama-se tokenização. Quando envia um pedido (prompt) a uma IA, ocorre o seguinte fluxo:

1. Segmentação: O sistema analisa a sua frase e divide-a. Em média, para a língua portuguesa, 1000 tokens equivalem a cerca de 750 palavras. No entanto, o português, por ter mais acentos e flexões do que o inglês, pode por vezes consumir ligeiramente mais tokens para expressar a mesma ideia.
2. Conversão Numérica: Cada token único tem um ID numérico associado num dicionário fixo do modelo. A IA não vê letras; vê sequências de números.
3. Processamento: O modelo processa estes números, prevê qual será o próximo número (token) mais provável na sequência e volta a convertê-lo em texto legível para o utilizador.

A eficiência da tokenização varia entre modelos. Modelos mais recentes são mais otimizados para línguas não-inglesas, o que significa que conseguem representar o português com menos tokens do que modelos mais antigos, tornando a operação mais barata e rápida.

Quando usar

Embora não "use" tokens diretamente (quem os usa é o modelo), deve ter este conceito presente em três situações críticas na gestão da sua empresa:

1. Planeamento de Custos: Se está a construir um chatbot de apoio ao cliente que consulta manuais técnicos de 200 páginas, o custo da API será calculado pelo volume de tokens enviados e recebidos. Ignorar isto pode levar a surpresas na faturação ao final do mês.
2. Gestão de Contexto: Todos os modelos têm um limite máximo de tokens que conseguem "ler" de uma só vez (a chamada janela de contexto). Se o seu documento exceder esse limite, a IA simplesmente ignorará o início do texto ou perderá o fio à meada.
3. Otimização de Performance: Em aplicações que requerem respostas rápidas, reduzir o número de tokens desnecessários no prompt (instruções diretas e sem floreados) torna a resposta mais célere e económica.

Erros comuns

1. Confundir Tokens com Palavras: Este é o erro mais frequente. Achar que 1.000 tokens são 1.000 palavras pode levar a um sub-orçamentamento de 25% a 30% nos custos de operação.
2. Ignorar a Pontuação e Espaços: Cada vírgula, espaço extra ou quebra de linha conta como um token ou parte de um. Documentos mal formatados ou com muitos espaços desnecessários são mais caros de processar.
3. Não considerar o output na faturação: Muitos gestores olham apenas para o tamanho da pergunta (input), mas esquecem-se de que a resposta da IA (output) também é cobrada, muitas vezes a um preço por token superior ao do input.
4. Uso de modelos desatualizados para Português: Modelos muito antigos podem ser ineficientes a tokenizar caracteres especiais como 'ç' ou 'ão', gastando 2 ou 3 tokens para algo que modelos modernos resolvem com apenas 1.

Exemplo prático para uma PME

Uma agência de viagens em Faro decide automatizar a triagem de emails de reclamações e pedidos de orçamento utilizando a API do GPT-4o.

• Cenário A: A agência envia o histórico completo de 50 emails trocados com o cliente para dar contexto à IA. Isto soma 15.000 tokens. O custo por cada 1.000 tokens é baixo, mas multiplicado por centenas de clientes diariamente, o valor escala.
• Cenário B: A agência utiliza uma técnica de resumo prévio, filtrando apenas os pontos-chave de cada email antes de enviar para a IA. O volume cai para 2.000 tokens.

Ao compreender o que são tokens, a agência consegue reduzir os seus custos operacionais em 85%, mantendo a mesma qualidade de resposta, simplesmente por saber que a IA é taxada pela "quantidade de peças" de texto e não pelo número de ficheiros.

Perguntas frequentes

Q: Posso controlar quantos tokens o modelo utiliza na resposta? R: Sim, quase todas as interfaces e APIs permitem definir um limite máximo de tokens de saída (max_tokens) para evitar respostas excessivamente longas e custos inesperados.

Q: As imagens também contam como tokens? R: Sim, nos modelos multi-modais (que processam imagem e texto), as imagens são convertidas num valor equivalente em tokens baseado na sua resolução e detalhe.

Q: Por que razão o código de programação gasta menos tokens que o texto literário? R: Na verdade, o código pode gastar muitos tokens devido a espaços e caracteres especiais, mas como a estrutura é muito repetitiva, os tokenizadores modernos são altamente otimizados para reconhecer padrões de código comuns como uma única unidade.

• 01A palavra 'casa' é geralmente 1 token, mas 'inconstitucionalmente' pode ser dividida em 4 ou 5 tokens.
• 02Um limite de 128k tokens permite que a IA 'leia' um livro inteiro antes de responder à sua pergunta.
• 03Reduzir o excesso de formalismo nos prompts ajuda a poupar tokens e a baixar a fatura mensal da API.

Quer usar Token na sua empresa?

30 minutos, gratuito, sem compromisso. Dizemos onde encaixa.

Diagnóstico IA gratuito