Context Window

O que é

A Context Window, ou janela de contexto, é o limite físico da memória de curto prazo de um modelo de linguagem (LLM). Imagine que está a ler um contrato jurídico de 50 páginas: a sua capacidade de manter todos os detalhes da página 1 na cabeça enquanto lê a página 50 é a sua janela de contexto humana. Na IA, esta janela define quanto texto (tokens) o modelo pode analisar simultaneamente antes de produzir uma resposta.

Para uma PME, este conceito é crucial porque determina a complexidade das tarefas que pode automatizar. Se tentar alimentar um manual técnico de 200 páginas num modelo com uma janela de contexto pequena, a IA simplesmente ignorará o início do documento ou apresentará erros por falta de memória. Não se trata apenas do que o modelo "sabe" (o seu treino prévio), mas do que ele consegue "ver" no momento exato em que está a processar o seu pedido.

Como funciona

Tecnicamente, a janela de contexto é medida em tokens, que são pedaços de palavras (aproximadamente 0,75 palavras por token). Quando envia uma pergunta à IA, o contexto é formado pela soma da sua pergunta atual, do histórico da conversa e de quaisquer documentos que tenha anexado.

Os modelos modernos utilizam uma arquitetura chamada Transformer, que utiliza um mecanismo de "atenção". Este mecanismo permite que a IA relacione diferentes partes do texto dentro da janela. No entanto, à medida que a janela de contexto aumenta, o custo computacional e a latência também tendem a subir. Se a janela de contexto for de 128.000 tokens (como o GPT-4o), o modelo consegue manter o equivalente a um livro médio na sua memória de trabalho. Se exceder esse limite, os tokens mais antigos são descartados para dar lugar aos novos, num sistema de "primeiro a entrar, primeiro a sair".

É importante notar que nem todos os modelos gerem a janela de contexto da mesma forma. Alguns sofrem do fenómeno "lost in the middle", onde dão muita importância ao início e ao fim do contexto fornecido, mas ignoram detalhes cruciais que estejam no meio de um documento longo.

Quando usar

Deve prestar atenção à janela de contexto sempre que a sua operação envolva dados volumosos. Em cenários de atendimento ao cliente, por exemplo, se o histórico da conversa for longo, a janela de contexto garante que a IA se lembra que o cliente mencionou um problema com a fatura há dez minutos.

Outras situações típicas incluem:

• Análise de documentos extensos: Carregar atas de reuniões anuais ou relatórios financeiros trimestrais para extrair tendências.
• Programação e Auditoria de Código: Analisar múltiplos ficheiros de código fonte em simultâneo para encontrar bugs ou sugerir melhorias estruturais.
• Tradução contextual: Traduzir um capítulo inteiro garantindo que o tom e a terminologia se mantêm coerentes com os capítulos anteriores.

Erros comuns

1. Confundir Janela de Contexto com Base de Conhecimento: Pensar que, porque um modelo tem uma janela de 1 milhão de tokens, ele "sabe" tudo sobre a sua empresa. O contexto é temporário; uma vez fechada a sessão, a IA não retém essa informação a menos que seja integrada via RAG (Retrieval-Augmented Generation).
2. Ignorar o custo: Muitas empresas utilizam janelas de contexto gigantes sem necessidade. O custo de uma API é frequentemente calculado pelo número de tokens processados. Enviar 50 PDF para a janela de contexto em cada pergunta é financeiramente insustentável comparado com uma pesquisa inteligente em base de dados vetorial.
3. Assumir precisão total em janelas longas: Só porque um modelo consegue ler 200.000 tokens, não significa que vá interpretar corretamente cada detalhe. O risco de alucinação aumenta conforme a densidade de informação irrelevante no contexto.

Exemplo prático para uma PME

Imagine uma pequena firma de contabilidade em Portugal. Eles recebem um novo regulamento do Orçamento do Estado com 150 páginas.

Sem uma janela de contexto adequada, o contabilista teria de copiar e colar secções pequenas da lei e perguntar como se aplicam ao Cliente X. Com uma janela de contexto ampla (ex: 128k tokens), o contabilista carrega o PDF completo do Orçamento do Estado e o histórico de faturação do cliente do último ano no mesmo prompt.

A IA consegue então cruzar os dados: "Com base no novo Artigo 24º do documento que enviei e no facto de o Cliente X ter faturado 400.000€ no ano passado, ele deixa de ser elegível para o benefício fiscal Y". A janela de contexto permitiu que a IA visse o regulamento e os dados do cliente em simultâneo para gerar um conselho personalizado.

Perguntas frequentes

Q: O que acontece quando o texto excede a janela de contexto? R: O modelo começa a descartar a informação mais antiga da conversa. A IA pode tornar-se repetitiva ou esquecer instruções dadas no início da interação.

Q: É melhor uma janela de contexto grande ou o sistema RAG? R: Depende. Para análise profunda de um único documento, uma janela grande é melhor. Para pesquisar em milhares de documentos da empresa, o RAG é mais eficiente e económico.

Q: A janela de contexto afeta a velocidade da resposta? R: Sim. Quanto mais informação enviar na janela de contexto, mais tempo o modelo demorará a processar os dados antes de começar a escrever a resposta.

Q: Os tokens de saída contam para a janela de contexto? R: Sim, o limite total da janela inclui tanto o que escreve (input) como o que a IA responde (output).

• 01Analisar cinco contratos de arrendamento em simultâneo para detetar cláusulas contraditórias.
• 02Manter o histórico de uma conversa de suporte técnico durante 30 minutos sem perder o fio à meada.
• 03Carregar o catálogo completo de produtos de uma loja para ajudar um cliente a escolher um presente.
• 04Resumir a transcrição de uma reunião de direção de três horas que resultou em 40 páginas de texto.

Quer usar Context Window na sua empresa?

30 minutos, gratuito, sem compromisso. Dizemos onde encaixa.

Diagnóstico IA gratuito