Quantization

O que é

No mundo do software tradicional, estamos habituados a que as aplicações cresçam conforme as funcionalidades aumentam. Na Inteligência Artificial, o tamanho de um modelo é determinado pelo número de parâmetros e pela precisão numérica de cada um. A Quantization (ou Quantização) é a técnica de engenharia que permite comprimir estes modelos, convertendo os dados de um formato de alta precisão (como números decimais complexos de 32 bits) para formatos mais simples e curtos (como números inteiros de 8 ou 4 bits).

Imagine que está a tentar passar uma receita de cozinha por telefone. Em vez de dizer 'adicione 124,567 gramas de farinha', diz apenas 'adicione 125 gramas'. Perdeu uma precisão minúscula, mas a mensagem foi transmitida muito mais depressa e o resultado final — o bolo — é virtualmente idêntico. Na IA, a Quantization faz exatamente isto com os biliões de cálculos que o modelo realiza: simplifica os números para que o computador precise de menos memória e menos energia para os processar.

Como funciona

Os modelos de IA, especialmente os LLMs (Large Language Models), são compostos por 'pesos'. Originalmente, estes pesos são guardados num formato chamado FP32 (Floating Point 32-bit). Cada peso ocupa 4 bytes de memória. Um modelo de 7 mil milhões de parâmetros (7B) em FP32 ocuparia cerca de 28GB de RAM, o que o torna impossível de correr num computador comum ou num servidor económico.

A Quantization mapeia estes valores contínuos para um conjunto discreto de valores. Se passarmos de 16 bits para 4 bits, estamos a reduzir o tamanho do modelo em 4 vezes. O mesmo modelo de 7B passa a ocupar apenas 5GB ou 6GB de RAM.

Existem dois momentos principais para aplicar esta técnica:

1. Post-Training Quantization (PTQ): O modelo já está treinado e aplicamos a compressão no final. É o método mais comum e prático para PMEs.
2. Quantization-Aware Training (QAT): O modelo é treinado já 'sabendo' que vai ser comprimido. É mais preciso, mas muito mais caro e demorado de executar.

Quando usar

A Quantization é essencial para qualquer empresa que queira sair da fase de protótipo e entrar em produção com custos controlados. Deve ser usada quando:

• Quer reduzir custos de infraestrutura: Permite correr modelos potentes em servidores com GPUs mais baratas (ou até apenas em CPUs).
• Necessita de baixa latência: Modelos quantizados respondem mais depressa porque os cálculos matemáticos entre números inteiros são processados de forma mais eficiente pelo hardware.
• Privacidade local (Edge AI): Se a sua empresa precisa de correr IA dentro dos computadores do escritório ou em dispositivos móveis, sem enviar dados para a nuvem, a Quantization é o que permite que o modelo caiba na memória desses aparelhos.
• Escalabilidade: Para suportar centenas de utilizadores em simultâneo sem que a fatura da Cloud dispare exponencialmente.

Erros comuns

O erro mais frequente é a quantização excessiva. Se comprimir um modelo de 16-bit para 1-bit ou 2-bit, a 'burrice' do modelo aumenta drasticamente. Ele começa a confundir conceitos, a perder a coerência gramatical ou a inventar factos (halucinações) com mais frequência. É necessário encontrar o sweet spot, que normalmente situa-se nos 4-bit ou 5-bit para modelos de linguagem modernos.

Outro erro é ignorar a perda de nuances em domínios técnicos. Se a sua PME atua numa área muito específica (ex: direito fiscal português ou moldes industriais), um modelo altamente quantizado pode perder a capacidade de distinguir termos técnicos muito próximos que um modelo 'completo' entenderia.

Por fim, não testar o modelo após a compressão. Nunca se deve assumir que o modelo quantizado terá exatamente o mesmo comportamento do original sem realizar testes de validação (evals).

Exemplo prático para uma PME

Consideremos uma empresa de consultoria jurídica em Braga que quer implementar um sistema de análise de contratos internos. Se utilizarem o modelo Llama 3 (8B parâmetros) na sua versão original, precisariam de um servidor com uma GPU de alta gama (como uma A100), que custa milhares de euros ou centenas de euros por mês em aluguer Cloud.

Ao aplicar Quantization para 4-bit (INT4), a equipa técnica consegue colocar o mesmo modelo a correr num Mac Studio ou num servidor Linux comum com uma placa gráfica de gaming (RTX 3060/4060).

O resultado: a empresa obtém 95% da inteligência do modelo original, mas com uma redução de 75% nos custos de memória e uma velocidade de resposta duplicada. Isto transforma um projeto financeiramente inviável numa ferramenta interna rentável que corre nos próprios servidores da empresa, garantindo que nenhum contrato sai da rede local.

Perguntas frequentes

Q: Perco muita qualidade ao usar modelos quantizados? R: Depende do nível de compressão. Em 8-bit, a perda é impercetível. Em 4-bit, a perda de precisão é mínima (geralmente 1-3%) para tarefas gerais, o que compensa largamente face ao ganho de velocidade.

Q: Posso quantizar os meus próprios dados? R: A quantização aplica-se aos pesos do modelo de IA, não aos seus dados de cliente. No entanto, o processo pode ser aplicado a modelos que foram afinados (fine-tuned) com os seus dados.

Q: Qual é a diferença entre INT8 e FP16? R: FP16 usa 16 bits reais (decimais), enquanto INT8 usa 8 bits inteiros. O INT8 é metade do tamanho e muito mais rápido, mas menos preciso em cálculos matemáticos complexos.

Q: Preciso de hardware especial para correr modelos quantizados? R: Pelo contrário. A quantização permite que use hardware menos potente. Contudo, algumas arquiteturas de chips (como os Apple Silicon ou as novas NVIDIA) têm instruções específicas para acelerar ainda mais o cálculo de números quantizados.

• 01Reduzir um modelo de 28GB para 6GB para correr num servidor local da empresa.
• 02Utilizar o formato GGUF para executar IA num portátil de um comercial sem acesso à internet.
• 03Implementar um assistente de atendimento ao cliente que responde em milissegundos usando INT8.
• 04Comprimir uma rede de visão computacional para detetar falhas em peças numa fábrica usando um Raspberry Pi.

Quer usar Quantization na sua empresa?

30 minutos, gratuito, sem compromisso. Dizemos onde encaixa.

Diagnóstico IA gratuito