LoRA

O que é

LoRA, ou Low-Rank Adaptation, é uma técnica de engenharia de modelos de IA desenhada para resolver um problema crítico: o custo e a complexidade de adaptar grandes modelos (como o GPT-4 ou o Llama) a domínios específicos. Em vez de treinar novamente o modelo inteiro — o que exigiria infraestruturas de dezenas de milhares de euros e semanas de trabalho — o LoRA atua como uma 'camada adicional' leve que se ajusta sobre o modelo original.

Imagine que tem um motor de um camião potente. Em vez de abrir o motor e trocar os pistões para que ele funcione melhor na montanha, o LoRA é equivalente a adicionar um pequeno chip de otimização que altera apenas as instruções de injeção de combustível. O motor original permanece intacto, mas o comportamento muda drasticamente para a função desejada.

Como funciona

Para compreender o LoRA, precisamos de falar de matrizes de parâmetros. Um modelo de IA moderno tem milhares de milhões de parâmetros (os 'pesos' que determinam como ele processa informação). Durante um processo tradicional de fine-tuning, todos estes parâmetros seriam alterados.

No LoRA, os pesos originais do modelo são 'congelados' — tornam-se imutáveis. Em vez de tentar mexer neles, os investigadores descobriram que a mudança necessária para especializar um modelo tem, tipicamente, uma 'baixa classificação' (low rank). Matematicamente, isto significa que não precisamos de mexer em todos os números de uma matriz gigante; podemos decompor essa mudança em duas matrizes muito mais pequenas.

Durante o treino, apenas estas matrizes minúsculas são atualizadas. Quando o modelo é utilizado para gerar uma resposta (inferência), as matrizes do LoRA são somadas matematicamente aos pesos originais num processo instantâneo. O resultado é um ficheiro final extremamente pequeno (uns meros 50MB a 200MB, em comparação com os 30GB ou 100GB de um modelo completo) que contém todo o 'conhecimento especializado' necessário para a PME.

Quando usar

O LoRA é a ferramenta ideal quando a sua empresa tem dados específicos que não quer ou não pode enviar para fornecedores externos como a OpenAI, ou quando precisa de um comportamento muito rígido que o simples 'prompt engineering' não consegue garantir.

Use o LoRA quando:

1. Personalização de Tom e Marca: Quer que a IA escreva exatamente com o estilo, vocabulário e normas da sua empresa, sem falhas.
2. Conhecimento Técnico Estrito: O modelo precisa de compreender terminologia técnica específica de um setor (ex: moldes industriais, legislação fiscal portuguesa) que não foi suficientemente coberta no treino base.
3. Limitação de Hardware: A sua empresa quer correr modelos localmente em servidores próprios ou na cloud com GPUs modestas. O LoRA permite treinar modelos de 70 mil milhões de parâmetros em hardware que, de outra forma, seria impossível.
4. Multiplicidade de Tarefas: Se tiver dez clientes diferentes e cada um precisar de um estilo de escrita diferente, pode ter um único modelo base 'pesado' e dez pequenos ficheiros LoRA que troca em milissegundos conforme o cliente que está a ser atendido.

Erros comuns

O erro mais frequente é confundir LoRA com RAG (Retirada de Informação). O LoRA serve para ensinar estilo, formato e lógica, não para ensinar factos mutáveis. Se quer que a IA saiba o preço do seu stock de hoje, use RAG. Se quer que a IA aprenda a formatar relatórios de auditoria seguindo as normas ISO específicas da sua fábrica, use LoRA.

Outro erro é o 'Overfitting'. Como o LoRA foca-se em poucas variáveis, se o conjunto de dados de treino for demasiado pequeno ou repetitivo, o modelo pode começar a 'decorar' as respostas em vez de aprender o padrão. Isto torna a IA rígida e incapaz de lidar com perguntas ligeiramente diferentes das do treino.

Por fim, há a negligência da qualidade dos dados. Como o LoRA é muito eficiente a extrair padrões, se lhe der 100 exemplos de e-mails de apoio ao cliente mal escritos e com erros gramaticais, o modelo vai aprender a escrever exatamente com esses erros, replicando a má qualidade de forma sistemática.

Exemplo prático para uma PME

Imagine uma consultora jurídica em Lisboa especializada em direito imobiliário. Eles utilizam um modelo de código aberto (como o Llama 3) para ajudar a redigir minutas de contratos.

No entanto, o modelo base escreve num português muito genérico e, por vezes, utiliza termos de direito brasileiro ou brasileiro. A PME decide então criar um LoRA. Reúnem 500 dos seus melhores contratos redigidos nos últimos 5 anos, anonimizam os dados e treinam um LoRA durante algumas horas numa GPU alugada por poucos euros.

O resultado? Agora, sempre que o advogado pede um rascunho, o modelo utiliza as matrizes LoRA para aplicar a estrutura de cláusulas específica daquela sociedade, respeitando a terminologia jurídica portuguesa atualizada e o tom formal preferido pelos sócios. O modelo base não foi alterado, mas o 'filtro' LoRA transformou-o num estagiário virtual que já conhece as normas da casa.

Perguntas frequentes

Q: Preciso de ter programadores seniores para criar um LoRA? R: Atualmente já existem ferramentas 'low-code' e plataformas que automatizam o treino de LoRA. O essencial não é saber a matemática por trás das matrizes, mas sim ter um conjunto de dados (dataset) limpo e de alta qualidade.

Q: É melhor usar um LoRA ou fazer Fine-Tuning total? R: Para 99% das PMEs, o LoRA é melhor. O fine-tuning total é proibitivamente caro, requer centenas de vezes mais memória e, muitas vezes, sofre de 'esquecimento catastrófico', onde o modelo esquece como falar normalmente porque foi demasiado alterado.

Q: Posso usar vários LoRAs ao mesmo tempo? R: Sim. Uma das grandes vantagens é a modularidade. Pode carregar um LoRA para 'estilo de escrita' e outro para 'conhecimento técnico' em cima do mesmo modelo base simultaneamente.

Q: O LoRA substitui o RAG? R: Não. São complementares. O LoRA treina o 'cérebro' para pensar de certa forma; o RAG dá-lhe os 'livros' para ele consultar factos em tempo real.

• 01Ajustar um modelo Llama 3 para escrever propostas comerciais com o tom de voz específico de uma agência de marketing.
• 02Treinar uma camada leve para que uma IA reconheça e utilize jargão técnico da indústria vidreira portuguesa.
• 03Especializar um modelo de geração de imagem para criar protótipos de mobiliário seguindo o catálogo de uma marca nacional.
• 04Criar um assistente que formata automaticamente ficheiros JSON seguindo a estrutura exata do ERP da empresa.

Quer usar LoRA na sua empresa?

30 minutos, gratuito, sem compromisso. Dizemos onde encaixa.

Diagnóstico IA gratuito