Quantization

Qu'est-ce que c'est

Dans le monde du logiciel traditionnel, nous sommes habitués à ce que les applications croissent à mesure que les fonctionnalités augmentent. En Intelligence Artificielle, la taille d'un modèle est déterminée par le nombre de paramètres et par la précision numérique de chacun. La Quantization (ou Quantification) est la technique d'ingénierie qui permet de compresser ces modèles, en convertissant les données d'un format de haute précision (comme des nombres décimaux complexes de 32 bits) vers des formats plus simples et plus courts (comme des nombres entiers de 8 ou 4 bits).

Imaginez que vous essayez de transmettre une recette de cuisine par téléphone. Au lieu de dire 'ajoutez 124,567 grammes de farine', vous dites simplement 'ajoutez 125 grammes'. Vous avez perdu une infime précision, mais le message a été transmis beaucoup plus vite et le résultat final — le gâteau — est virtuellement identique. Dans l'IA, la Quantization fait exactement cela avec les milliards de calculs que le modèle réalise : elle simplifie les nombres pour que l'ordinateur ait besoin de moins de mémoire et de moins d'énergie pour les traiter.

Comment ça marche

Les modèles d'IA, en particulier les LLM (Large Language Models), sont composés de 'poids'. À l'origine, ces poids sont stockés dans un format appelé FP32 (Floating Point 32-bit). Chaque poids occupe 4 octets de mémoire. Un modèle de 7 milliards de paramètres (7B) en FP32 occuperait environ 28 Go de RAM, ce qui le rend impossible à exécuter sur un ordinateur ordinaire ou un serveur économique.

La Quantization mappe ces valeurs continues sur un ensemble discret de valeurs. Si nous passons de 16 bits à 4 bits, nous réduisons la taille du modèle par 4. Le même modèle de 7B ne prend plus que 5 Go ou 6 Go de RAM.

Il existe deux moments principaux pour appliquer cette technique :

1. Post-Training Quantization (PTQ) : Le modèle est déjà entraîné et nous appliquons la compression à la fin. C'est la méthode la plus courante et la plus pratique pour les PME.
2. Quantization-Aware Training (QAT) : Le modèle est entraîné en 'sachant' déjà qu'il sera compressé. C'est plus précis, mais beaucoup plus coûteux et long à exécuter.

Quand l'utiliser

La Quantization est essentielle pour toute entreprise qui souhaite sortir de la phase de prototype et passer en production avec des coûts maîtrisés. Elle doit être utilisée quand :

• Vous voulez réduire les coûts d'infrastructure : Elle permet de faire tourner des modèles puissants sur des serveurs avec des GPU moins chers (ou même uniquement sur des CPU).
• Vous avez besoin d'une faible latence : Les modèles quantifiés répondent plus vite car les calculs mathématiques entre nombres entiers sont traités plus efficacement par le matériel.
• Confidentialité locale (Edge AI) : Si votre entreprise doit faire tourner l'IA sur les ordinateurs du bureau ou sur des appareils mobiles, sans envoyer de données dans le cloud, la Quantization est ce qui permet au modèle de tenir dans la mémoire de ces appareils.
• Scalabilité : Pour supporter des centaines d'utilisateurs simultanés sans que la facture Cloud n'augmente de manière exponentielle.

Erreurs courantes

L'erreur la plus fréquente est la quantification excessive. Si vous compressez un modèle de 16-bit à 1-bit ou 2-bit, l''intelligence' du modèle diminue drastiquement. Il commence à confondre les concepts, à perdre la cohérence grammaticale ou à inventer des faits (hallucinations) plus fréquemment. Il est nécessaire de trouver le sweet spot, qui se situe normalement à 4-bit ou 5-bit pour les modèles de langage modernes.

Une autre erreur est d'ignorer la perte de nuances dans les domaines techniques. Si votre PME opère dans un domaine très spécifique (ex : droit fiscal ou moules industriels), un modèle fortement quantifié peut perdre la capacité de distinguer des termes techniques très proches qu'un modèle 'complet' comprendrait.

Enfin, ne pas tester le modèle après la compression. On ne doit jamais supposer que le modèle quantifié aura exactement le même comportement que l'original sans réaliser des tests de validation (evals).

Exemple pratique pour une PME

Considérons une société de conseil juridique qui souhaite implémenter un système d'analyse de contrats internes. S'ils utilisent le modèle Llama 3 (8B paramètres) dans sa version originale, ils auraient besoin d'un serveur avec un GPU haut de gamme (comme un A100), qui coûte des milliers d'euros ou des centaines d'euros par mois en location Cloud.

En appliquant la Quantization en 4-bit (INT4), l'équipe technique réussit à faire tourner le même modèle sur un Mac Studio ou sur un serveur Linux commun avec une carte graphique de gaming (RTX 3060/4060).

Le résultat : l'entreprise obtient 95 % de l'intelligence du modèle original, mais avec une réduction de 75 % des coûts de mémoire et une vitesse de réponse doublée. Cela transforme un projet financièrement non viable en un outil interne rentable qui tourne sur les propres serveurs de l'entreprise, garantissant qu'aucun contrat ne quitte le réseau local.

Questions fréquemment posées

Q : Est-ce que je perds beaucoup de qualité en utilisant des modèles quantifiés ? R : Cela dépend du niveau de compression. En 8-bit, la perte est imperceptible. En 4-bit, la perte de précision est minimale (généralement 1 à 3 %) pour des tâches générales, ce qui est largement compensé par le gain de vitesse.

Q : Puis-je quantifier mes propres données ? R : La quantification s'applique aux poids du modèle d'IA, pas à vos données clients. Cependant, le processus peut être appliqué à des modèles qui ont été affinés (fine-tuned) avec vos données.

Q : Quelle est la différence entre INT8 et FP16 ? R : FP16 utilise 16 bits réels (décimaux), tandis que INT8 utilise 8 bits entiers. L'INT8 est deux fois plus petit et beaucoup plus rapide, mais moins précis pour les calculs mathématiques complexes.

Q : Ai-je besoin d'un matériel spécial pour exécuter des modèles quantifiés ? R : Au contraire. La quantification vous permet d'utiliser du matériel moins puissant. Toutefois, certaines architectures de puces (comme Apple Silicon ou les nouvelles NVIDIA) ont des instructions spécifiques pour accélérer encore plus le calcul des nombres quantifiés.

• 01Réduire un modèle de 28 Go à 6 Go pour l'exécuter sur un serveur local d'entreprise.
• 02Utiliser le format GGUF pour exécuter une IA sur l'ordinateur portable d'un commercial sans accès à Internet.
• 03Implémenter un assistant de service client qui répond en millisecondes en utilisant INT8.
• 04Compresser un réseau de vision par ordinateur pour détecter des défauts sur des pièces dans une usine à l'aide d'un Raspberry Pi.

Quer usar Quantization na sua empresa?

30 minutos, gratuito, sem compromisso. Dizemos onde encaixa.

Diagnóstico IA gratuito