AvancéEntraînement & données
Quantification (quantization)
En anglais : Quantization
Technique qui réduit le nombre de bits utilisés pour stocker chaque poids d’un modèle, par exemple de 16 à 8 ou 4 bits, afin de le rendre plus léger et plus rapide.
Les paramètres d’un modèle sont souvent stockés sous forme de nombres à virgule sur 16 bits. La quantification les représente sur une échelle plus grossière, en 8 ou 4 bits. Un modèle de 7 milliards de paramètres passe ainsi d’environ 14 Go à environ 4 Go en 4 bits, ce qui permet de le faire tourner sur un ordinateur portable ou une carte graphique grand public. La contrepartie est une perte de qualité, généralement modeste en 8 bits et plus sensible à mesure que l’on réduit, selon les modèles et les méthodes. C’est comme une photo compressée : bien plus légère, presque identique à l’œil, mais avec des détails perdus si l’on compresse trop.
Exemple
Un développeur télécharge la version 4 bits d’un modèle open weights pour l’exécuter en local sur son ordinateur portable, au lieu de louer un serveur équipé d’un GPU haut de gamme.
Notions liées
Distillation
AvancéTechnique de compression où un modèle plus petit, l’élève, apprend à reproduire les sorties d’un modèle plus grand, l’enseignant, pour obtenir des performances proches à moindre coût.
IA en local
DébutantExécution d’un modèle d’IA directement sur son propre ordinateur ou serveur, sans envoyer les données à un service distant, généralement grâce à un modèle open weights.