IntermédiaireInfrastructure & matériel
VRAM (mémoire vidéo)
En anglais : Video RAM
Mémoire rapide intégrée à une carte graphique, qui stocke les paramètres du modèle et les données en cours de calcul ; sa capacité limite la taille des modèles exécutables.
Pour fonctionner rapidement, un modèle doit tenir entièrement dans la mémoire du GPU. Son encombrement s’estime simplement : nombre de paramètres multiplié par le nombre d’octets par paramètre. Un modèle de 7 milliards de paramètres stocké en 16 bits, soit 2 octets, occupe donc environ 14 Go, et environ 3,5 Go une fois quantifié en 4 bits. Il faut ensuite ajouter de la place pour le KV cache, qui grandit avec la longueur du contexte, et pour les calculs intermédiaires. C’est comme un plan de travail : s’il est trop petit, il faut sans cesse aller chercher les ingrédients dans le placard, et tout ralentit.
Exemple
Avant de télécharger un modèle open weights, un développeur vérifie que sa carte graphique dispose d’assez de VRAM pour charger la version quantifiée en 4 bits.
Notions liées
Fenêtre de contexte
DébutantQuantité maximale de texte, mesurée en tokens, qu’un modèle peut prendre en compte en une seule fois, incluant les instructions, la conversation, les documents fournis et sa réponse.
GPU (processeur graphique)
DébutantProcesseur composé de milliers de petits cœurs de calcul travaillant en parallèle, conçu à l’origine pour l’affichage graphique et devenu central pour entraîner et exécuter l’IA.