DébutantInfrastructure & matériel
Inférence
Phase où un modèle d’IA déjà entraîné est utilisé pour produire un résultat, comme une réponse, une prédiction ou une image, à partir de nouvelles données.
La vie d’un modèle comporte deux temps : l’entraînement, où il apprend à partir de grands volumes de données, et l’inférence, où il applique ce qu’il a appris. C’est la différence entre les années d’études d’un médecin et chacune des consultations qu’il assure ensuite. L’entraînement d’un grand modèle est coûteux mais ponctuel, tandis que l’inférence se répète à chaque requête de chaque utilisateur. Son coût et sa rapidité dépendent de la taille du modèle, du matériel et d’optimisations comme la quantization ou la mise en cache.
Exemple
Lorsqu’un salarié pose une question à l’assistant conversationnel de son entreprise, le serveur effectue une inférence pour générer la réponse token après token.
Notions liées
Débit en tokens par seconde
IntermédiaireMesure de la vitesse de génération d’un modèle de langage, exprimée en tokens produits par seconde, pour une réponse donnée ou pour l’ensemble d’un serveur.
GPU (processeur graphique)
DébutantProcesseur composé de milliers de petits cœurs de calcul travaillant en parallèle, conçu à l’origine pour l’affichage graphique et devenu central pour entraîner et exécuter l’IA.