Lexique
196 définitions claires, avec le terme anglais, un exemple concret et les notions liées.
Bâtiment regroupant un grand nombre de serveurs équipés d’accélérateurs comme des GPU, reliés par des réseaux très rapides, pour entraîner et faire fonctionner des modèles d’IA.
Plateforme logicielle et modèle de programmation créés par NVIDIA, qui permettent d’utiliser ses GPU pour du calcul généraliste, notamment l’entraînement et l’inférence de modèles d’IA.
Mesure de la vitesse de génération d’un modèle de langage, exprimée en tokens produits par seconde, pour une réponse donnée ou pour l’ensemble d’un serveur.
Technique d’accélération de l’inférence où un petit modèle rapide propose plusieurs tokens à l’avance, que le grand modèle vérifie ensuite en une seule passe.
IA exécutée directement sur un appareil, comme un smartphone, une caméra, une voiture ou un capteur industriel, plutôt que dans un centre de données distant.
Exécution d’un modèle d’IA directement sur son propre ordinateur ou serveur, sans envoyer les données à un service distant, généralement grâce à un modèle open weights.
Phase où un modèle d’IA déjà entraîné est utilisé pour produire un résultat, comme une réponse, une prédiction ou une image, à partir de nouvelles données.
Délai d’attente entre l’envoi d’une requête à un modèle d’IA et l’arrivée de la réponse, souvent mesuré par le temps avant l’affichage du premier token.
Plafond fixé par un fournisseur d’API sur le nombre de requêtes ou de tokens qu’un client peut envoyer pendant une période donnée, par exemple par minute.
Optimisation qui réutilise le traitement déjà effectué sur le début identique d’un prompt d’une requête à l’autre, afin de réduire le coût et la latence des appels suivants.
Ensemble de pratiques et d’outils qui industrialisent le cycle de vie des modèles d’IA, du développement au déploiement, puis à la surveillance et à la mise à jour en production.
