DébutantInfrastructure & matériel
Latence
En anglais : Latency
Délai d’attente entre l’envoi d’une requête à un modèle d’IA et l’arrivée de la réponse, souvent mesuré par le temps avant l’affichage du premier token.
Pour un assistant conversationnel, l’indicateur clé est le temps jusqu’au premier token (TTFT, pour time to first token), c’est-à-dire la durée pendant laquelle l’utilisateur fixe un écran vide. La latence ne doit pas être confondue avec le débit, qui mesure la vitesse à laquelle les tokens s’affichent ensuite. Au restaurant, la latence correspond au temps avant l’arrivée de l’entrée, le débit au rythme auquel les plats suivants sont servis. Elle dépend du réseau, de la longueur du prompt, de la charge des serveurs et de la taille du modèle ; les modèles de raisonnement l’allongent souvent en réfléchissant avant de répondre.
Exemple
Un service client vocal choisit un modèle plus petit pour réduire la latence, car un silence de plusieurs secondes au téléphone dégrade fortement la conversation.
Notions liées
Débit en tokens par seconde
IntermédiaireMesure de la vitesse de génération d’un modèle de langage, exprimée en tokens produits par seconde, pour une réponse donnée ou pour l’ensemble d’un serveur.
Décodage spéculatif
AvancéTechnique d’accélération de l’inférence où un petit modèle rapide propose plusieurs tokens à l’avance, que le grand modèle vérifie ensuite en une seule passe.