IntermédiaireInfrastructure & matériel
Limite de débit (rate limit)
En anglais : Rate limit
Plafond fixé par un fournisseur d’API sur le nombre de requêtes ou de tokens qu’un client peut envoyer pendant une période donnée, par exemple par minute.
Les fournisseurs de modèles partagent leurs serveurs entre de nombreux clients et limitent donc l’usage de chacun, souvent en requêtes par minute et en tokens par minute, parfois par jour. Au-delà du plafond, l’API refuse temporairement les appels, généralement avec une erreur HTTP 429. C’est comparable à un guichet qui ne reçoit qu’un certain nombre de personnes par heure. Les applications doivent donc prévoir des nouvelles tentatives de plus en plus espacées et une file d’attente ; les plafonds augmentent souvent avec le niveau d’abonnement ou l’historique de consommation.
Exemple
Un développeur qui lance la traduction de milliers de fiches produits répartit ses appels dans le temps pour ne pas dépasser les limites de débit de l’API.
Notions liées
API (interface de programmation)
DébutantInterface qui permet à un logiciel d’utiliser les fonctions ou les données d’un autre selon des règles définies, par exemple pour envoyer un prompt à un modèle d’IA et recevoir sa réponse.
Débit en tokens par seconde
IntermédiaireMesure de la vitesse de génération d’un modèle de langage, exprimée en tokens produits par seconde, pour une réponse donnée ou pour l’ensemble d’un serveur.