Débit en tokens par seconde

Une fois le premier token affiché, le texte défile à un certain rythme : c’est le débit perçu par l’utilisateur. Côté fournisseur, on parle aussi de débit global, c’est-à-dire du nombre total de tokens qu’un serveur produit chaque seconde pour tous les utilisateurs réunis, en traitant plusieurs requêtes en même temps. Les deux objectifs se font parfois concurrence : regrouper davantage de requêtes augmente le débit global mais peut ralentir chaque réponse. Il ne faut confondre ce débit ni avec la latence, qui mesure l’attente avant le premier token, ni avec les limites de débit imposées par une API.