Benchmark (banc d’essai)
En anglais : Benchmark
Ensemble standardisé de tâches et de questions, accompagné d’une méthode de notation, qui sert à mesurer et comparer les performances de différents modèles d’IA dans des conditions identiques.
Exemple
Avant de choisir un modèle pour générer du code, une équipe consulte les résultats publiés sur des benchmarks de programmation comme HumanEval, puis les vérifie sur un échantillon de ses propres tickets.
Notions liées
Contamination des benchmarks
AvancéSituation où des questions ou réponses d’un benchmark se retrouvent dans les données d’entraînement d’un modèle, ce qui gonfle artificiellement son score lors de l’évaluation.
Évals (évaluation de modèles)
IntermédiaireEnsemble de tests conçus pour mesurer de façon systématique la qualité, la fiabilité et la sécurité des réponses d’un modèle ou d’une application d’IA sur des tâches précises.