Contamination des benchmarks
En anglais : Benchmark contamination
Situation où des questions ou réponses d’un benchmark se retrouvent dans les données d’entraînement d’un modèle, ce qui gonfle artificiellement son score lors de l’évaluation.
Exemple
Un laboratoire constate qu’un modèle réussit très bien un test de mathématiques public, mais beaucoup moins bien une version reformulée des mêmes problèmes : un indice fort de contamination.
Notions liées
Benchmark (banc d’essai)
DébutantEnsemble standardisé de tâches et de questions, accompagné d’une méthode de notation, qui sert à mesurer et comparer les performances de différents modèles d’IA dans des conditions identiques.
Date de coupure des connaissances
DébutantDate au-delà de laquelle les données d’entraînement d’un modèle s’arrêtent, de sorte qu’il ignore par lui-même les événements, publications et évolutions survenus ensuite.