Jeux de validation et de test
En anglais : Validation and test sets
Portions de données mises de côté pendant l’entraînement, servant d’abord à régler le modèle (validation), puis à mesurer une seule fois sa performance finale sur des exemples jamais vus (test).
Exemple
Pour un modèle de détection de fraude, une banque garde 70 % des transactions historiques pour l’entraînement, 15 % pour la validation et 15 % pour le test final, en séparant aussi les périodes de temps.
Notions liées
Benchmark (banc d’essai)
DébutantEnsemble standardisé de tâches et de questions, accompagné d’une méthode de notation, qui sert à mesurer et comparer les performances de différents modèles d’IA dans des conditions identiques.
Contamination des benchmarks
AvancéSituation où des questions ou réponses d’un benchmark se retrouvent dans les données d’entraînement d’un modèle, ce qui gonfle artificiellement son score lors de l’évaluation.