IntermédiaireEntraînement & données
Surapprentissage (overfitting)
En anglais : Overfitting
Situation où un modèle apprend trop fidèlement ses données d’entraînement, y compris leurs particularités et leur bruit, et perd sa capacité à bien fonctionner sur de nouvelles données.
Un modèle en surapprentissage obtient d’excellents résultats sur les exemples vus pendant l’entraînement, mais déçoit sur des cas inédits : il a mémorisé plutôt que généralisé. On le détecte en surveillant les performances sur un jeu de validation séparé, qui se dégradent alors que l’erreur d’entraînement continue de baisser. Pour le limiter, on peut ajouter des données, simplifier le modèle, arrêter l’entraînement plus tôt ou recourir à la régularisation. C’est l’élève qui apprend par cœur les corrigés des annales : imbattable sur ces sujets, perdu dès que l’énoncé change. Le phénomène inverse, un modèle trop simple qui n’apprend pas assez, s’appelle le sous-apprentissage.
Exemple
Un modèle de prévision des ventes entraîné sur seulement deux ans d’historique reproduit parfaitement ces années passées mais se trompe fortement sur le trimestre suivant.
Notions liées
Contamination des benchmarks
AvancéSituation où des questions ou réponses d’un benchmark se retrouvent dans les données d’entraînement d’un modèle, ce qui gonfle artificiellement son score lors de l’évaluation.
Données d’entraînement
DébutantEnsemble d’exemples, textes, images, sons ou tableaux, à partir desquels un modèle d’IA apprend à reconnaître des régularités et à produire des réponses.