IntermédiaireEntraînement & données
Époque (epoch)
En anglais : Epoch
Passage complet de l’ensemble des données d’entraînement à travers un modèle pendant l’apprentissage, un entraînement pouvant en compter une seule ou plusieurs.
Les données sont découpées en petits lots, et chaque lot donne lieu à une mise à jour des poids. Une fois que tous les lots ont été vus, une époque est terminée. Pour un modèle classique ou un fine-tuning, on enchaîne souvent plusieurs époques, en surveillant la performance sur un jeu de validation afin de s’arrêter avant le surapprentissage. Les grands modèles de langage, entraînés sur des corpus gigantesques, voient en revanche la plupart de leurs données une seule fois ou un petit nombre de fois. C’est comme relire un manuel : une lecture complète correspond à une époque, et trop de relectures finissent par faire mémoriser les exemples plutôt que comprendre.
Exemple
Lors d’un fine-tuning sur 5 000 exemples, un développeur fixe trois époques : le modèle verra donc chacun des exemples trois fois au cours de l’entraînement.
Notions liées
Descente de gradient
AvancéMéthode d’optimisation qui ajuste pas à pas les paramètres d’un modèle dans la direction qui fait le plus diminuer la fonction de perte, d’après la pente calculée localement.
Données d’entraînement
DébutantEnsemble d’exemples, textes, images, sons ou tableaux, à partir desquels un modèle d’IA apprend à reconnaître des régularités et à produire des réponses.