AvancéEntraînement & données
Descente de gradient
En anglais : Gradient descent
Méthode d’optimisation qui ajuste pas à pas les paramètres d’un modèle dans la direction qui fait le plus diminuer la fonction de perte, d’après la pente calculée localement.
Le gradient indique, pour chaque paramètre, dans quel sens et avec quelle force la perte augmente. En déplaçant les paramètres dans le sens opposé, d’un pas fixé par le taux d’apprentissage, on réduit l’erreur. En pratique, on calcule ce gradient sur de petits lots d’exemples plutôt que sur toutes les données : c’est la descente de gradient stochastique, déclinée en variantes comme Adam ou AdamW, très utilisées pour les réseaux de neurones. L’image classique est celle d’un randonneur dans le brouillard qui veut rejoindre la vallée : il ne voit pas le chemin, mais sent la pente sous ses pieds et avance vers le bas. Un pas trop grand lui fait manquer le fond, un pas trop petit rend la descente interminable.
Exemple
Lors de l’entraînement d’un modèle de recommandation, l’algorithme répète des millions d’itérations de descente de gradient : à chaque lot d’exemples, tous les poids sont légèrement corrigés.
Notions liées
Époque (epoch)
IntermédiairePassage complet de l’ensemble des données d’entraînement à travers un modèle pendant l’apprentissage, un entraînement pouvant en compter une seule ou plusieurs.
Fonction de perte
AvancéFormule mathématique qui mesure l’écart entre les prédictions d’un modèle et les résultats attendus, et dont l’entraînement cherche à réduire la valeur au minimum.