AvancéEntraînement & données
Rétropropagation (backpropagation)
En anglais : Backpropagation
Algorithme qui calcule efficacement, couche par couche en partant de la sortie, la contribution de chaque poids d’un réseau de neurones à l’erreur finale.
Pour corriger un réseau, il faut savoir comment chaque poids a influencé l’erreur, alors qu’il peut y en avoir des milliards. La rétropropagation applique la règle de dérivation des fonctions composées en remontant le réseau de la dernière couche vers la première, en réutilisant les calculs intermédiaires. Elle fournit ainsi les gradients, que la descente de gradient utilise pour mettre à jour les poids. Sans elle, entraîner des réseaux profonds serait impraticable. On peut la comparer à l’analyse d’un plat raté qui remonte la recette, de la cuisson à l’assaisonnement puis aux ingrédients, en estimant la part de responsabilité de chaque étape. Popularisée dans les années 1980, elle reste au cœur du deep learning.
Exemple
À chaque étape d’entraînement d’un modèle de reconnaissance vocale, la rétropropagation calcule les gradients de tous les poids à partir de l’erreur de transcription, avant leur mise à jour.
Notions liées
Deep learning (apprentissage profond)
DébutantSous-domaine du machine learning qui utilise des réseaux de neurones comportant de nombreuses couches successives pour apprendre des représentations de plus en plus abstraites à partir de données brutes.
Descente de gradient
AvancéMéthode d’optimisation qui ajuste pas à pas les paramètres d’un modèle dans la direction qui fait le plus diminuer la fonction de perte, d’après la pente calculée localement.