AvancéEntraînement & données
Fonction de perte
En anglais : Loss function
Formule mathématique qui mesure l’écart entre les prédictions d’un modèle et les résultats attendus, et dont l’entraînement cherche à réduire la valeur au minimum.
La perte transforme l’idée vague de « se tromper » en un nombre que l’on peut faire diminuer. Pour prédire un prix, on peut mesurer l’erreur quadratique moyenne ; pour un modèle de langage, on utilise l’entropie croisée, qui pénalise le modèle lorsqu’il attribue une faible probabilité au token réellement présent dans le texte. La descente de gradient modifie ensuite les poids pour faire baisser cette valeur. Le choix de la fonction de perte définit donc ce que le modèle cherche réellement à optimiser, ce qui ne coïncide pas toujours exactement avec ce que l’on souhaite. C’est le score d’un jeu de fléchettes : plus on est loin du centre, plus la pénalité est forte.
Exemple
Pendant le fine-tuning d’un modèle, un ingénieur suit les courbes de perte sur les données d’entraînement et de validation pour vérifier que l’apprentissage progresse sans surapprentissage.
Notions liées
Descente de gradient
AvancéMéthode d’optimisation qui ajuste pas à pas les paramètres d’un modèle dans la direction qui fait le plus diminuer la fonction de perte, d’après la pente calculée localement.
DPO (optimisation directe des préférences)
AvancéMéthode d’alignement qui ajuste directement un modèle de langage sur des paires de réponses préférée et rejetée, sans modèle de récompense explicite ni boucle d’apprentissage par renforcement.