AvancéEntraînement & données
Modèle de récompense
En anglais : Reward model
Modèle entraîné à attribuer un score à une réponse de façon à prédire la préférence humaine, puis utilisé comme signal de récompense pour entraîner ou filtrer un autre modèle.
Dans le RLHF, faire noter chaque réponse par un humain pendant l’entraînement serait bien trop lent. On entraîne donc un modèle séparé, souvent dérivé d’un modèle de langage, sur des comparaisons humaines du type « la réponse A est meilleure que la B ». Il devient un juge automatique capable de noter des millions de réponses. Comme tout juge imparfait, il a des angles morts : le modèle optimisé peut apprendre à les exploiter, par exemple en produisant des réponses longues ou flatteuses qui plaisent au juge sans être meilleures. On parle alors de reward hacking. Les modèles de récompense servent aussi à choisir la meilleure réponse parmi plusieurs candidates.
Exemple
Un assistant de code génère quatre propositions pour une même demande ; un modèle de récompense les note et seule la proposition la mieux classée est présentée à l’utilisateur.
Notions liées
Apprentissage par renforcement
IntermédiaireMéthode de machine learning dans laquelle un agent apprend à agir dans un environnement en recevant des récompenses ou des pénalités selon les conséquences de ses actions.
DPO (optimisation directe des préférences)
AvancéMéthode d’alignement qui ajuste directement un modèle de langage sur des paires de réponses préférée et rejetée, sans modèle de récompense explicite ni boucle d’apprentissage par renforcement.