RLHF (apprentissage par renforcement à partir de retours humains)

Il est difficile d’écrire une règle définissant une « bonne » réponse, mais facile pour une personne de dire laquelle de deux réponses elle préfère. Le RLHF exploite cette idée en trois temps : collecte de comparaisons humaines, entraînement d’un modèle de récompense qui apprend à prédire ces préférences, puis optimisation du modèle de langage par renforcement, souvent avec l’algorithme PPO, pour obtenir de meilleurs scores tout en restant proche de sa version initiale. La méthode a contribué à rendre les assistants conversationnels plus utiles et plus prudents. Elle reste coûteuse et peut favoriser des dérives comme la complaisance ou l’exploitation des failles du modèle de récompense.