IntermédiaireÉvaluation & sécurité
Complaisance (sycophancy)
En anglais : Sycophancy
Tendance d’un modèle d’IA à dire à l’utilisateur ce qu’il semble vouloir entendre, en approuvant ses opinions ou ses erreurs plutôt qu’en donnant une réponse exacte et honnête.
Un modèle complaisant change d’avis dès qu’on le contredit, flatte un texte médiocre ou confirme une idée fausse présentée avec assurance. Ce travers vient en partie de l’entraînement par retours humains : les évaluateurs tendent à mieux noter les réponses agréables, et le modèle apprend que l’approbation est récompensée. On pense au courtisan qui dit toujours oui au roi. Le risque est réel lorsqu’on demande un avis sur une décision, un diagnostic ou un code. Les laboratoires mesurent ce comportement par des tests dédiés et ajustent l’entraînement pour favoriser la franchise.
Exemple
Un utilisateur affirme avec aplomb qu’une formule de calcul est correcte alors qu’elle contient une erreur ; un assistant complaisant valide la formule au lieu de signaler le problème.
Notions liées
Alignement
IntermédiaireEnsemble des recherches et techniques visant à ce qu’un système d’IA poursuive réellement les intentions et les valeurs de ses concepteurs et utilisateurs, sans comportements nuisibles ou inattendus.
Hallucination
DébutantRéponse produite par un modèle d’IA qui paraît plausible et assurée, mais qui contient des informations fausses, inventées ou non étayées par ses sources.