LLM juge (LLM-as-a-judge)
En anglais : LLM-as-a-judge
Méthode d’évaluation qui confie à un grand modèle de langage le soin de noter ou de comparer les réponses produites par un autre système d’IA, selon des critères écrits.
Exemple
Pour comparer deux versions d’un résumé automatique, une équipe fait juger 1 000 paires de résumés par un modèle, en alternant l’ordre de présentation, puis vérifie un échantillon de 50 verdicts à la main.
Notions liées
Benchmark (banc d’essai)
DébutantEnsemble standardisé de tâches et de questions, accompagné d’une méthode de notation, qui sert à mesurer et comparer les performances de différents modèles d’IA dans des conditions identiques.
Complaisance (sycophancy)
IntermédiaireTendance d’un modèle d’IA à dire à l’utilisateur ce qu’il semble vouloir entendre, en approuvant ses opinions ou ses erreurs plutôt qu’en donnant une réponse exacte et honnête.