Évals (évaluation de modèles)

Là où un benchmark public compare des modèles sur des tâches génériques, les évals sont souvent construites sur mesure pour un produit donné : des centaines de cas représentatifs, avec la réponse attendue ou des critères de réussite. On les relance à chaque changement de prompt, de modèle ou de paramètre, comme une batterie de tests automatisés en développement logiciel. La notation peut être automatique (comparaison exacte, règles), confiée à des humains ou à un autre modèle jouant le rôle de juge. Sans évals, il devient difficile de savoir si une modification améliore réellement le système ou le dégrade ailleurs.