DébutantÉthique, droit & régulation
Biais algorithmique
En anglais : Algorithmic bias
Erreur systématique d’un système automatisé qui produit des résultats injustement défavorables ou favorables à certains groupes de personnes, souvent hérités des données ou des choix de conception.
Un modèle apprend à partir d’exemples passés : si ces exemples reflètent des inégalités, il risque de les reproduire, voire de les amplifier. Les biais peuvent aussi venir d’un échantillon déséquilibré, d’une variable qui sert de substitut à une caractéristique protégée (le code postal pour l’origine, par exemple) ou d’objectifs mal choisis. C’est comme apprendre la cuisine dans un seul livre de recettes régional et croire que c’est la seule cuisine possible. Les détecter suppose de mesurer les performances par groupe, de documenter les données et de faire contrôler les décisions sensibles par des humains.
Exemple
Un outil de tri de CV entraîné sur dix ans de recrutements majoritairement masculins attribue de moins bonnes notes aux candidatures mentionnant des activités associées aux femmes.
Notions liées
Données d’entraînement
DébutantEnsemble d’exemples, textes, images, sons ou tableaux, à partir desquels un modèle d’IA apprend à reconnaître des régularités et à produire des réponses.
Évals (évaluation de modèles)
IntermédiaireEnsemble de tests conçus pour mesurer de façon systématique la qualité, la fiabilité et la sécurité des réponses d’un modèle ou d’une application d’IA sur des tâches précises.