AvancéÉvaluation & sécurité
Attaque adverse (adversarial attack)
En anglais : Adversarial attack
Manipulation délibérée des données d’entrée d’un modèle, souvent par de minuscules modifications imperceptibles pour un humain, conçue pour le pousser à commettre une erreur ciblée.
Les réseaux de neurones peuvent être étonnamment sensibles à des perturbations infimes. En modifiant quelques pixels d’une photo selon un calcul précis, on peut amener un classifieur à voir un grille-pain là où se trouve un panda, alors qu’un humain ne remarque aucune différence. Le principe s’applique aussi au son, au texte ou aux objets physiques, par exemple des autocollants placés sur un panneau routier. Ces attaques révèlent que les modèles ne « voient » pas comme nous ; on s’en protège notamment en entraînant le modèle sur de tels exemples piégés et en testant sa robustesse.
Exemple
Des chercheurs montrent qu’un motif imprimé sur un vêtement peut empêcher un système de vidéosurveillance de détecter la personne qui le porte.
Notions liées
Empoisonnement de données (data poisoning)
AvancéAttaque qui consiste à introduire des données falsifiées ou piégées dans le corpus d’entraînement ou les sources d’un modèle d’IA, afin d’altérer son comportement de façon durable ou ciblée.
Jailbreak (débridage)
IntermédiaireTechnique par laquelle un utilisateur rédige lui-même des requêtes trompeuses pour pousser un modèle d’IA à contourner ses propres règles de sécurité et à produire un contenu normalement refusé.