DébutantÉvaluation & sécurité
Garde-fous (guardrails)
En anglais : Guardrails
Mécanismes de contrôle placés autour d’un modèle d’IA pour filtrer ses entrées et ses sorties, encadrer ses actions et empêcher les réponses ou comportements jugés dangereux ou hors sujet.
Un modèle seul ne suffit pas à garantir un comportement sûr ; on l’entoure donc de barrières, comme les rambardes d’un pont. Certaines vérifient la demande avant qu’elle n’atteigne le modèle (détection de contenus illicites ou de tentatives de manipulation), d’autres analysent la réponse avant affichage (données personnelles, propos toxiques, format attendu). D’autres encore limitent ce qu’un agent a le droit de faire, par exemple en exigeant une validation humaine avant un paiement. Les garde-fous combinent règles fixes, classifieurs spécialisés et consignes dans le prompt système, et doivent être testés régulièrement.
Exemple
Un chatbot bancaire refuse automatiquement de répéter un numéro de carte saisi par erreur et redirige vers un conseiller dès qu’une question sort de son périmètre.
Notions liées
Humain dans la boucle (human in the loop)
IntermédiairePrincipe de conception qui prévoit une intervention humaine à des étapes clés d’un système d’IA, pour valider, corriger ou refuser une décision avant qu’elle ne produise ses effets.
Jailbreak (débridage)
IntermédiaireTechnique par laquelle un utilisateur rédige lui-même des requêtes trompeuses pour pousser un modèle d’IA à contourner ses propres règles de sécurité et à produire un contenu normalement refusé.