Alignement

Un modèle optimise ce qu’on lui demande de mesurer, ce qui ne coïncide pas toujours avec ce qu’on veut vraiment. L’alignement cherche à réduire cet écart : rendre le modèle utile, honnête et inoffensif, qu’il refuse les demandes dangereuses et qu’il ne trompe pas. Il s’appuie notamment sur l’apprentissage par renforcement à partir de retours humains (RLHF), sur des principes écrits, sur les tests d’attaque (red teaming) et sur l’interprétabilité. On peut le comparer à l’éducation d’un collaborateur très capable, à qui il faut transmettre non seulement des consignes, mais aussi l’esprit dans lequel les appliquer.