IntermédiaireModèles & LLM
Transformer
Architecture de réseau de neurones fondée sur le mécanisme d’attention, introduite en 2017, qui sert de base à la plupart des grands modèles de langage actuels.
Présentée en 2017 par des chercheurs de Google dans l’article « Attention Is All You Need », cette architecture a supplanté les réseaux récurrents, qui lisaient un texte mot après mot. Grâce à l’attention, chaque token peut tenir compte directement de tous les autres, et l’entraînement se parallélise efficacement sur des GPU. Un Transformer empile des blocs identiques qui combinent une couche d’attention et un petit réseau de neurones. Conçu d’abord pour la traduction, il s’est étendu au texte, à l’image, à l’audio et au code. Sa principale faiblesse : le coût de l’attention classique croît avec le carré de la longueur de la séquence.
Exemple
Un développeur qui charge un modèle open weights dans une bibliothèque d’apprentissage automatique manipule en pratique un empilement de blocs Transformer.
Notions liées
Deep learning (apprentissage profond)
DébutantSous-domaine du machine learning qui utilise des réseaux de neurones comportant de nombreuses couches successives pour apprendre des représentations de plus en plus abstraites à partir de données brutes.
GPU (processeur graphique)
DébutantProcesseur composé de milliers de petits cœurs de calcul travaillant en parallèle, conçu à l’origine pour l’affichage graphique et devenu central pour entraîner et exécuter l’IA.