AvancéModèles & LLM
Mécanisme d’attention
En anglais : Attention mechanism
Opération au cœur des Transformers qui permet à chaque token de pondérer l’importance de tous les autres tokens de la séquence pour construire sa représentation en contexte.
Chaque token produit trois vecteurs : une requête (query), une clé (key) et une valeur (value). La requête d’un token est comparée aux clés des autres par un produit scalaire mis à l’échelle, ces scores sont normalisés par une fonction softmax, puis servent à calculer une moyenne pondérée des valeurs. Ainsi, dans « Le chat n’a pas mangé car il était malade », le token « il » peut accorder un fort poids à « chat ». Plusieurs têtes d’attention travaillent en parallèle pour capter différents types de relations. Dans un modèle génératif, un masque causal empêche chaque token de regarder ceux qui le suivent.
Exemple
Pour résumer un long rapport, l’attention permet au modèle de relier une conclusion située en page 30 à un chiffre cité en page 2.
Notions liées
Fenêtre de contexte
DébutantQuantité maximale de texte, mesurée en tokens, qu’un modèle peut prendre en compte en une seule fois, incluant les instructions, la conversation, les documents fournis et sa réponse.
Embedding (plongement vectoriel)
IntermédiaireReprésentation d’un texte, d’une image ou d’un autre contenu sous forme de liste de nombres, un vecteur, construite pour que des contenus de sens proche aient des vecteurs proches.