AvancéModèles & LLM
Modèle autorégressif
En anglais : Autoregressive model
Modèle qui génère une séquence élément par élément, chaque nouveau token étant prédit à partir de tous ceux qui le précèdent, y compris ceux qu’il vient lui-même de produire.
Le modèle calcule une distribution de probabilité sur le token suivant, en tire un, l’ajoute à la séquence, puis recommence jusqu’à un token de fin ou une limite de longueur. C’est le fonctionnement de la plupart des LLM : leur pré-entraînement consiste justement à prédire le token suivant sur d’immenses corpus. Cette génération séquentielle explique pourquoi les réponses s’affichent progressivement et pourquoi une erreur initiale peut se propager dans la suite. Elle limite aussi la vitesse, ce que des techniques comme le KV cache ou le décodage spéculatif atténuent ; les modèles de diffusion appliqués au texte explorent une autre voie en affinant plusieurs tokens en parallèle.
Exemple
Quand un assistant affiche sa réponse au fil de l’eau en streaming, chaque fragment qui apparaît correspond à un tour de la boucle autorégressive.
Notions liées
Décodage spéculatif
AvancéTechnique d’accélération de l’inférence où un petit modèle rapide propose plusieurs tokens à l’avance, que le grand modèle vérifie ensuite en une seule passe.
Modèle de diffusion
IntermédiaireModèle génératif qui apprend à retirer progressivement le bruit d’une donnée, afin de créer à partir d’un bruit aléatoire une image, une vidéo ou un son cohérent.