AvancéModèles & LLM
Modèle à espace d’états (SSM)
En anglais : State Space Model
Architecture de réseau de neurones qui traite une séquence en mettant à jour un état interne de taille fixe, avec un coût qui croît linéairement avec la longueur du texte.
Issus de la théorie du contrôle, les SSM résument tout ce qui a été lu dans un état compact, mis à jour à chaque nouveau token, au lieu de comparer chaque token à tous les autres comme le fait l’attention. Les architectures de type Mamba ont rendu ce mécanisme sélectif, c’est-à-dire capable de décider quoi retenir ou oublier selon l’entrée, ce qui les a rapprochées des Transformers en qualité sur le langage. Leur atout : une mémoire et un coût de génération par token qui ne grossissent pas avec la longueur du contexte. Leur limite : un état fixe restitue moins bien les détails précis d’un long texte, d’où des modèles hybrides qui alternent couches SSM et couches d’attention.
Exemple
Pour analyser en continu de longs journaux de capteurs industriels, une équipe teste un modèle hybride SSM-attention afin de limiter la mémoire consommée.
Notions liées
Fenêtre de contexte
DébutantQuantité maximale de texte, mesurée en tokens, qu’un modèle peut prendre en compte en une seule fois, incluant les instructions, la conversation, les documents fournis et sa réponse.
Inférence
DébutantPhase où un modèle d’IA déjà entraîné est utilisé pour produire un résultat, comme une réponse, une prédiction ou une image, à partir de nouvelles données.