Le vocabulaire de l'IA, sans jargon

Programme qui dialogue avec des utilisateurs en langage naturel, par écrit ou à l’oral, pour répondre à des questions, guider une démarche ou accomplir des tâches simples.

Knowledge cutoff

Date au-delà de laquelle les données d’entraînement d’un modèle s’arrêtent, de sorte qu’il ignore par lui-même les événements, publications et évolutions survenus ensuite.

Context window

Quantité maximale de texte, mesurée en tokens, qu’un modèle peut prendre en compte en une seule fois, incluant les instructions, la conversation, les documents fournis et sa réponse.

Generative Pre-trained Transformer

Sigle de Generative Pre-trained Transformer, nom d’une famille de modèles de langage développés par OpenAI, souvent employé par extension pour désigner n’importe quel assistant conversationnel.

Open source AI

Système d’IA publié avec les libertés de l’utiliser, de l’étudier, de le modifier et de le partager, ce qui suppose l’accès aux poids, au code et à des informations suffisantes sur les données d’entraînement.

Large Language Model

Modèle d’IA entraîné sur d’immenses volumes de texte à prédire la suite d’une séquence, ce qui lui permet de rédiger, résumer, traduire, répondre à des questions ou écrire du code.

Scores bruts, non normalisés, qu’un modèle produit pour chaque token de son vocabulaire avant leur conversion en probabilités par une fonction softmax.

Attention mechanism

Opération au cœur des Transformers qui permet à chaque token de pondérer l’importance de tous les autres tokens de la séquence pour construire sa représentation en contexte.

State Space Model

Architecture de réseau de neurones qui traite une séquence en mettant à jour un état interne de taille fixe, avec un coût qui croît linéairement avec la longueur du texte.

Open-weight model

Modèle dont les paramètres entraînés, appelés poids, sont publiés et téléchargeables, ce qui permet de l’exécuter, de l’héberger et de l’adapter soi-même, selon les conditions de sa licence.

Autoregressive model

Modèle qui génère une séquence élément par élément, chaque nouveau token étant prédit à partir de tous ceux qui le précèdent, y compris ceux qu’il vient lui-même de produire.

Foundation model

Grand modèle pré-entraîné sur des données massives et variées, conçu pour être adapté ensuite à de nombreuses tâches plutôt que pour un usage unique.

Frontier model

Modèle d’IA généraliste qui se situe à la pointe des capacités disponibles à un moment donné, issu d’entraînements parmi les plus coûteux du secteur.

Reasoning model

Modèle de langage entraîné à produire un raisonnement intermédiaire, souvent appelé réflexion ou thinking, avant de formuler sa réponse finale, afin de mieux traiter les problèmes complexes.

World model

Représentation interne, apprise par un système d’IA, de la façon dont son environnement fonctionne et évolue, qui lui permet de prédire les conséquences d’actions ou d’événements.

Mixture of Experts

Architecture dans laquelle certaines couches sont divisées en plusieurs sous-réseaux, appelés experts, dont seul un petit nombre est activé pour chaque token par un mécanisme de routage.

Caractéristique d’un modèle ou d’un système d’IA capable de traiter ou de produire plusieurs types de données, appelés modalités, comme le texte, l’image, l’audio ou la vidéo.

Small Language Model

Modèle de langage de taille réduite, généralement de quelques centaines de millions à quelques milliards de paramètres, conçu pour tourner à moindre coût, y compris sur un ordinateur ou un téléphone.

Paramètre de génération qui règle le degré d’aléa dans le choix des tokens : basse, elle rend les réponses plus prévisibles ; élevée, plus variées et surprenantes.

Unité élémentaire de texte manipulée par un modèle de langage, qui correspond selon le découpage à un mot, un morceau de mot, un signe de ponctuation ou un espace.

Tokenization

Étape qui découpe un texte en tokens et convertit chacun en identifiant numérique, à l’aide d’un outil appelé tokenizer, avant que le modèle puisse le traiter.

Top-p sampling

Méthode d’échantillonnage qui ne retient, à chaque étape, que les tokens les plus probables dont les probabilités cumulées atteignent un seuil p, puis tire le suivant parmi eux.

Architecture de réseau de neurones fondée sur le mécanisme d’attention, introduite en 2017, qui sert de base à la plupart des grands modèles de langage actuels.

Vision-Language Model

Modèle capable de traiter conjointement des images et du texte, pour décrire une photo, lire un document scanné, analyser un graphique ou répondre à des questions sur une scène.