IntermédiaireEntraînement & données
Pré-entraînement
En anglais : Pre-training
Première phase d’entraînement, la plus longue et la plus coûteuse, au cours de laquelle un modèle acquiert des connaissances générales à partir d’un très grand volume de données non annotées.
Pour un grand modèle de langage, le pré-entraînement consiste à prédire le token suivant sur d’immenses corpus de textes et de code. Le modèle n’apprend pas une tâche précise : il acquiert la grammaire, des connaissances factuelles et des capacités de raisonnement implicites. On obtient un modèle de base, capable de compléter du texte mais pas encore de suivre des consignes de façon fiable ; les étapes suivantes, comme l’ajustement aux instructions et l’alignement, en font un assistant. Pour les plus grands modèles, cette phase mobilise des milliers de processeurs graphiques pendant des semaines. On peut la comparer à des années de lecture tous azimuts avant d’apprendre un métier.
Exemple
Un laboratoire pré-entraîne un modèle sur un corpus multilingue de pages web, de livres et de code, puis publie ce modèle de base pour que d’autres équipes l’affinent sur leurs propres tâches.
Notions liées
Données d’entraînement
DébutantEnsemble d’exemples, textes, images, sons ou tableaux, à partir desquels un modèle d’IA apprend à reconnaître des régularités et à produire des réponses.
Fine-tuning (affinage)
IntermédiaireTechnique qui poursuit l’entraînement d’un modèle déjà pré-entraîné sur un jeu de données plus restreint, afin de modifier ses poids et de l’adapter à une tâche, un domaine ou un style.