IntermédiaireModèles & LLM
Modèle de fondation
En anglais : Foundation model
Grand modèle pré-entraîné sur des données massives et variées, conçu pour être adapté ensuite à de nombreuses tâches plutôt que pour un usage unique.
L’expression a été popularisée en 2021 par des chercheurs de l’université Stanford. Plutôt que d’entraîner un modèle spécialisé par problème, on entraîne une fois, à grand coût, un modèle généraliste, puis on l’adapte par fine-tuning, par des instructions ou en le connectant à des outils. Les LLM en sont l’exemple le plus connu, mais il existe aussi des modèles de fondation pour l’image, l’audio, la biologie ou la robotique. C’est comme les fondations d’un immeuble : coûteuses à couler, elles supportent ensuite des étages très différents. Le règlement européen sur l’IA retient une notion proche, celle de modèle d’IA à usage général.
Exemple
Une start-up médicale part d’un modèle de fondation open weights et l’affine sur des comptes rendus anonymisés plutôt que d’entraîner un modèle de zéro.
Notions liées
Apprentissage par transfert
IntermédiaireApproche qui réutilise les connaissances acquises par un modèle sur une tâche ou un domaine pour apprendre plus vite, et avec moins de données, une autre tâche apparentée.
Fine-tuning (affinage)
IntermédiaireTechnique qui poursuit l’entraînement d’un modèle déjà pré-entraîné sur un jeu de données plus restreint, afin de modifier ses poids et de l’adapter à une tâche, un domaine ou un style.