Apprentissage par transfert

Entraîner un modèle de zéro demande beaucoup de données et de calcul. L’apprentissage par transfert part d’un modèle qui a déjà appris des représentations générales, par exemple reconnaître des formes et des textures sur un grand nombre d’images, puis l’adapte à un problème voisin avec un jeu de données plus modeste. Le schéma pré-entraînement puis fine-tuning, au cœur des grands modèles de langage, en est aujourd’hui l’application la plus répandue. C’est comme un pianiste qui se met à l’orgue : il ne repart pas de zéro, car le solfège et l’agilité des doigts se transfèrent.