Distillation

Plutôt que d’apprendre uniquement à partir de données brutes, l’élève s’entraîne sur ce que produit l’enseignant : ses réponses complètes, ou les probabilités qu’il attribue à chaque token possible, qui contiennent davantage d’information qu’une simple bonne réponse. On obtient un modèle plus rapide et moins cher à faire tourner, généralement au prix d’une certaine perte de qualité. C’est comme un apprenti qui observe un artisan expérimenté plutôt que de tout redécouvrir seul. La pratique soulève aussi des questions juridiques : les conditions d’utilisation de certains services interdisent d’utiliser leurs sorties pour entraîner des modèles concurrents.