Instruction tuning (ajustement aux instructions)

Après le pré-entraînement, un modèle sait compléter du texte mais répond mal à une demande directe : face à « Résume cet article », il peut continuer l’article au lieu de le résumer. L’instruction tuning corrige cela en l’entraînant sur de nombreux exemples de consignes variées accompagnées de réponses de qualité, rédigées par des humains ou générées puis filtrées. On parle aussi de SFT, pour supervised fine-tuning. Le modèle apprend ainsi le format question-réponse et la manière d’aider, et généralise à des consignes qu’il n’a jamais vues. Cette étape précède généralement l’alignement par préférences, avec le RLHF ou le DPO.