IntermédiaireEntraînement & données
Hyperparamètres
En anglais : Hyperparameters
Réglages fixés par les concepteurs pour encadrer l’entraînement d’un modèle, comme le taux d’apprentissage, la taille des lots ou le nombre d’époques, et qui ne sont pas appris à partir des données.
Il ne faut pas les confondre avec les paramètres, c’est-à-dire les poids que le modèle ajuste lui-même en apprenant. Les hyperparamètres sont choisis par les équipes : vitesse à laquelle les poids sont corrigés, nombre d’exemples traités à la fois, taille du réseau, durée de l’entraînement. Un mauvais choix peut rendre l’entraînement instable, trop lent ou favoriser le surapprentissage. On les règle par essais successifs, recherche systématique ou méthodes automatisées. Par extension, des réglages d’inférence comme la température sont parfois aussi appelés ainsi. On peut les comparer à la température et à la durée de cuisson d’un four, tandis que les paramètres correspondraient à la transformation de la pâte elle-même.
Exemple
Avant d’affiner un modèle, une data scientist teste trois taux d’apprentissage sur un petit échantillon et retient celui qui fait baisser le plus régulièrement la perte de validation.
Notions liées
Descente de gradient
AvancéMéthode d’optimisation qui ajuste pas à pas les paramètres d’un modèle dans la direction qui fait le plus diminuer la fonction de perte, d’après la pente calculée localement.
Époque (epoch)
IntermédiairePassage complet de l’ensemble des données d’entraînement à travers un modèle pendant l’apprentissage, un entraînement pouvant en compter une seule ou plusieurs.