IntermédiaireFondamentaux
Paramètres (poids)
En anglais : Parameters (weights)
Valeurs numériques internes d’un modèle d’IA, ajustées pendant l’entraînement, qui déterminent comment il transforme une entrée en sortie et stockent ce qu’il a appris.
Dans un réseau de neurones, chaque connexion porte un poids qui amplifie ou atténue le signal transmis. L’entraînement consiste à modifier ces innombrables réglages pour réduire les erreurs. Le nombre de paramètres sert souvent d’indicateur de taille : un modèle de 7 milliards de paramètres est considéré comme compact parmi les modèles de langage actuels. Davantage de paramètres permet généralement de capter plus de nuances, mais demande plus de mémoire et de calcul. Il ne faut pas les confondre avec les hyperparamètres, fixés par les humains avant l’entraînement.
Exemple
Avant de faire tourner un modèle open weights sur son ordinateur, un développeur vérifie son nombre de paramètres pour estimer la mémoire graphique nécessaire.
Notions liées
Descente de gradient
AvancéMéthode d’optimisation qui ajuste pas à pas les paramètres d’un modèle dans la direction qui fait le plus diminuer la fonction de perte, d’après la pente calculée localement.
Hyperparamètres
IntermédiaireRéglages fixés par les concepteurs pour encadrer l’entraînement d’un modèle, comme le taux d’apprentissage, la taille des lots ou le nombre d’époques, et qui ne sont pas appris à partir des données.