AvancéEntraînement & données
Lois d’échelle (scaling laws)
En anglais : Scaling laws
Relations empiriques selon lesquelles les performances d’un modèle s’améliorent de façon prévisible lorsque l’on augmente la puissance de calcul, la quantité de données et le nombre de paramètres.
Des travaux sur les modèles de langage ont observé que la perte diminue de façon régulière, approximativement selon des lois de puissance, à mesure que l’on accroît ces trois ressources. Ces régularités permettent d’anticiper le résultat d’un gros entraînement à partir d’essais plus petits et de répartir un budget de calcul. L’équilibre optimal entre taille du modèle et volume de données est discuté : l’étude dite Chinchilla, publiée en 2022, a conclu que de nombreux grands modèles étaient entraînés sur trop peu de données pour leur taille. Ces lois décrivent la perte plutôt que chaque capacité, et leur prolongement, notamment face à la rareté des données de qualité, fait débat.
Exemple
Avant de lancer un entraînement coûteux, un laboratoire entraîne une série de petits modèles et extrapole la courbe obtenue pour choisir la taille du modèle final et le volume de données.
Notions liées
Données d’entraînement
DébutantEnsemble d’exemples, textes, images, sons ou tableaux, à partir desquels un modèle d’IA apprend à reconnaître des régularités et à produire des réponses.
FLOPS / FLOP
AvancéUnités de mesure du calcul : le FLOP compte des opérations sur des nombres à virgule flottante, tandis que les FLOPS mesurent combien une machine en effectue par seconde.