AvancéModèles & LLM
MoE (mélange d’experts)
En anglais : Mixture of Experts
Architecture dans laquelle certaines couches sont divisées en plusieurs sous-réseaux, appelés experts, dont seul un petit nombre est activé pour chaque token par un mécanisme de routage.
Dans un Transformer de type MoE, le réseau de neurones placé après l’attention est remplacé par un ensemble d’experts et par un routeur qui choisit, pour chaque token, les quelques experts jugés les plus adaptés. Le modèle peut ainsi compter un très grand nombre de paramètres au total tout en n’en mobilisant qu’une fraction à chaque calcul : on distingue paramètres totaux et paramètres actifs. Le calcul par token diminue, mais tous les experts doivent rester en mémoire, ce qui exige beaucoup de VRAM. Ces experts ne sont pas des spécialistes lisibles, du type « histoire » ou « chimie » : leur spécialisation émerge de l’entraînement et reste difficile à interpréter.
Exemple
La fiche d’un modèle open weights MoE peut indiquer plusieurs dizaines de milliards de paramètres au total, dont seulement quelques milliards actifs par token.
Notions liées
Inférence
DébutantPhase où un modèle d’IA déjà entraîné est utilisé pour produire un résultat, comme une réponse, une prédiction ou une image, à partir de nouvelles données.
Lois d’échelle (scaling laws)
AvancéRelations empiriques selon lesquelles les performances d’un modèle s’améliorent de façon prévisible lorsque l’on augmente la puissance de calcul, la quantité de données et le nombre de paramètres.