Le Transformer en passe d'être dépassé ?
Nouvelle vidéo conférence, où l'on étudie les améliorations d'architectures qui viennent progressivement perfectionner et remplacer le Transformer.
0:00 : Introduction
2:27 : Remplacer l'attention ?
4:33 : Mémoire associative
16:09 : Améliorations de Mamba : gating et règle delta
23:11 : Attention différentielle
26:01 : Différence fondamentale entre attention et Mamba
30:07 : Connecter les couches entre elles
34:55 : PostNorm vs PreNorm
37:38 : Mise à l'échelle avec muP
44:49 : Lois d'échelle
46:58 : Mixture of Experts
47:44 : Calculs adaptatifs
53:11 : Echapper aux lois d'échelle ?
55:07 :