Décodage spéculatif
En anglais : Speculative decoding
Technique d’accélération de l’inférence où un petit modèle rapide propose plusieurs tokens à l’avance, que le grand modèle vérifie ensuite en une seule passe.
Générer token par token avec un grand modèle est lent, car chaque token nécessite un passage complet dans le réseau. Le décodage spéculatif confie un brouillon à un modèle plus petit, puis le grand modèle vérifie toutes ces propositions en parallèle : il garde celles qui correspondent à ce qu’il aurait produit et corrige à partir de la première divergence. C’est comme un assistant qui rédige un brouillon qu’un expert valide d’un coup d’œil, plus vite que s’il écrivait tout lui-même. Avec la règle d’acceptation standard, la qualité du résultat reste la même que sans accélération ; seul le temps de calcul change.
Exemple
Un fournisseur d’API active le décodage spéculatif sur son modèle principal afin d’augmenter le nombre de tokens affichés par seconde, sans dégrader la qualité des réponses.
Notions liées
Débit en tokens par seconde
IntermédiaireMesure de la vitesse de génération d’un modèle de langage, exprimée en tokens produits par seconde, pour une réponse donnée ou pour l’ensemble d’un serveur.
Distillation
AvancéTechnique de compression où un modèle plus petit, l’élève, apprend à reproduire les sorties d’un modèle plus grand, l’enseignant, pour obtenir des performances proches à moindre coût.