AvancéPrompting & usage
Budget de réflexion (thinking budget)
En anglais : Thinking budget
Paramètre qui fixe la quantité maximale de tokens qu’un modèle de raisonnement peut consacrer à sa phase de réflexion interne avant de formuler sa réponse finale.
Les modèles de raisonnement produisent des étapes de réflexion avant de répondre. Plus on leur accorde de tokens, plus ils peuvent explorer, vérifier et se corriger, ce qui améliore souvent les résultats sur les tâches difficiles, mais augmente la latence et le coût, puisque ces tokens sont généralement facturés. Selon les fournisseurs, le réglage prend la forme d’un nombre de tokens ou d’un niveau d’effort (faible, moyen, élevé). C’est comme accorder à un candidat dix minutes ou une heure de brouillon : le temps supplémentaire n’est utile que si le problème le justifie.
Exemple
Une application réserve un petit budget de réflexion aux questions de FAQ et un budget élevé à l’analyse de contrats, afin de maîtriser à la fois les délais de réponse et la facture.
Notions liées
Chaîne de pensée (chain of thought)
IntermédiaireTechnique qui amène un modèle de langage à expliciter des étapes de raisonnement intermédiaires avant sa réponse finale, ce qui améliore souvent les résultats sur les problèmes à plusieurs étapes.
Inférence
DébutantPhase où un modèle d’IA déjà entraîné est utilisé pour produire un résultat, comme une réponse, une prédiction ou une image, à partir de nouvelles données.