DébutantModèles & LLM
Fenêtre de contexte
En anglais : Context window
Quantité maximale de texte, mesurée en tokens, qu’un modèle peut prendre en compte en une seule fois, incluant les instructions, la conversation, les documents fournis et sa réponse.
Tout ce qui dépasse cette limite est invisible pour le modèle : dans une longue conversation, les premiers échanges peuvent être tronqués ou résumés par l’application. Les fenêtres sont passées de quelques milliers de tokens pour les premiers modèles grand public à des centaines de milliers, voire davantage, pour certains modèles récents. Une grande fenêtre ne garantit pas une lecture parfaite : les performances peuvent baisser sur des informations noyées au milieu d’un long texte, et le coût augmente avec le volume traité. C’est l’équivalent d’un plan de travail : plus il est grand, plus on peut y étaler de documents, mais il faut encore savoir où regarder.
Exemple
Un juriste place un contrat complet et ses annexes dans la fenêtre de contexte d’un assistant pour lui demander la liste des clauses de résiliation.
Notions liées
Ingénierie du contexte (context engineering)
AvancéDiscipline qui consiste à sélectionner, organiser et mettre à jour l’ensemble des informations fournies à un modèle à chaque appel : instructions, documents, historique, mémoire et résultats d’outils.
KV cache
AvancéMémoire temporaire dans laquelle un modèle de langage conserve les clés et valeurs d’attention des tokens déjà traités, pour ne pas les recalculer à chaque nouveau token généré.