KV cache
En anglais : Key-value cache
Mémoire temporaire dans laquelle un modèle de langage conserve les clés et valeurs d’attention des tokens déjà traités, pour ne pas les recalculer à chaque nouveau token généré.
Un modèle autorégressif produit sa réponse token par token, et chaque nouveau token doit tenir compte de tous les précédents grâce au mécanisme d’attention. Sans cache, il faudrait recalculer à chaque pas les clés et valeurs de tout le texte déjà traité. Le KV cache les garde en mémoire, ce qui accélère fortement la génération, un peu comme un lecteur qui prend des notes au fil d’un livre au lieu de tout relire à chaque page. En contrepartie, il occupe de la VRAM en proportion de la longueur du contexte et du nombre de requêtes simultanées, ce qui en fait un enjeu majeur d’optimisation.
Exemple
Lorsqu’un utilisateur colle un long rapport dans un assistant, la taille du KV cache explique en partie pourquoi le serveur doit réserver beaucoup de mémoire GPU pour cette conversation.
Notions liées
Fenêtre de contexte
DébutantQuantité maximale de texte, mesurée en tokens, qu’un modèle peut prendre en compte en une seule fois, incluant les instructions, la conversation, les documents fournis et sa réponse.
Inférence
DébutantPhase où un modèle d’IA déjà entraîné est utilisé pour produire un résultat, comme une réponse, une prédiction ou une image, à partir de nouvelles données.