Mise en cache du prompt (prompt caching)

Beaucoup d’applications envoient à chaque requête le même long préfixe : instructions système, documentation, exemples. Plutôt que de retraiter ce bloc à chaque fois, le fournisseur conserve le résultat de son traitement, notamment le KV cache correspondant, et ne calcule que la partie nouvelle. Les tokens servis depuis le cache sont généralement facturés moins cher et la réponse démarre plus vite. Le cache ne fonctionne que si le début du prompt est strictement identique et il expire après une durée limitée ; il ne faut pas le confondre avec la réutilisation d’une réponse déjà donnée.