IntermédiaireEntraînement & données
Chunking (découpage en fragments)
En anglais : Chunking
Étape de préparation qui découpe de longs documents en fragments plus courts, appelés chunks, avant de les convertir en embeddings et de les indexer pour la recherche.
Un manuel de 200 pages ne peut pas être représenté utilement par un seul embedding, ni inséré en entier dans le contexte d’un modèle à chaque question. On le découpe donc en passages de taille limitée, par nombre de tokens, par paragraphe ou par section, souvent avec un léger chevauchement pour ne pas couper une idée en deux. La taille des fragments est un compromis : trop petits, ils perdent leur contexte ; trop grands, ils mélangent plusieurs sujets et diluent la pertinence. Rattacher à chaque fragment le titre ou la section d’origine aide aussi. C’est comme transformer un livre en fiches de révision : discret, mais décisif pour la qualité d’un système RAG.
Exemple
Avant d’alimenter un assistant documentaire, une équipe découpe ses contrats en fragments d’environ un paragraphe, chacun accompagné du nom du contrat et du numéro d’article.
Notions liées
Base de données vectorielle
IntermédiaireSystème de stockage conçu pour enregistrer des embeddings et retrouver très rapidement ceux qui sont les plus proches d’un vecteur donné, même parmi des millions d’éléments.
Fenêtre de contexte
DébutantQuantité maximale de texte, mesurée en tokens, qu’un modèle peut prendre en compte en une seule fois, incluant les instructions, la conversation, les documents fournis et sa réponse.