IntermédiaireModèles & LLM
Tokenisation
En anglais : Tokenization
Étape qui découpe un texte en tokens et convertit chacun en identifiant numérique, à l’aide d’un outil appelé tokenizer, avant que le modèle puisse le traiter.
Le tokenizer est construit avant l’entraînement à partir d’un grand corpus : des algorithmes comme BPE (Byte Pair Encoding) fusionnent les suites de caractères les plus fréquentes pour former un vocabulaire de plusieurs dizaines de milliers d’unités, parfois davantage. Chaque modèle possède son propre tokenizer, si bien qu’un même texte ne donne pas le même nombre de tokens d’un modèle à l’autre. Ce découpage explique certaines bizarreries, comme la difficulté à compter les lettres d’un mot, que le modèle ne voit pas une à une. Les langues peu représentées dans le corpus sont souvent découpées plus finement, donc plus coûteuses à traiter.
Exemple
Un développeur passe un contrat de 20 pages dans le tokenizer d’un modèle pour vérifier qu’il tient dans la fenêtre de contexte avant de l’envoyer.
Notions liées
Fenêtre de contexte
DébutantQuantité maximale de texte, mesurée en tokens, qu’un modèle peut prendre en compte en une seule fois, incluant les instructions, la conversation, les documents fournis et sa réponse.
Embedding (plongement vectoriel)
IntermédiaireReprésentation d’un texte, d’une image ou d’un autre contenu sous forme de liste de nombres, un vecteur, construite pour que des contenus de sens proche aient des vecteurs proches.