DébutantModèles & LLM
Token
Unité élémentaire de texte manipulée par un modèle de langage, qui correspond selon le découpage à un mot, un morceau de mot, un signe de ponctuation ou un espace.
Un modèle ne lit ni des lettres ni des mots entiers : il reçoit une suite de tokens, chacun associé à un numéro dans son vocabulaire. Un mot courant tient souvent en un seul token, tandis qu’un mot rare ou long est découpé en plusieurs morceaux. Le token sert aussi d’unité de mesure : la taille de la fenêtre de contexte, la vitesse de génération et le prix des API s’expriment en tokens. C’est un peu comme les syllabes pour un enfant qui apprend à lire : des briques réutilisables qui permettent de composer n’importe quel mot.
Exemple
Avant de lancer l’analyse de milliers de documents, une équipe estime le nombre de tokens en entrée et en sortie pour prévoir sa facture d’API.
Notions liées
Fenêtre de contexte
DébutantQuantité maximale de texte, mesurée en tokens, qu’un modèle peut prendre en compte en une seule fois, incluant les instructions, la conversation, les documents fournis et sa réponse.
Débit en tokens par seconde
IntermédiaireMesure de la vitesse de génération d’un modèle de langage, exprimée en tokens produits par seconde, pour une réponse donnée ou pour l’ensemble d’un serveur.