AvancéModèles & LLM
Logits
Scores bruts, non normalisés, qu’un modèle produit pour chaque token de son vocabulaire avant leur conversion en probabilités par une fonction softmax.
À chaque étape de génération, la dernière couche du modèle produit un vecteur contenant autant de valeurs que de tokens dans le vocabulaire. Plus un logit est élevé, plus le token correspondant est jugé plausible ; la fonction softmax transforme ensuite ces scores en probabilités positives dont la somme vaut 1. C’est à ce niveau qu’interviennent les réglages d’échantillonnage : la température divise les logits, tandis que le top-p ou le top-k éliminent des candidats. Certaines API exposent les log-probabilités qui en découlent, ou permettent de favoriser ou d’interdire certains tokens, ce qui sert à estimer la confiance du modèle ou à contraindre ses sorties.
Exemple
Pour un classifieur de tickets, un développeur compare les log-probabilités des tokens « oui » et « non » afin d’obtenir un score de confiance plutôt qu’une simple réponse.
Notions liées
Modèle autorégressif
AvancéModèle qui génère une séquence élément par élément, chaque nouveau token étant prédit à partir de tous ceux qui le précèdent, y compris ceux qu’il vient lui-même de produire.
Sortie structurée (JSON)
IntermédiaireRéponse d’un modèle d’IA contrainte à suivre un format machine prédéfini, le plus souvent un objet JSON conforme à un schéma, pour être exploitée directement par un programme.