AvancéModèles & LLM
Top-p (nucleus sampling)
En anglais : Top-p sampling
Méthode d’échantillonnage qui ne retient, à chaque étape, que les tokens les plus probables dont les probabilités cumulées atteignent un seuil p, puis tire le suivant parmi eux.
Les tokens sont classés du plus probable au moins probable, et l’on additionne leurs probabilités jusqu’à atteindre le seuil choisi, par exemple 0,9 : seul ce « noyau » reste candidat, ses probabilités sont renormalisées et le reste est écarté. Contrairement au top-k, qui garde toujours un nombre fixe de candidats, la taille du noyau s’adapte : quelques tokens quand la distribution est très concentrée, beaucoup quand plusieurs suites sont plausibles. Le top-p coupe ainsi la longue traîne de choix improbables qui produisent des incohérences. Il se combine souvent avec la température, mais plusieurs fournisseurs conseillent de n’ajuster qu’un des deux réglages à la fois.
Exemple
Un développeur fixe top-p à 0,9 dans l’appel d’API d’un générateur d’histoires pour garder de la variété tout en évitant les mots incongrus.
Notions liées
Inférence
DébutantPhase où un modèle d’IA déjà entraîné est utilisé pour produire un résultat, comme une réponse, une prédiction ou une image, à partir de nouvelles données.
Logits
AvancéScores bruts, non normalisés, qu’un modèle produit pour chaque token de son vocabulaire avant leur conversion en probabilités par une fonction softmax.