IntermédiaireModèles & LLM
SLM (petit modèle de langage)
En anglais : Small Language Model
Modèle de langage de taille réduite, généralement de quelques centaines de millions à quelques milliards de paramètres, conçu pour tourner à moindre coût, y compris sur un ordinateur ou un téléphone.
Il n’existe pas de seuil officiel : la frontière entre petit et grand modèle évolue à mesure que la technologie progresse. Un SLM sacrifie une partie des connaissances générales et du raisonnement complexe au profit de la rapidité, de la sobriété énergétique et de la confidentialité, puisqu’il peut fonctionner sans envoyer de données à un serveur distant. Il est souvent obtenu par distillation d’un modèle plus grand ou entraîné sur des données soigneusement filtrées, et donne de bons résultats sur des tâches ciblées après fine-tuning. C’est la différence entre un couteau de poche et une caisse à outils complète.
Exemple
Une application de prise de notes intègre un SLM qui résume les transcriptions de réunions directement sur l’ordinateur, sans que le texte quitte l’appareil.
Notions liées
Distillation
AvancéTechnique de compression où un modèle plus petit, l’élève, apprend à reproduire les sorties d’un modèle plus grand, l’enseignant, pour obtenir des performances proches à moindre coût.
IA embarquée (edge AI)
IntermédiaireIA exécutée directement sur un appareil, comme un smartphone, une caméra, une voiture ou un capteur industriel, plutôt que dans un centre de données distant.