AvancéModèles & LLM
VLM (modèle vision-langage)
En anglais : Vision-Language Model
Modèle capable de traiter conjointement des images et du texte, pour décrire une photo, lire un document scanné, analyser un graphique ou répondre à des questions sur une scène.
Une architecture courante associe un encodeur visuel, qui transforme l’image en vecteurs, à un modèle de langage, reliés par une couche de projection qui convertit ces vecteurs en « tokens visuels » exploitables par le LLM. Le modèle traite alors image et texte dans une même séquence et répond en texte. D’autres approches intègrent les images dès le pré-entraînement, de façon plus native. Les VLM sont efficaces pour lire des documents ou décrire des scènes, mais peuvent encore se tromper sur le comptage d’objets, les positions relatives ou les petits détails, voire décrire des éléments absents de l’image.
Exemple
Un service comptable envoie des photos de tickets de caisse à un VLM qui en extrait la date, le commerçant et le montant TTC au format JSON.
Notions liées
Embedding (plongement vectoriel)
IntermédiaireReprésentation d’un texte, d’une image ou d’un autre contenu sous forme de liste de nombres, un vecteur, construite pour que des contenus de sens proche aient des vecteurs proches.
Hallucination
DébutantRéponse produite par un modèle d’IA qui paraît plausible et assurée, mais qui contient des informations fausses, inventées ou non étayées par ses sources.