DébutantModèles & LLM
Multimodal
Caractéristique d’un modèle ou d’un système d’IA capable de traiter ou de produire plusieurs types de données, appelés modalités, comme le texte, l’image, l’audio ou la vidéo.
Un modèle unimodal ne manipule qu’un seul type de données, par exemple du texte. Un modèle multimodal peut, lui, analyser une photo et une question écrite en même temps, comprendre la voix ou générer une image à partir d’une description. La multimodalité peut porter sur l’entrée, sur la sortie ou sur les deux, et certains modèles traitent toutes les modalités dans un même réseau plutôt que d’assembler plusieurs modèles spécialisés. C’est un peu comme passer d’un échange par courrier à une visioconférence : plus de canaux, donc plus d’informations, mais aussi plus de façons de mal interpréter.
Exemple
Un technicien photographie une pièce défectueuse, décrit à l’oral le bruit entendu, et un assistant multimodal lui propose un diagnostic et une référence de remplacement.
Notions liées
IA générative
DébutantCatégorie de systèmes d’intelligence artificielle capables de produire des contenus nouveaux, comme du texte, des images, du son, de la vidéo ou du code, à partir d’une consigne.
Reconnaissance vocale (speech-to-text)
DébutantTechnologie qui transcrit automatiquement la parole, enregistrée ou captée par un micro, en texte écrit, en identifiant les mots prononcés malgré les accents et le bruit ambiant.