IntermédiaireGénération image, vidéo & audio
Modèle de diffusion
En anglais : Diffusion model
Modèle génératif qui apprend à retirer progressivement le bruit d’une donnée, afin de créer à partir d’un bruit aléatoire une image, une vidéo ou un son cohérent.
Pendant l’entraînement, le modèle observe des images auxquelles on ajoute du bruit par étapes et apprend à prédire comment l’enlever. Pour générer, il part d’un bruit pur et le nettoie pas à pas, guidé par un prompt, un peu comme un sculpteur qui dégage une statue d’un bloc brut. La plupart des systèmes travaillent dans un espace latent compressé, on parle alors de diffusion latente, ce qui réduit fortement le coût de calcul. Beaucoup de modèles récents d’image et de vidéo remplacent l’ancien réseau U-Net par un transformer (diffusion transformer) ou utilisent une approche voisine, le flow matching.
Exemple
Une agence de communication utilise un modèle de diffusion pour produire en quelques minutes plusieurs pistes visuelles d’une affiche à partir d’une simple description textuelle.
Notions liées
CFG (guidance sans classifieur)
AvancéTechnique d’échantillonnage des modèles de diffusion qui renforce l’influence du prompt en comparant, à chaque étape, une prédiction conditionnée par le texte et une prédiction sans condition.
Espace latent
AvancéEspace mathématique compressé dans lequel un modèle représente les données sous forme de vecteurs, en conservant leurs caractéristiques essentielles et leurs ressemblances.