ControlNet
Méthode publiée en 2023 qui ajoute un contrôle spatial précis à un modèle de diffusion, en le conditionnant sur des contours, une pose humaine, une carte de profondeur ou un croquis.
Avec un simple prompt, il est difficile d’obtenir une posture ou une composition exacte. ControlNet greffe sur le modèle de diffusion une branche entraînée qui lit une image de guidage, par exemple le squelette d’une pose ou les contours d’un bâtiment, et oblige la génération à la respecter. Le modèle d’origine reste figé, ce qui permet d’entraîner ce contrôle avec relativement peu de ressources. On peut comparer cela à un calque posé sous la feuille d’un dessinateur : le style reste libre, mais la structure est imposée.
Exemple
Un architecte dessine les contours d’une façade et utilise ControlNet pour générer plusieurs rendus réalistes qui respectent exactement ses proportions.
Notions liées
Modèle de diffusion
IntermédiaireModèle génératif qui apprend à retirer progressivement le bruit d’une donnée, afin de créer à partir d’un bruit aléatoire une image, une vidéo ou un son cohérent.
Fine-tuning (affinage)
IntermédiaireTechnique qui poursuit l’entraînement d’un modèle déjà pré-entraîné sur un jeu de données plus restreint, afin de modifier ses poids et de l’adapter à une tâche, un domaine ou un style.