DiffusionGPT : Révolutionner la génération d'images à partir de texte avec une sélection de modèles pilotée par des LLM

DiffusionGPT est un système innovant de génération d'images à partir de texte qui répond aux limitations des modèles de diffusion stables actuels. Il exploite les grands modèles de langage (LLM) pour créer un cadre unifié capable de gérer des invites variées et d'intégrer des modèles d'experts de domaine. Ce système vise à surmonter des défis tels que les limitations des modèles dans des domaines spécifiques et les contraintes sur les types d'invites, offrant une solution polyvalente pour la génération d'images de haute qualité.

DiffusionGPT se compose de plusieurs composants clés : 1. Grand Modèle de Langage (LLM) : Agit comme le contrôleur principal, guidant l'ensemble du flux de travail. 2. Agent d'Analyse des Invites : Analyse et extrait les informations saillantes des invites d'entrée. 3. Structure Arbre de Pensée (ToT) : Organise divers modèles génératifs en fonction des connaissances antérieures. 4. Agent de Sélection de Modèle : Utilise les retours humains et les bases de données d'avantages pour sélectionner le modèle le plus approprié. 5. Agent d'Extension des Invites : Améliore les invites d'entrée pour améliorer la qualité de génération. 6. Modèles Génératifs d'Experts de Domaine : Une gamme diversifiée de modèles provenant de communautés open-source.

Le flux de travail de DiffusionGPT se compose de quatre étapes principales : 1. Analyse des Invites : Le LLM analyse l'invite d'entrée et extrait le contenu principal. 2. Construction et Recherche de Modèle Arbre de Pensée : Construit et recherche un arbre de modèles pour identifier les modèles candidats. 3. Sélection de Modèle avec Retours Humains : Sélectionne le modèle le plus approprié en utilisant des bases de données d'avantages et des préférences humaines. 4. Exécution de la Génération : Utilise le modèle choisi pour générer des images de haute qualité, incorporant l'extension des invites pour de meilleurs résultats.

DiffusionGPT offre plusieurs avantages par rapport aux méthodes traditionnelles de génération d'images à partir de texte : 1. Polyvalence : Gère divers types d'invites, y compris les entrées basées sur des invites, des instructions, des inspirations et des hypothèses. 2. Amélioration de l'Alignement Sémantique : Génère des images qui capturent mieux l'information sémantique globale des invites d'entrée. 3. Qualité Améliorée : Produit des images plus détaillées et précises, en particulier pour les objets liés aux humains. 4. Flexibilité : Intègre facilement de nouveaux modèles et s'adapte à différents domaines. 5. Alignement Humain : Intègre les retours humains pour améliorer la sélection de modèles et la qualité de sortie.

Les expériences démontrent l'efficacité de DiffusionGPT : 1. Résultats Qualitatifs : Des comparaisons visuelles montrent un meilleur alignement sémantique et une esthétique d'image améliorée par rapport aux modèles de référence comme SD1.5 et SDXL. 2. Résultats Quantitatifs : DiffusionGPT surpasse les modèles de référence en termes de récompense d'image et de scores esthétiques. 3. Étude Utilisateur : Les évaluateurs humains préfèrent systématiquement les images générées par DiffusionGPT par rapport aux modèles de référence. 4. Études d'Ablation : Démontrent l'efficacité de la structure Arbre de Pensée, des retours humains et des composants d'extension des invites.

Bien que DiffusionGPT montre des résultats prometteurs, il existe des domaines à améliorer à l'avenir : 1. Optimisation Pilotée par les Retours : Incorporation des retours directement dans le processus d'optimisation du LLM. 2. Expansion des Candidats de Modèle : Enrichissement de l'espace de génération de modèles avec des modèles plus diversifiés. 3. Au-delà des Tâches de Génération d'Images à partir de Texte : Application du cadre DiffusionGPT à d'autres tâches telles que la génération contrôlable, la migration de style et l'édition d'attributs. Les limitations incluent la nécessité d'une grande bibliothèque de modèles et des biais potentiels dans les retours humains. La recherche en cours vise à relever ces défis et à améliorer encore les performances et la polyvalence du système.