Stable Diffusion: Ein umfassender Leitfaden zur KI-Malerei

Stable Diffusion (SD) hat sich zu einem zentralen Modell in der KI-Landschaft entwickelt und markiert den Übergang vom traditionellen Deep Learning zur AIGC-Ära. Seine Fähigkeit, Bilder aus Text (txt2img) und Bildern (img2img) zu generieren, hat Innovationen in verschiedenen Branchen vorangetrieben. Im Gegensatz zu anderen Modellen ist SD vollständig Open-Source, was ein lebendiges Ökosystem von KI-Malerei-Communities, benutzerdefinierten Modellen und Hilfswerkzeugen fördert. Diese Offenheit hat die KI-Malerei demokratisiert, sie einem globalen Publikum zugänglich gemacht und die AIGC-Revolution vorangetrieben. SD ist vergleichbar mit dem 'YOLO' der KI-Malerei und bietet eine Mischung aus Leistung und Zugänglichkeit.

Im Kern nutzt Stable Diffusion Diffusionsmodelle, die Vorwärts- und Rückwärtsdiffusionsprozesse beinhalten. Der Vorwärtsprozess fügt einem Bild Gaußsches Rauschen hinzu, bis es zu zufälligem Rauschen wird. Der Rückwärtsprozess entrauscht dann das Bild und rekonstruiert es schrittweise. Dieser Prozess wird durch eine parametrisierte Markov-Kette gesteuert, die Stabilität und Generalisierung gewährleistet. Aus künstlerischer Sicht ahmen Diffusionsmodelle den kreativen Prozess nach, bei dem Elemente dynamisch interagieren, um eine kohärente Struktur zu bilden. Die Einführung des latenten Raums ist eine Schlüsselinnovation, die Daten in einen niedrigdimensionalen Raum komprimiert, die Rechenkosten erheblich reduziert und es SD ermöglicht, auf handelsüblicher Hardware zu laufen.

Der Workflow von Stable Diffusion umfasst mehrere wichtige Schritte. Zuerst werden Text-Prompts mithilfe eines CLIP Text Encoders in Text-Embeddings kodiert. Für Text-zu-Bild-Aufgaben dient eine Gaußsche Rauschmatrix als initiales latentes Merkmal. Für Bild-zu-Bild-Aufgaben wird das Eingabebild mithilfe eines VAE Encoders in ein latentes Merkmal kodiert. Das 'Bildoptimierungsmodul', das ein U-Net-Netzwerk und einen Zeitplanalgorithmus umfasst, verfeinert iterativ das latente Merkmal, indem es Rauschen vorhersagt und entfernt und gleichzeitig Textsemantik einbezieht. Schließlich wird das optimierte latente Merkmal mithilfe eines VAE Decoders zurück in ein pixelbasiertes Bild dekodiert. Dieser iterative Entrauschungsprozess verwandelt schrittweise Rauschen in ein kohärentes Bild.

Das Training von Stable Diffusion kann als ein Prozess des Lernens, wie man effektiv Rauschen hinzufügt und entfernt, betrachtet werden. Die Trainingslogik beinhaltet die zufällige Auswahl einer Trainingsstichprobe, das Sampling eines Zeitschritts, das Hinzufügen von Gaußschem Rauschen, die Vorhersage des Rauschens mithilfe eines U-Net und die Berechnung des Verlusts zwischen vorhergesagtem und tatsächlichem Rauschen. Time Embedding wird verwendet, um die Addition von Rauschen über die Zeit zu simulieren. Das U-Net-Modell lernt, Rauschen auf verschiedenen Ebenen vorherzusagen, was ihm ermöglicht, kohärente Bilder zu generieren. Textinformationen werden über Aufmerksamkeitsmechanismen integriert, die es dem Modell ermöglichen, textuelle Prompts zu verstehen und in die generierten Bilder einzubeziehen. Die Eingaben für den Trainingsprozess umfassen Bilder, Text und Rauschintensität.

Stable Diffusion besteht aus drei Kernkomponenten: VAE (Variational Autoencoder), U-Net und CLIP Text Encoder. Der VAE komprimiert Bilder in einen niedrigdimensionalen latenten Raum und rekonstruiert sie. Das U-Net sagt Rauschreste voraus und rekonstruiert Bilder aus Rauschen. Der CLIP Text Encoder kodiert Text-Prompts in ein Format, das das Modell verstehen kann. Diese Komponenten arbeiten zusammen, um die Generierung von qualitativ hochwertigen Bildern aus Text oder anderen Bildern zu ermöglichen.

Der VAE in Stable Diffusion basiert auf einer Encoder-Decoder-Architektur. Der Encoder wandelt Eingabebilder in niedrigdimensionale latente Merkmale um, während der Decoder pixelbasierte Bilder aus diesen Merkmalen rekonstruiert. Der VAE spielt eine entscheidende Rolle bei der Bildkomprimierung und -rekonstruktion. Verschiedene VAE-Modelle können die Details und Farben generierter Bilder verändern. Die Architektur des VAE umfasst GSC-Komponenten, Downsample-Komponenten, Upsample-Komponenten, ResNetBlock-Module und SelfAttention-Modelle. Der Trainingsprozess umfasst L1-Regressionsverlust, Wahrnehmungsverlust und eine Patch-basierte gegnerische Trainingsstrategie. Regularisierungsverluste wie KL- und VQ-Regularisierung werden verwendet, um eine willkürliche Skalierung im latenten Raum zu verhindern.

Das U-Net-Modell in Stable Diffusion sagt Rauschreste voraus und rekonstruiert Eingabemerkmalmatrizen. Es entfernt iterativ vorhergesagtes Rauschen aus der ursprünglichen Rauschmatrix und entrauscht schrittweise das latente Bildmerkmal. Die Architektur des U-Net umfasst ResNetBlock-Module, Spatial Transformer-Module und CrossAttnDownBlock-, CrossAttnUpBlock- und CrossAttnMidBlock-Module. Diese Module ermöglichen es dem Modell, sowohl Bild- als auch Textinformationen zu verstehen und einzubeziehen. Die Struktur des U-Net basiert auf der traditionellen Encoder-Decoder-Architektur mit zusätzlichen Komponenten zur Leistungsverbesserung.

Text-Prompts beeinflussen die Bilderzeugung durch Aufmerksamkeitsmechanismen. Jede Trainingsstichprobe entspricht einer Textbeschreibung, die mithilfe des CLIP Text Encoders in Text-Embeddings kodiert wird. Diese Text-Embeddings werden in Form von Cross Attention mit der U-Net-Struktur gekoppelt, was es dem Modell ermöglicht, Bild- und Textinformationen zu verschmelzen. Dieser Prozess ermöglicht es dem Modell, Bilder zu generieren, die mit den gegebenen Text-Prompts übereinstimmen.

Während Stable Diffusion zu einem zentralen generativen Modell geworden ist, spielen andere Modelle wie GANs, VAEs und Flow-basierte Modelle in der AIGC-Ära weiterhin eine Rolle. GANs werden beispielsweise in KI-Malerei-Workflows für Aufgaben wie Bild-Super-Resolution, Gesichtsrestaurierung und Stilübertragung eingesetzt. Diese Modelle ergänzen Stable Diffusion, verbessern seine Fähigkeiten und erweitern seine Anwendungen.

Stable Diffusion hat die Landschaft der KI-Malerei revolutioniert, den Zugang zu KI-generierter Kunst demokratisiert und Innovationen in verschiedenen Branchen vorangetrieben. Seine Open-Source-Natur, kombiniert mit seinen leistungsstarken Fähigkeiten, hat ein lebendiges Ökosystem von KI-Malerei-Communities und benutzerdefinierten Modellen gefördert. Da sich die AIGC-Ära weiterentwickelt, wird Stable Diffusion voraussichtlich ein wichtiger Akteur bleiben und die Zukunft von KI-generierten Inhalten und kreativem Ausdruck gestalten.