ComfyUI ACE-Step: KI-Musikgenerierungs-Workflow

ComfyUI ACE-Step integriert das ACE-Step-Musikgenerierungsmodell in die ComfyUI-Umgebung. ACE-Step verwendet eine hybride Architektur, die diffusionsbasierte Generierung mit Sana's Deep Compression AutoEncoder (DCAE) und einem leichten linearen Transformer kombiniert. Dies ermöglicht die schnelle Generierung hochwertiger Musik mit außergewöhnlichen Kontrollmöglichkeiten. Benutzer können originelle Musik in verschiedenen Genres und Stilen mit einfachen natürlichsprachlichen Prompts und Texten erstellen.

ComfyUI ACE-Step bietet mehrere Vorteile: * **Beispiellose Geschwindigkeit:** Synthetisiert bis zu 4 Minuten Musik in nur 20 Sekunden. * **Musikalische Kohärenz:** Behält eine ausgezeichnete Qualität bei Melodie, Harmonie und Rhythmus bei. * **Mehrsprachige Unterstützung:** Generiert Musik in 19 Sprachen. * **Erweiterte Steuerung:** Ermöglicht Voice-Cloning, Textbearbeitung, Remixing und Track-Generierung mit feingranularen Parametern. * **Kreative Flexibilität:** Unterstützt vielfältige Musikstile, Genres und Instrumente mit verschiedenen Beschreibungsformaten. * **Nahtlose Integration:** Direkte Anbindung an ComfyUI-Workflows für KI-gestützte Audiokreation.

Die Verwendung des ComfyUI ACE-Step-Workflows beinhaltet die Einrichtung der Nodes und Parameter innerhalb der ComfyUI-Oberfläche. Dazu gehört die Konfiguration der Text-Prompts, Sampler-Einstellungen und Audio-Ausgabeoptionen, um die gewünschte Musik zu generieren.

Es gibt mehrere Methoden zur Musikgenerierung mit ACE-Step, darunter: * **Haupt-ACE-Step-Generierungs-Workflow:** Am besten geeignet für die Erstellung origineller Musik aus Textbeschreibungen und Texten. * **Lyric2Vocal:** Speziell für die Generierung hochwertiger Vocals aus Texten. * **Text2Samples:** Spezialisiert auf die Erstellung von Instrumental-Loops und Samples. * **RapMachine:** Optimiert für die Generierung von Rap-Musik in verschiedenen Stilen.

Wichtige Parameter im ComfyUI ACE-Step-Workflow sind: * **TextEncodeAceStepAudio Node:** * `clip`: Textfeld für Stil-, Genre- und Stimmungsbeschreibungen. * `lyrics`: Textfeld für Texte mit optionalen Struktur-Tags. * `lyrics_strength`: Steuert den Einfluss der Texte auf die Generierung. * **KSampler Node:** * `seed`: Legt den Startwert für die Zufälligkeit fest. * `steps`: Anzahl der Diffusionsschritte. * `cfg`: Classifier-free guidance scale. * `sampler_name`: Sampling-Algorithmus. * `scheduler`: Rauschplan-Typ. * `denoise`: Steuert den Grad der Rauschunterdrückung. * **EmptyAceStepLatentAudio Node:** * `seconds`: Dauer des generierten Audios. * `batch_size`: Anzahl der gleichzeitig zu generierenden Samples. * **VAEDecodeAudio Node:** * `samples`: Eingabe von KSampler. * `vae`: VAE-Modell, das zur Dekodierung verwendet wird. * **SaveAudio Node:** * `filename_prefix`: Präfix für gespeicherte Audiodateien. * `audio`: Player zur Vorschau der generierten Audios.

Fortgeschrittene Techniken umfassen: * **Generierung von Variationen:** Passen Sie den Varianzparameter an, um die Ähnlichkeit mit ursprünglichen Generierungen zu steuern. * **Inpainting:** Selektives Regenerieren bestimmter Audioabschnitte. * **Textbearbeitung:** Ändern von Texten unter Beibehaltung von Melodie, Stimmklang und Begleitung. * **Voice Cloning:** Beibehaltung der stimmlichen Eigenschaften bei der Generierung neuer Inhalte. * **Stilübertragung:** Anwenden neuer Musikstile auf bestehende Kompositionen.

Für allgemeine Musik sollten Genre, Stimmung und Instrumentierung spezifisch angegeben werden. Für Instrumentalmusik sollten Instrumente und musikalische Eigenschaften spezifiziert werden. ACE-Step funktioniert am besten mit Englisch, Chinesisch, Russisch, Spanisch, Japanisch, Deutsch, Französisch, Portugiesisch, Italienisch und Koreanisch.

Das ACE-Step-Modell wurde von ACE Studio und StepFun entwickelt. Die ComfyUI-Integration ermöglicht eine nahtlose Musikgenerierung innerhalb der ComfyUI-Umgebung. Die volle Anerkennung gebührt den ursprünglichen Autoren für ihre innovative Arbeit an ACE-Step.