ComfyUI ACE-Step: AI 音乐生成工作流

ComfyUI ACE-Step 将 ACE-Step 音乐生成模型集成到 ComfyUI 环境中。ACE-Step 采用混合架构，结合了基于扩散的模型生成、Sana 的深度压缩自动编码器 (DCAE) 和轻量级线性 Transformer。这使得能够以卓越的控制能力快速生成高质量音乐。它允许用户使用简单的自然语言提示和歌词，创作各种流派和风格的原创音乐。

ComfyUI ACE-Step 具有多项优势： * **前所未有的速度：** 仅需 20 秒即可合成长达 4 分钟的音乐。 * **音乐连贯性：** 在旋律、和声和节奏方面保持卓越的质量。 * **多语言支持：** 支持 19 种语言的音乐生成。 * **高级控制：** 支持语音克隆、歌词编辑、混音和带有精细参数的音轨生成。 * **创意灵活性：** 支持各种描述格式的多元化音乐风格、流派和乐器。 * **无缝集成：** 直接连接到 ComfyUI 工作流，实现 AI 辅助音频创作。

使用 ComfyUI ACE-Step 工作流涉及在 ComfyUI 界面中设置节点和参数。这包括配置文本提示、采样器设置和音频输出选项，以生成所需的音乐。

使用 ACE-Step 生成音乐有几种方法，包括： * **主 ACE-Step 生成工作流：** 最适合根据文本描述和歌词创作原创音乐。 * **Lyric2Vocal：** 专门用于根据歌词生成高质量人声。 * **Text2Samples：** 专门用于创建器乐循环和采样。 * **RapMachine：** 针对生成各种风格的说唱音乐进行了优化。

ComfyUI ACE-Step 工作流中的关键参数包括： * **TextEncodeAceStepAudio 节点：** * `clip`：用于风格、流派和情绪描述的文本字段。 * `lyrics`：带有可选结构标签的歌词文本字段。 * `lyrics_strength`：控制歌词对生成的影响。 * **KSampler 节点：** * `seed`：设置随机化的初始值。 * `steps`：扩散步数。 * `cfg`：无分类器引导尺度。 * `sampler_name`：采样算法。 * `scheduler`：噪声调度类型。 * `denoise`：控制去噪水平。 * **EmptyAceStepLatentAudio 节点：** * `seconds`：生成音频的时长。 * `batch_size`：同时生成的样本数量。 * **VAEDecodeAudio 节点：** * `samples`：来自 KSampler 的输入。 * `vae`：用于解码的 VAE 模型。 * **SaveAudio 节点：** * `filename_prefix`：保存音频文件的前缀。 * `audio`：用于预览生成音频的播放器。

高级技术包括： * **生成变体：** 调整方差参数以控制与原始生成内容的相似度。 * **修复 (Inpainting)：** 选择性地重新生成特定的音频片段。 * **歌词编辑：** 在保留旋律、音色和伴奏的情况下修改歌词。 * **语音克隆：** 在生成新内容时保留声音特征。 * **风格迁移：** 将新的音乐风格应用于现有作品。

对于通用音乐，请具体说明流派、情绪和乐器。对于器乐，请指定乐器和音乐特征。ACE-Step 在英语、中文、俄语、西班牙语、日语、德语、法语、葡萄牙语、意大利语和韩语方面表现最佳。

ACE-Step 模型由 ACE Studio 和 StepFun 开发。ComfyUI 集成使得在 ComfyUI 环境中无缝生成音乐成为可能。对原作者在 ACE-Step 上的创新工作表示充分的认可。