Stable Diffusion 教程：AI 图像生成的全面指南

Stable Diffusion 是一个潜在扩散模型，可以根据文本描述生成详细图像。它在图像修复、图像外绘以及文本到图像/图像到图像转换等任务中表现出色。通过输入文本，Stable Diffusion 可以创建符合您规格的逼真图像。它将图像生成过程转化为一个去噪过程，从随机的高斯噪声开始，并逐步细化，直到出现清晰的图像。为了应对计算需求，Stable Diffusion 使用潜在扩散技术，通过在低维潜在空间中操作来减少内存和成本。其开源性质促进了快速开发和与各种工具及预训练模型的集成，使其成为各种图像生成风格的首选。

理解核心概念对于有效使用 Stable Diffusion 至关重要： * **自编码器 (VAE)：** 由一个将图像转换为低维潜在表示的编码器和一个从该表示重建图像的解码器组成。 * **U-Net：** 一个具有编码器和解码器的神经网络，通过跳跃连接防止在下采样过程中信息丢失。它在文本嵌入的条件下，通过迭代去噪来细化潜在图像表示。 * **文本编码器：** 将输入提示转换为 U-Net 可以理解的嵌入空间，通常使用基于 Transformer 的编码器。有效的提示对于高质量的输出至关重要，这强调了提示设计的重要性。

Stable Diffusion 的过程包括： 1. 输入一个潜在种子和文本提示。 2. 从种子生成一个随机的潜在图像表示。 3. 使用 CLIP 文本编码器将文本提示转换为文本嵌入。 4. 使用 U-Net 在文本嵌入的条件下，迭代地对潜在图像表示进行去噪。 5. 使用调度器算法计算去噪后的图像表示。 6. 使用 VAE 解码器解码最终的潜在图像表示。 常用的调度器包括 PNDM、DDIM 和 K-LMS。

在本地部署之前，可以尝试以下工具进行快速体验： 1. **Dream Studio：** Stability AI 的官方 Web 应用，支持其所有模型。 2. **Replicate：** 一个通过 API 分享和使用机器学习模型的平台。 3. **Playground AI：** 一个专注于 AI 图像生成的网站，提供众多模型，免费使用但有限制。 4. **Google Colab：** 在 Jupyter Notebook 中使用 Stable Diffusion，提供共享的 Colab Notebook。 5. **BaseTen：** 一个提供 Stable Diffusion API 支持的 MLOps 平台。

使用 Stable Diffusion Web UI 可以简化本地部署，这是一个无代码的视觉环境。请按照以下步骤操作： 1. **系统要求：** 至少需要 4GB VRAM 的 NVIDIA GPU，10GB 磁盘空间（推荐 8GB VRAM 和 25GB 磁盘空间）。 2. **环境准备：** 安装 Git 和 Python（通过 Miniconda）。 3. **安装 Git：** 从官方网站下载并安装 Git。 4. **安装 Python：** 使用 Miniconda 管理 Python 环境。 5. **配置国内源：** 将 conda 的安装源替换为清华或 USTC 等国内镜像，以提高下载速度。 6. **安装 Stable Diffusion Web UI：** 从 GitHub 克隆仓库并运行安装脚本（Windows 为 webui.bat，Linux/Mac 为 webui.sh）。 7. **模型安装：** 从 Hugging Face 下载模型并将其放置在 models/Stable-diffusion 目录下。

Web UI 包括： * **模型选择：** 从下载的预训练模型中选择。 * **功能选项卡：** * **txt2img：** 从文本提示生成图像。 * **img2img：** 基于图像模板和文本提示生成图像。 * **Extras：** 优化图像。 * **PNG Info：** 显示图像信息。 * **Checkpoint Merger：** 合并模型。 * **Train：** 使用自定义图像训练模型。 * **Settings：** 系统设置。 * **txt2img 界面：** 包括提示区域、参数调整区域和输出浏览区域。 * **img2img 界面：** 与 txt2img 类似，但使用图像模板而不是参数调整。 * **界面本地化：** 下载语言文件并在设置中选择，以翻译界面。

提示工程对于生成特定图像风格至关重要。关键技巧包括： * **关键词和短语：** 用逗号分隔关键词，权重较高的词语放在前面。 * **提示修饰符：** 使用括号增加权重 ((tag))，使用方括号降低权重 [[tag]]。 * **标签混合：** 使用 [tag1 | tag2] 混合标签，或使用 {tag1 | tag2 | tag3} 随机选择一个标签。 * **LoRA 模型：** 使用 `<lora:filename:multiplier>` 来集成 LoRA 模型。 示例：`<lora:koreanDollLikeness_v10:0.66>, best quality, ultra high res, (photorealistic:1.4), 1girl, thighhighs, ((school uniform)),((pleated skirt)), ((black stockings)), (full body), (Kpop idol), (platinum blonde hair:1), ((puffy eyes)), smiling, solo focus, looking at viewer, facing front` 使用负面提示排除不想要的风格和元素：`paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glan`

可以从以下平台获取预训练模型： 1. **Hugging Face：** 一个用于构建、训练和部署开源机器学习模型的平台。 2. **Civitai：** 一个专注于 Stable Diffusion AI 艺术模型的网站。 3. **Discord：** Stable Diffusion Discord 服务器提供一个“Models-Embeddings”频道。 4. **Rentry for SD：** 一个包含大量可下载模型的 Rentry 页面。 下载自定义 AI 模型时要小心，尤其是 CKPT 文件，它们可能包含恶意代码。优先使用 safetensor 文件以确保安全。