ControlNet：以精确控制革新AI图像生成

ControlNet是一个强大的神经网络实现，增强了稳定扩散（SD）图像生成。它允许用户对图像创作的各个方面施加精确控制，包括主题姿势复制、风格和颜色转移以及深度图像处理。基本上，ControlNet作为一组模型的集合，使用户能够将一幅图像的特定方面转移到另一幅图像上，开启了AI生成艺术的创意可能性。

ControlNet提供了多种模型，每种模型都针对特定任务设计。一些最受欢迎的模型包括： 1. Canny：在高/低对比度区域周围创建锐利的线条，适用于边缘检测。 2. MLSD（移动线段检测）：检测直线，适合建筑和人造物体。 3. HED（全局嵌套边缘检测）：在物体周围生成平滑的线条，适合重新上色和风格化。 4. OpenPose：检测人体姿势并将其应用于生成图像中的主题。 5. SEG（语义分割）：根据颜色和形状检测和分割图像的部分。 6. Depth：允许根据灰度深度图替换或重绘主题。 7. Normal Map：类似于深度图，但保留细微的表面细节和几何形状。 8. Color：从输入图像生成颜色样本/调色板，以应用于提示图像。 9. Style：在没有明确提示的情况下，将主题或元素从一幅图像转移到另一幅图像。 每个模型提供独特的功能，使用户能够根据特定需求微调图像生成过程。

安装ControlNet是一个简单的过程，尤其是对于像Automatic1111和ComfyUI这样的流行界面。 对于Automatic1111： 1. 确保您的Automatic1111安装是最新的。 2. 转到扩展选项卡，搜索'sd-webui-controlnet'。 3. 安装扩展并重启WebUI控制台。 4. 下载ControlNet模型并将其放置在适当的目录中（通常是'stable-diffusion-webui\extensions\sd-webui-controlnet\models'）。 对于ComfyUI： 1. ComfyUI原生支持ControlNet，因此不需要额外的扩展。 2. 下载ControlNet模型并将其放置在'ComfyUI\models\controlnet'目录中。 安装后，用户可以直接从所选界面访问ControlNet功能。

安装后，ControlNet作为一个可折叠的抽屉出现在Automatic1111 WebUI中，位于提示和图像配置设置下方。界面起初可能看起来复杂，但它提供了对图像生成过程的强大控制。 ControlNet界面的主要功能包括： 1. 图像框：用户上传源图像以提取特征的地方。 2. 启用/禁用切换：打开或关闭ControlNet实例。 3. 低VRAM选项：允许ControlNet在少于6GB的VRAM下运行。 4. 像素完美：自动计算正确的预处理器分辨率。 5. 控制类型：帮助设置适当的预处理器和模型组合。 6. 预处理器选择：从各种预处理选项中选择。 7. 模型选择：选择要使用的ControlNet模型。 8. 控制权重：调整ControlNet在最终输出中的强调程度。 9. 控制模式：平衡输入提示和ControlNet的影响。 10. 调整模式：处理不同尺寸的输入图像。 理解并有效使用这些选项可以对图像生成过程进行精确控制，使用户能够实现所需的结果。

ControlNet提供多种选项和设置，以微调图像生成过程： 1. 控制权重：确定ControlNet在最终输出中的强调程度。 2. 起始和结束控制步骤：定义ControlNet在图像生成过程中何时开始和停止应用。 3. 控制模式：平衡输入提示和ControlNet之间的影响。 4. 调整模式：处理不同尺寸的输入图像（仅调整大小、裁剪并调整大小、调整大小并填充）。 5. 循环回传：将生成的图像传回ControlNet进行第二次处理。 6. 预设：允许保存和重新加载ControlNet设置。 其他功能包括： - 多个ControlNet实例：启用多达10个ControlNet单元以进行复杂生成。 - 网络摄像头集成：使用您的网络摄像头捕捉图像作为ControlNet输入。 - 尺寸匹配：轻松将ControlNet输入尺寸与txt2img或img2img设置匹配。 掌握这些选项可以实现高度定制和精确的图像生成。

预处理器，也称为注释器，是ControlNet的重要组成部分，负责准备输入图像以供特定模型使用。不同的预处理器可用于各种任务： 1. Depth：提供高低区域之间的渐变（例如，depth_midas，depth_zoe）。 2. NormalMap：捕捉不同层次的细节（例如，normal_bae，normal_midas）。 3. OpenPose：捕捉身体姿势、手部位置和面部方向（例如，openpose，openpose_full）。 4. Lineart：从输入图像生成线条绘图（例如，lineart_anime，lineart_realistic）。 5. Softedge：捕捉各种图像类型的轮廓和细节（例如，softedge_hed，softedge_pidinet）。 6. Scribble：将手绘涂鸦转换为图像（例如，scribble_hed，t2ia_sketch_pidi）。 7. Segmentation：在语义分割方面表现出色（例如，seg_ofade20k，seg_ufade20k）。 8. 参考和修订：将源图像用作风格或变体的直接参考。 选择合适的预处理器对于实现ControlNet模型的预期效果至关重要。

ControlNet为高级用户提供了几个高级功能： 1. 多个ControlNet实例：将多达10个ControlNet单元串联在一起以进行复杂生成。 2. 自定义模型集成：使用自定义训练的ControlNet模型进行专业任务。 3. 与其他技术结合：ControlNet可以与其他稳定扩散技术（如修补、扩展和img2img）一起使用，以获得更大的创意控制。 4. API集成：高级用户可以使用可用的API将ControlNet集成到自己的应用程序中。 5. 自定义预处理器：开发和使用自定义预处理器以满足独特的图像处理需求。 这些高级功能为AI图像生成提供了前所未有的控制和创意，使ControlNet成为休闲用户和专业艺术家的强大工具。