AI绘画ControlNet是什么以及它能做什么你好如果说LoRA让SD变得灵活那么ControlNet让SD变得听话。在ControlNet出现之前AI绘画很大程度上是碰运气——你输入PromptAI给你结果但构图、姿势、空间关系这些你没法精确控制。ControlNet改变了这一切。一、ControlNet的革命性意义1.1 ControlNet之前的世界在ControlNet诞生前2023年2月前AI绘画最大的痛点是无法精确控制构图人物在画面的位置、大小无法指定人物姿势举手、奔跑、坐着等无法保持特定空间关系沙发在左边、窗户在右边只能通过Prompt祈祷AI画出你想要的布局你输入a person standing on the left, looking rightAI可能把人放在中间、或是右边。Prompt只是建议不是指令。1.2 ControlNet带来的改变 ControlNet在SD的U-Net旁边增加了控制网络接收额外的控制信号将你的精确意图注入到生成过程中。有了ControlNet你可以✅ 用边缘图控制精确的构图✅ 用骨骼图锁定人物姿势✅ 用深度图定义空间关系✅ 用涂鸦草图画出你想要的画面✅ 用参考图进行风格迁移ControlNet把AI绘画从提建议变成了下指令。二、ControlNet的工作原理2.1 双网络架构ControlNet在SD原本的U-Net旁边复制了一个控制网络原U-Net照常工作处理去噪ControlNet接收控制信号如Canny边缘图提取特征两个网络的输出在特定层合并引导生成方向2.2 控制信号你可以用任何图像作为控制信号的基础。ControlNet的预处理器会将你的输入图片转化为特定的控制信号。比如你上传一张建筑照片Canny预处理器提取边缘线条ControlNet就看到了这栋建筑的轮廓在生成时保持这个轮廓。三、ControlNet的15种预处理器3.1 构图控制类Canny边缘检测提取图像边缘线条最常用的构图控制适用保持精确构图、线稿上色参数Low Threshold / High Threshold边缘敏感度Lineart线稿提取更细致的线稿比Canny更干净适用动漫线稿上色SoftEdge柔和边缘Canny的柔和版保留更多自由发挥空间适用需要构图但不想太死板Scribble涂鸦用简单涂鸦引导AI你画几笔AI完成剩余适用快速原型、创意探索3.2 空间深度类Depth深度图提取场景的深度信息白色近黑色远适用建筑/室内设计/场景重构预处理器Midas/Zoe/LeResNormal Map法线图提取表面方向信息适用3D渲染、表面纹理3.3 人物姿态类OpenPose骨骼检测检测人体/手部/面部关键点精确控制人物姿势适用人物动作、舞蹈、多人场景支持DWPose等改进版本3.4 语义理解类Segmentation语义分割将图像分为不同语义区域每类物体有不同颜色适用复杂场景中各区域的独立控制3.5 风格参考类Reference参考直接参考原图的风格和内容类似图生图但更灵活IP-Adapter图像提示适配器强大的图片风格迁移只需一张参考图即可影响生成风格Tile分块分块处理细节增强适用放大去噪增强细节Inpaint增强局部重绘ControlNet增强版Inpaint比WebUI自带Inpaint效果更好四、ControlNet的使用4.1 安装在WebUI中Extensions → Install from URL → 输入ControlNet的GitHub地址 → Install⚠️ 还需要下载ControlNet模型文件.pth/.safetensors放入models/ControlNet/文件夹。4.2 基本操作流程① 准备一张控制参考图如建筑照片、人物照片② 在ControlNet面板中上传③ 选择预处理器如Canny④ 选择对应的ControlNet模型⑤ 调整Control Weight控制强度推荐0.5-1.0⑥ 设置Starting/Ending控制步数⑦ 输入Prompt点击Generate关键参数Control Weight控制强度1.0完全控制0.5半控制Starting Step从第几步开始控制如0从第1步开始Ending Step到第几步结束控制如0.8最后20%步数不控制给AI自由发挥空间4.3 多ControlNet同时使用可以开启多个ControlNet UnitWebUI设置中可扩展到3-5个实现Canny控制构图 OpenPose控制姿势Depth控制空间 Reference控制风格Lineart控制线条 Segmentation控制内容✅ ControlNet彻底解决了AI绘画随机性的问题是专业创作的核心工具。