在实际图像生成工作中Midjourney 生成的图片虽然整体氛围和构图常常让人满意但局部细节却经常出现“破碎感”手指多了一节、眼球错位、牙齿粘成一片、物体边缘出现锯齿状的伪影。更麻烦的是Midjourney 自带的局部重绘工具受提示词控制想精修某个区域时往往重新生成之后细节又跑到了别的地方。对于依赖批量出图和后续精修的设计师、内容创作者来说这类问题会显著拉长工作链路。ComfyUI 给出了一条不同的修复路径。通过节点化工作流把“识别破碎区域、生成蒙版、局部重绘、融合回原图”的整个流程固定下来过程中不需要为修复手动编写提示词。本文会从原理开始讲清楚为什么局部重绘能修复 Midjourney 的破碎细节再给出一个可落地的 ComfyUI 工作流搭建过程以及常见的报错排查路径。1. 先理解 Midjourney 细节破碎的根源才知道从哪里修1.1 破碎细节是什么Midjourney 生成的图像里破碎细节一般表现为几个固定类型手部结构异常手指数量不对、手指交叉错位、指节弯曲不自然。面部器官错位眼睛大小不一致、瞳孔方向偏离、牙齿和嘴唇边界不清。物体结构断裂玻璃杯手柄断成两截、项链链环断裂、动物耳朵位置偏移。边缘伪影主体边缘出现颗粒感、锯齿、半透明残余色块。这类问题不只在 Midjourney 出现所有基于扩散模型的文生图工具都会遇到。原因是扩散模型的生成过程会逐步把噪声变成图像对高频细节的约束力比其他区域弱所以小尺寸结构、复杂遮挡关系、重复纹理最容易出问题。1.2 Midjourney 自身的修复方式为什么不够用Midjourney 官方提供了局部重绘功能也就是 Vary Region它允许用户选一个区域让模型重新生成。但在实际使用中它有几个明显限制限制点具体表现依赖提示词重绘区域的内容主要受提示词驱动如果不会写精确提示词很容易把区域改得与原图不协调蒙版精度有限官方面具只能做粗粒度选区难以精确圈出破碎的手指或错位的眼睛风格漂移重绘区域会沿用当前 Midjourney 风格但细节比例容易变化常见结果是修复了手指却改变了皮肤质感批量处理弱多次重绘需要反复交互无法形成可复用的处理流程所以对于在意效率和可复现性的用户本地 ComfyUI 工作流是更合适的方案。1.3 ComfyUI 修复的核心思路ComfyUI 的修复思路不是“重新生成一张图”而是“只重绘有问题的局部区域并让重绘内容与周围像素保持一致”。完整流程可以拆成四步加载原图把 Midjourney 出的图作为底图。生成蒙版标记哪些区域需要修复。将原图、蒙版一起送入局部重绘模型在扩散模型内部只对蒙版区域采样。把重绘结果与原图融合输出最终修复图。这里“免提示词”的关键在于第 3 步。局部重绘模型可以只依赖蒙版和底图内容完成采样不需要用户为修复区域编写文本描述。只要底图本身提供了足够的内容上下文模型就会根据蒙版周围的像素推断该区域内应该出现什么。2. 免提示词修复的原理蒙版、局部重绘与注意力机制2.1 局部重绘如何保持全局一致性扩散模型在重绘局部区域时如果直接把整张图送入生成链路很容易把未损坏的区域也重新采样一遍导致整张图结构变化。局部重绘模型通过在采样过程中“锁住”蒙版之外的像素来解决这个问题。在 ComfyUI 中标准做法是先使用VAE Encode for Inpaint节点。它会把原图和蒙版一起编码到潜在空间并生成一个masked_latent。在 KSampler 去噪过程中masked_latent保证蒙版之外的区域保持原始特征只有蒙版区域会逐步生成新内容。这也是为什么只控制denoise强度还不够。如果直接在整图上降低denoise值模型也会保留大部分原图结构但它仍然会对全图重采样可能在背景或边缘产生细微变化。使用蒙版后模型会严格限制变化范围。2.2 为什么可以不写修复提示词很多人对“修复图片必须写提示词”有刻板印象因为多数文生图工作流必须传入 prompt。但在局部重绘场景下提示词的作用会被底图本身的信息覆盖。采样器在每一步去噪时会根据文本条件、底图条件、当前噪声状态共同预测下一步的像素。蒙版区域周围的原图像素是比文本更直接的约束条件。比如一只破碎的手周围已经存在手掌、手臂、衣袖模型通过这些像素能推断出完整的结构文本提示词反而可能引入歧义。所以工作流可以采用两种方式处理提示词不连接任何文本编码器输出只靠底图条件完成重绘。连接一个空提示词节点让文本条件退化为中性条件。第一种方式对模型要求更高适合专门针对 inpaint 微调过的模型。第二种方式更通用稳定性和兼容性都更好。2.3 哪些模型适合这种修复工作流模型选择直接决定修复质量。根据实际使用体验可以按场景分三类模型类型代表方向适用场景注意事项SD 1.5 重绘系列Realistic Vision、Deliberate 等人物手部、面部细节修复需要配合配套 VAESDXL 重绘系列Juggernaut XL、RealVisXL 等大图修复、高质量构图保留显存占用更高速度较慢专用 inpaint 模型Fooocus inpaint、PowerPaint 等重度破损区域修复节点支持范围需要确认如果原图分辨率较高建议在重绘后接一个放大节点做细节增强避免输出分辨率小于原图。如果原图本身是 1024 x 1024 的 Midjourney 输出SD 1.5 系列可以直接处理SDXL 系列兼容性更好。3. ComfyUI 环境准备与关键依赖3.1 本地环境基本要求ComfyUI 可以在 Windows、Linux、macOS 上运行。如果机器有 NVIDIA 显卡建议优先使用 CUDA 版本。不同规模模型对显存要求不同使用场景推荐显存说明SD 1.5 局部重绘最小可运行6 GB可以运行但可能较慢SDXL 局部重绘8 GB 以上建议 12 GB 更顺畅叠加分割模型、放大模型12 GB 以上同时加载多个模型显存占用会叠加学习阶段可以先用整合包快速跑通比如秋叶 comfyui 整合包。它会把 Python 环境、ComfyUI 主程序、常用节点、模型管理工具打包好适合不需要自己维护 Python 依赖的读者。如果从源码部署基本步骤如下git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI pip install -r requirements.txt python main.py启动成功后浏览器访问http://127.0.0.1:8188就能打开工作流编辑界面。注意整合包和源码部署只是环境形态不同工作流 JSON 文件在两个环境之间是通用的。真正需要留意的是自定义节点和模型文件是否齐全。3.2 需要的自定义节点工作流中的蒙版分割、局部重绘等能力部分依赖自定义节点。建议提前通过 ComfyUI Manager 安装避免导入工作流时报“缺失节点”的错误。常用节点如下ComfyUI Manager节点管理工具用来搜索、安装、更新自定义节点。ComfyUI Impact Pack提供了多种图像修复增强节点尤其是脸部修复和蒙版细节处理。ComfyUI Segment Anything基于 SAM 的分割节点可以自动识别物体并生成蒙版。WAS Node Suite提供图像处理、遮罩操作、图像融合等常用辅助节点。这些节点安装后ComfyUI 需要重启并重新加载模型部分节点还需要额外下载模型文件到models/sam、models/inpaint等目录。3.3 模型文件放置路径ComfyUI 对模型目录有固定约定。把模型放进正确目录后工作流节点才能通过下拉列表找到它们ComfyUI/ models/ checkpoints/ # 主模型如 SD 1.5、SDXL 模型 vae/ # VAE 模型 loras/ # Lora 模型 sams/ # SAM 分割模型 controlnet/ # ControlNet 模型 upscale_models/ # 放大模型如 ESRGAN如果导入工作流后节点显示为红色或者模型下拉列表为空白优先检查这些目录是否有对应文件。4. 搭建免提示词破碎细节修复工作流4.1 工作流整体结构下面的工作流围绕一个核心目标加载 Midjourney 原图自动生成蒙版局部重绘输出修复图。节点连接顺序如下Load Image - Image to Mask / SAM 分割 - VAE Encode for Inpaint - KSampler - VAE Decode - 与原图融合 - 输出如果不需要自动分割也可以使用画笔蒙版节点手动画出要修复的区域。手动方式在修复单张图时更快自动方式适合批量处理。4.2 手动蒙版的最简工作流手动蒙版适合第一次验证流程是否可行。它的关键在于一个Image To Mask节点用来把上传图片时的涂鸦区域转换为蒙版。工作流节点组成如下Load Image (加载 midjourney 原图) - VAELoader (加载与主模型匹配的 VAE) - Image To Mask (生成蒙版) - VAE Encode for Inpaint (原图 蒙版 - 潜在空间) - CheckpointLoaderSimple (加载主模型) - CLIPTextEncode (空提示词) - KSampler (局部去噪采样) - VAE Decode (潜在空间 - 图像) - Save Image (保存修复结果)Image To Mask节点会自动识别上传图片时用画笔涂过的区域将其转换为黑白蒙版。白色区域是需要修复的位置黑色区域是保持不动的部分。4.3 自动分割蒙版工作流手动蒙版适合单图精修。如果要处理一批图片或者不想手动涂抹可以换成 SAM 分割节点。SEGM 类节点会接收SAMModelLoader加载的 SAM 模型以及SAMDetector传入的图像。它会自动检测图像中的物体边界并生成对应蒙版。以“修复人物手部”为例SAM 能分割出整个人物但如果想只选择手部区域还需要配合 GroundingDINO 的文本检测节点输入hand等关键词来锁定目标。这里仍然可以使用空提示词进行重绘因为底图中的手部周围有足够的上下文信息。分割节点的高级用法就是通过目标检测自动锁定特定对象并生成蒙版从而把“免提示词”的范围扩大到批量处理场景。4.4 关键节点参数详解不同节点的参数直接影响修复效果这里给出常用参数和调参方向节点参数常见值说明VAE Encode for Inpaintgrow_mask_by4 - 12蒙版膨胀像素数值越大重绘范围越宽太大会改变周围区域VAE Encode for Inpaintmask_blur8 - 16蒙版边缘羽化值越大过渡越自然KSamplersteps25 - 40采样步数越高质量越好但耗时更长KSamplercfg5 - 7越大越贴近条件但容易过曝KSamplerdenoise0.5 - 0.8重绘强度修复破碎细节建议从 0.6 开始SAMDetectorthreshold0.3 - 0.5目标检测置信度阈值越低检测越激进denoise是最值得花时间调的一个参数。太低时修复区域变化不够破碎细节仍然存在太高时会忽略周围像素约束重绘区域可能与原图风格割裂。建议从 0.6 开始测试看效果再上下调整。5. 工作流 JSON 示例与导入方式5.1 基础工作流 JSON 片段ComfyUI 的工作流以 JSON 格式保存导入后会在界面中显示节点和连线。下面是一个手动蒙版修复流程的核心 JSON 结构用于说明节点和参数对应关系。完整文件在不同 ComfyUI 版本之间会有微小差异但节点类型和参数名基本一致。{ last_node_id: 8, nodes: [ { id: 1, type: CheckpointLoaderSimple, inputs: { ckpt_name: realisticVision.safetensors } }, { id: 2, type: VAELoader, inputs: { vae_name: vae-ft-mse-840000-ema-pruned.ckpt } }, { id: 3, type: LoadImage, inputs: { image: midjourney_hand_issue.png } }, { id: 4, type: ImageToMask, inputs: { image: [3, 0], channel: red } }, { id: 5, type: VAEEncodeForInpaint, inputs: { grow_mask_by: 6, mask_blur: 12, pixels: [3, 0], vae: [2, 0], mask: [4, 0] } }, { id: 6, type: KSampler, inputs: { seed: 123456, steps: 30, cfg: 6, sampler_name: dpmpp_2m, scheduler: karras, denoise: 0.65, model: [1, 0], positive: [7, 0], negative: [8, 0], latent_image: [5, 0] } }, { id: 7, type: CLIPTextEncode, inputs: { text: , clip: [1, 1] } }, { id: 8, type: CLIPTextEncode, inputs: { text: worst quality, broken fingers, deformed, clip: [1, 1] } } ] }注意第 7 个节点CLIPTextEncode的text设置为空字符串这就是“免提示词”的具体实现。第 8 个节点可以写一些负向提示词帮助模型避开常见的破损效果。5.2 导入工作流的方式导入方式有两种直接把 JSON 文件拖入 ComfyUI 浏览器窗口。在界面中点击菜单中的“Load”选择 JSON 文件。导入后如果出现红色节点说明缺少对应自定义节点或模型文件。先处理缺包问题再执行工作流。6. 运行验证与结果对比6.1 执行前检查清单运行工作流前按顺序确认以下内容主模型路径是否正确能否在CheckpointLoaderSimple下拉框中找到。VAE 是否与主模型匹配不匹配时修复区域容易出现偏色。蒙版区域是否准确尤其是手动涂鸦时白色区域是否覆盖了破碎部位。KSampler 的denoise是否处于 0.5 到 0.8 之间。输出节点的保存路径是否有写入权限。6.2 正常输出与异常表现工作流执行完成后输出图片中原本破碎的手部区域会重新生成完整结构且背景和其他身体部位保持基本一致。可以通过对比表来判断修复效果观察点正常效果异常表现修复区域手指结构完整关节自然手指仍然弯曲异常非修复区域与输入图保持一致颜色、光照改变过渡区域边界柔和看不出明显拼接出现硬边或白边整体风格与原图一致修复区域风格差异明显如果发现非修复区域也发生变化优先检查是否误把整张图送入了采样器或者蒙版执行了反选。如果过渡区域生硬增大mask_blur数值。6.3 多图批量验证批量处理时可以先把一批 Midjourney 输出图放入输入目录用Load Image Batch类节点遍历图片并保存到输出目录。批量场景下不要每张图都手动调整蒙版建议优先使用 SAM 自动分割或固定蒙版位置。如果批量图片中破碎区域位置不固定可以先用 GroundingDINO 统一检测“手部、眼睛、面部”等目标区域如果区域固定比如全是人物面部特写可以直接复用同一个蒙版坐标。7. 常见报错与排查路径7.1 缺失自定义节点导入工作流时最常见的报错是请安装缺失的包以使用此工作流。 要安装缺失的节点请先在你的 python 环境中运行这个提示表示工作流中引用了当前环境没有安装的自定义节点。处理方式有两种打开 ComfyUI Manager进入节点安装页面在缺失节点列表中点击安装。手动进入ComfyUI/custom_nodes目录用git clone安装对应节点仓库重启 ComfyUI。cd ComfyUI/custom_nodes git clone https://github.com/example/ComfyUI-Impact-Pack.git cd ComfyUI-Impact-Pack pip install -r requirements.txt安装完成后需要在 ComfyUI 中点击“重启”或重新启动进程节点才会被加载。7.2 节点执行过程中发生错误常见错误报告结构如下节点在执行过程中发生错误。 # ComfyUI Error Report ## Error Details - Node: KSampler - Exception Type: RuntimeError这里Node字段会标出具体报错节点Exception Type标出异常类型。处理顺序如果错误信息中出现CUDA out of memory说明显存不足可以减小批次、降低分辨率或换更小的模型。如果出现FileNotFoundError是模型文件路径不正确到对应目录检查文件名。如果出现AttributeError通常是节点版本与 ComfyUI 主程序版本不兼容升级或回退节点版本。7.3 修复后区域变得模糊现象是修复区域没有明显破损但纹理变得很平缺少细节。原因通常是denoise值偏低或者采样步数不足。可以尝试提高steps到 35 以上并把denoise调整到 0.7 左右。如果仍然模糊可以接一个放大模型对输出图做二次增强。7.4 修复区域和原图颜色不一致现象是重绘部分的色调与周围明显不同。常见原因是 VAE 不匹配或者修复区域过大导致模型重新解释了光照方向。检查 VAE 是否与主模型匹配并将denoise调低到 0.6 以下让模型尽量参考周围像素的颜色信息。8. 最佳实践与扩展方向8.1 日常修复的最优顺序实际工作中建议按以下顺序做修复而不是一上来就跑整套工作流先在低分辨率下用 0.6 的denoise测试蒙版区域是否准确。确认蒙版没问题后再增大分辨率或接放大模型。保存多个denoise参数的工作流版本方便不同图片快速切换。对于特别复杂的破损区域可以分多次修复。第一次修复结构第二次修复纹理每次的denoise和蒙版范围都不同。8.2 生产环境需要注意的点如果要把这套流程用于正式项目还需要考虑以下几点配置外置化把模型路径、默认参数写入配置文件或工作流预设避免多人协作时参数不一致。日志记录记录每次修复的输入图、参数、随机种子方便定位哪次修复效果最好。异常处理工作流中加一个“错误输出”分支当某个节点失败时跳过当前图片并保存错误日志而不是中断整个批量任务。模型备份下载好的模型和节点要备份避免重新部署环境时找不到模型文件。8.3 扩展方向这套“免提示词修复”思路可以扩展到更多场景修复老照片中的面部破损。修复 AI 生成视频中某几帧的元素断裂。结合 ControlNet 保持姿势和构图对人物姿态做局部重绘。结合 Lora 对修复区域做风格统一。核心仍然是同一套原理利用蒙版限制扩散模型的采样范围让底图上下文代替提示词完成内容推断。对于新手先跑通手动蒙版的最简工作流再逐步加入 SAM 自动分割和批量处理是最稳妥的学习路径。把这套流程保存为模板之后遇到 Midjourney 破碎细节就只需要换图、确认蒙版、点执行不再需要反复折腾提示词。