1. 三线交汇到底在讲什么第一次看到“Composition, Inpainting, and Customization”这三个词摆在一起我的反应是这不就是图像生成领域里三条最常被单独讨论、却极少被放在同一套工作流里打通的技术路线吗。Composition 管的是“怎么把画面元素摆对位置、摆出层次”Inpainting 管的是“怎么把画面里缺的、坏的、不想要的部分补上或换掉”Customization 管的是“怎么让生成结果带上我指定的主体、风格或身份特征”。单独拎出任何一条市面上都有大量资料但真正做项目的人会发现用户从来不会只提一个需求。举个很典型的场景某设计团队要给一个虚拟角色做一套宣传图。他们手里有一张角色半身参考图想要一张“角色站在雨夜街头、手里拿着一把透明伞、背景有霓虹灯反射”的完整画面。这个需求里Composition 负责构图——人物在画面中的比例、视线方向、伞与身体的空间关系Inpainting 负责把参考图里没有的雨夜街景、伞面反光、地面水渍补出来Customization 则要保证生成出来的脸和服装细节跟原角色一致不能换个人。三条线缺一条结果就是“构图对了但脸不像”“脸像了但背景假”“背景真了但人物位置别扭”。所以这个标题的核心价值不是三个独立技术的并列而是它们在同一条生成管线里的交汇点。交汇点处理得好产出就是可交付的商业级图像处理不好就是三张各自看着还行、拼在一起就露馅的废图。这篇文章我会按实际项目落地的顺序把这三条线怎么拆、怎么接、怎么调参、怎么排查问题一层层讲清楚。适合已经用过基础生成工具、想往“可控生成”方向深入的人也适合刚接触这个概念、想先建立全局认知的读者。2. 三条技术线的核心逻辑与选型考量2.1 Composition 的本质是空间关系建模很多人把 Composition 理解成“构图好看”这太窄了。在生成管线里Composition 真正要做的是把抽象的空间关系转成模型能理解的约束条件。比如“人物在左三分之一处、视线朝右、伞柄与地面呈四十五度角”这些不是审美描述而是可量化的位置、角度、遮挡关系。我试过几种主流的 Composition 控制方式各有适用边界。第一种是纯文本提示词描述位置比如“人物位于画面左侧右侧留出街景空间”。这种方式最轻量但模型对空间词的理解很不稳定同一个提示词跑十次人物位置能飘出三种结果。第二种是借助姿态或深度图做条件控制把参考图里的骨架或深度信息提取出来作为生成时的空间锚点。这种方式稳定性明显提升但需要额外准备条件图前期处理成本高。第三种是区域化生成把画布切成几个区域每个区域单独给提示词最后再融合。这种方式控制力最强但区域接缝处容易出现风格断裂。选型时我的判断逻辑是如果只是要一个“大概对”的构图文本提示词加多次采样就够了如果是要复现某个特定构图深度图或姿态图是更稳的选择如果是商业项目要求像素级位置准确那就得上区域化生成加后期融合。没有哪种方式绝对更好关键看你对位置误差的容忍度。2.2 Inpainting 的核心是掩码质量与上下文一致性Inpainting 看起来简单——画个圈让模型补上。但实际做下来决定成败的往往不是模型本身而是掩码mask的质量。掩码边缘太硬补出来的区域和周围会有明显接缝掩码范围太大模型缺少足够的上下文参考补出来的内容容易跑偏掩码范围太小又会出现反复修补都修不干净的情况。我踩过的一个坑是用矩形掩码去补一个不规则形状的缺失区域结果模型把矩形范围内的原有内容也一起重绘了导致本来没问题的部分被改坏。后来改成沿缺失区域边缘做羽化处理羽化宽度控制在八到十五像素之间接缝问题明显改善。这个数值不是固定的取决于图像分辨率和缺失区域的大小分辨率越高羽化宽度可以适当加大。另一个关键点是上下文一致性。Inpainting 不是孤立地补一块而是要让补出来的内容和周围的光照、色调、纹理走向保持一致。实际操作中我会先把掩码区域周围的图像裁出来作为参考在提示词里明确描述周围环境的特征比如“左侧是暖色路灯、右侧是冷色霓虹、地面有湿润反光”这样模型补出来的内容更容易融入整体。2.3 Customization 的难点在身份保持与风格解耦Customization 是三条线里最容易被低估的。很多人以为给几张参考图就能让模型记住一个主体但实际做下来身份保持和风格控制经常互相干扰。你给模型看了角色的脸它可能把参考图里的背景风格也一起带进来你强调要某种画风它又可能把角色的面部特征改掉。目前常见的 Customization 路线有两类。一类是基于文本反转的方法用少量参考图训练一个代表该主体的特殊标记生成时把这个标记写进提示词。这种方式身份保持效果好但每个主体都要单独训练时间成本高而且训练出来的标记有时会污染其他提示词的效果。另一类是基于适配器的轻量微调在生成模型上挂一个小型网络用参考图调整它的输出倾向。这种方式训练快、切换灵活但身份保持的精度略逊于文本反转。我的经验是如果项目里主体数量少、对身份精度要求极高走文本反转如果主体多、需要快速切换、精度要求可以放宽走适配器微调。两者也可以结合先用适配器做快速原型确认方向后再用文本反转做精修。3. 三线交汇的实操管线搭建3.1 从需求拆解到管线设计拿到一个具体需求后我不会直接打开生成工具就开始跑图而是先做一轮拆解。拆解的核心问题是这个需求里Composition、Inpainting、Customization 各自占多大比重哪条线是主导哪条线是辅助。比如“给现有角色换一个背景”这个需求Customization 是主导——必须保证角色身份不变Inpainting 是主要操作手段——把原背景抹掉补新背景Composition 是辅助约束——新背景的透视关系要和角色匹配。再比如“把一张草图的构图变成完整插画”Composition 是主导Inpainting 和 Customization 都是辅助。拆解完之后管线的顺序也很关键。我通常采用的顺序是先做 Customization 的主体注入再做 Composition 的空间约束最后做 Inpainting 的局部修补。这个顺序的理由是主体特征一旦确定后续的构图和修补都可以围绕它来调整如果先做构图再做主体注入主体注入时可能会破坏已经摆好的空间关系。3.2 主体注入阶段的关键操作主体注入阶段我一般会准备三到五张参考图覆盖主体的不同角度和光照条件。参考图不是越多越好太多反而会让模型抓不住重点。三到五张是一个比较稳的区间既能提供足够的特征信息又不会造成过拟合。参考图的预处理也很重要。我会把参考图统一裁剪到主体占据画面主要位置去掉无关背景分辨率统一到模型推荐的范围。如果参考图之间光照差异太大我会先做一轮色调对齐避免模型学到一个“变色”的主体。训练或微调时学习率是一个需要重点关注的参数。学习率太高模型会过度拟合参考图的细节生成时稍微换个角度就不像了学习率太低主体特征注入不充分生成结果和参考图差距明显。我的经验值是适配器微调的学习率控制在万分之一到万分之五之间文本反转的学习率控制在千分之一到千分之五之间具体还要根据参考图数量和模型基础能力微调。3.3 空间约束阶段的条件图准备空间约束阶段条件图的质量直接决定构图的可控程度。如果用的是深度图我会先用深度估计工具从参考图或草图里提取深度信息然后检查深度图的边缘是否清晰、远近关系是否合理。深度图里如果出现大面积模糊或深度反转生成结果的空间关系就会混乱。如果用的是姿态图关键点是关节点的准确性。手腕、脚踝、颈部这些关节位置如果偏了几像素生成出来的人物姿态就会明显别扭。我通常会在提取姿态后手动检查一遍关节点偏差大的手动修正。条件图的权重也需要调。权重太高生成结果会僵硬地复刻条件图失去自然感权重太低条件图形同虚设。我的起步权重是零点六到零点八之间然后根据生成结果微调。如果发现人物姿态太僵就降权重如果发现姿态完全没跟上就升权重。3.4 局部修补阶段的掩码策略局部修补阶段掩码的绘制方式我分三种情况处理。第一种是规则区域修补比如换背景、换天空这种用大块掩码加边缘羽化就行。第二种是不规则物体移除比如去掉画面里的某个杂物这种需要沿物体轮廓精细绘制掩码羽化宽度控制在五到十像素。第三种是细节修复比如修手指、修眼睛这种掩码要非常小只覆盖问题区域羽化宽度控制在两到三像素。修补时的提示词也有讲究。我不会只写“补一个背景”而是会描述背景的具体内容、光照方向、色调倾向。比如“补一个黄昏时分的城市天际线暖橙色光照从左侧射入远处有轻微雾霾感”。描述越具体补出来的内容越可控。还有一个技巧是分多次修补。一次性补一大块区域模型容易顾此失彼。我会把大区域拆成几个小区域每次只补一块补完检查一遍再补下一块。虽然操作步骤多了但最终质量明显更稳。4. 常见问题与排查技巧实录4.1 主体不像或身份漂移这是 Customization 阶段最常见的问题。表现是生成结果乍看还行但细看五官、发型、服装细节和参考图对不上。排查思路分三层。第一层检查参考图质量如果参考图本身模糊、角度单一、光照极端模型学到的特征就不完整。第二层检查训练参数学习率过高会导致过拟合学习率过低会导致欠拟合需要根据损失曲线判断。第三层检查提示词如果提示词里写了太多风格词可能会压制主体特征适当减少风格描述、增加主体描述的比重。我遇到过一次比较隐蔽的情况参考图里角色戴了帽子训练后模型把“帽子”当成了主体特征的一部分生成时不戴帽子的场景也会强行加帽子。解决办法是在参考图里补充几张不戴帽子的图或者在提示词里明确排除帽子。4.2 构图偏移或空间关系错乱Composition 阶段的问题通常表现为人物位置偏移、前后遮挡关系错误、透视不统一。排查时先看条件图如果条件图本身就有问题生成结果不可能对。再看条件图权重权重太低会导致约束失效。最后看提示词里的空间描述是否和条件图冲突比如条件图显示人物在左侧提示词却写了“人物位于画面右侧”模型会陷入矛盾结果随机。一个实用的排查方法是固定随机种子只改变一个变量观察生成结果的变化。比如固定条件图和提示词只调权重跑五组不同权重的结果对比。这样能快速定位是哪个参数在起作用。4.3 修补区域接缝明显Inpainting 的接缝问题根源通常在掩码边缘和上下文一致性。掩码边缘太硬补出来的区域和周围会有明显分界线。解决办法是加大羽化宽度让掩码边缘有一个渐变过渡。上下文不一致表现为补出来的区域色调、光照、纹理和周围不搭。解决办法是在提示词里详细描述周围环境或者在修补前先把周围区域裁出来做参考。还有一种接缝是语义层面的比如补出来的物体和周围物体的透视关系不对。这种问题靠调掩码和提示词很难完全解决需要在修补后做一轮整体微调把修补区域和周围区域一起放进模型里做低强度的重绘让它们自然融合。4.4 三线交汇时的相互干扰三条线同时作用时最容易出现的问题是相互干扰。比如 Customization 的主体注入影响了 Inpainting 的修补效果补出来的背景带上了主体的风格特征或者 Composition 的条件图约束太强导致 Inpainting 补出来的内容僵硬不自然。我的处理原则是分阶段锁定变量。主体注入完成后先固定主体相关的参数再做构图约束构图约束完成后再固定构图参数做局部修补。每个阶段只调当前阶段的参数不跨阶段调参。如果发现跨阶段干扰严重就回到上一阶段重新调整而不是在当前阶段硬修。下面这张表是我整理的高频问题速查表方便快速定位。问题表现可能原因排查方向处理建议主体五官不像参考图质量差或训练不足检查参考图清晰度与角度覆盖补充多角度参考图调整学习率主体风格被背景带偏参考图背景未清理检查参考图背景占比裁剪参考图去除无关背景人物位置偏移条件图权重过低检查条件图与权重设置提高权重至零点七以上姿态僵硬条件图权重过高检查姿态图关节点降低权重手动修正关节点修补区域接缝明显掩码羽化不足检查掩码边缘过渡加大羽化宽度至十像素以上修补内容色调不搭上下文描述不足检查提示词环境描述补充光照、色调、纹理描述三线相互干扰参数跨阶段影响检查各阶段参数锁定情况分阶段锁定变量逐段调参4.5 实操心得与避坑清单做了这么多轮项目我总结了几条不太会在常规文档里看到的经验。第一条不要追求一次跑出完美结果。三线交汇的管线本身就复杂一次成功的概率很低合理的方式是快速跑出草稿然后针对问题区域逐轮迭代。第二条保存每一轮的参数和中间结果。很多时候你会发现上一轮某个参数组合其实更好如果没有记录就得重新试。第三条掩码和条件图的手工修正往往比调参更有效。模型再强也替代不了人对空间关系和细节的判断。还有一条关于工具选择的经验不要迷信某一个工具能解决所有问题。Composition、Inpainting、Customization 三条线里不同工具各有强弱。我的做法是每条线选一个主力工具再配一个备选工具主力工具搞不定的场景切备选。这样既保证了效率又保留了灵活性。5. 影响范围与延展思考三线交汇这套思路影响的不只是单张图像的生成质量。从更大的范围看它改变的是整个图像生产流程的分工方式。以前做一张商业图可能是设计师从头画到尾或者摄影师拍完再修。现在这套管线把工作拆成了主体管理、空间设计、局部修补三个可独立操作的环节每个环节都可以由不同角色负责也可以并行推进。对个人创作者来说这意味着你不需要样样精通可以在某一条线上深耕。比如你擅长构图就可以专门做空间约束和条件图准备你擅长细节修补就可以专门做 Inpainting 的精修环节。三条线的交汇点反而成了协作的接口。从技术演进的角度看这三条线的边界也在逐渐模糊。有些新工具已经开始把主体注入和空间约束整合到一个步骤里有些工具把修补和重绘的界限做得越来越淡。但不管工具怎么变底层的逻辑是不变的你要清楚地知道当前这一步在解决什么问题是主体身份、空间关系还是局部内容然后选择对应的手段。工具会过时这套拆解问题的思路不会。最后分享一个我最近在试的延展方向把三线交汇的思路用到视频生成上。视频比图像多了时间维度Composition 要考虑运动轨迹Inpainting 要考虑帧间一致性Customization 要考虑主体在不同帧里的稳定性。难度上了一个台阶但拆解逻辑是一样的。如果你已经把图像这条管线跑通了往视频方向延展是一个很自然的下一步。