简介这是一份面向图像修复任务的开源深度学习项目主要解决老照片划痕、污渍、破损以及图像噪声污染等实际质量退化问题也可用于替换图像中的小区域瑕疵。项目基于PyTorch生态包含完整训练、测试与可视化流程适合高校学生、算法工程师作为课程设计、毕业设计或科研入门的参考。压缩包内共64个文件核心是42个Python脚本覆盖网络结构定义、数据加载器、训练循环、评估指标等模块另附带12张测试图片和2张JPG样例少量C/CUDA扩展源码、头文件以及项目说明文档整体包体仅2.15MB结构清晰且易于快速启动。目前已有593人浏览学习资源经过多轮测试功能稳定可直接运行。学习者还可以在此基础上改造损失函数、替换生成器结构或迁移到去噪、去马赛克等相近任务中具备较高的扩展价值适合作为深度学习图像处理方向的综合实践项目。1. 深度学习图像修复不只是“补个洞”而是让模型学会“理解缺失”图像修复Image Inpainting在计算机视觉里是个老问题遮住照片的一部分让算法把被遮住的区域补回来。十年前的主流做法是基于扩散或者PatchMatch的纹理合成效果看上去了不得但遇到大面积缺失、语义复杂的场景比如人脸、街道、建筑结构补出来的往往是模糊色块或者奇怪的重影。深度学习改变了这个局面——把修复任务从“复制周围像素”变成“先理解整张图的内容再生成最合理的填补结果”。你输入一张带孔的图和对应区域的掩码模型不是拼贴纹理而是根据语义分布、结构走向甚至光照方向去“重画”那块内容。这正是现在影视修复、老照片复原、目标遮挡移除、自动驾驶标注数据增强背后通用的技术底座。这篇文章会顺着“数据怎么准备、模型怎么选、损失怎么配、坑在哪”这条线把一套常见的基于深度学习的图像修复算法从零到能跑通讲清楚。2. 从PatchMatch到Partial Convolution旧方法为何没被淘汰新方法强在哪2.1 传统方法的瓶颈在哪里图像修复不是深度学习发明之后才有的需求。在深度学习普及之前最经典的有两类一类是基于偏微分方程的扩散方法比如Telea算法它从破损区域边缘逐步向内扩散颜色和纹理特点是实现简单、在小而平滑的破损区效果好但一旦破损区域大或者背景纹理复杂扩散出来的就是一片“水渍”状的模糊。另一类是基于PatchMatch的纹理合成方法核心思想是在图像未破损区域里搜索与被修补区域周围最相似的图像块然后按匹配度复制过来这类方法对大纹理区域的填补非常自然但致命弱点是搜索只基于低层特征缺少语义理解——你要它补一只眼睛它可能给你补块类似斑纹的皮肤或者一块眉毛。这两类方法的共同本质问题是它们都没有“理解”整张图像的上下文。修复动作完全依赖局部像素和局部统计信息没有高层语义参与所以只能处理“像素级”缺失处理不了“语义级”缺失。深度学习模型的进步恰恰在这里——卷积层天然具有局部感知能力叠加很多层之后能不断扩大感受野而生成对抗网络GAN的引入让模型不再只学习“怎么补”而是学习“补出来要看起来真实”。2.2 深度学习方法如何突破从CNN到GAN再到Transformer深度图像修复的主流框架经历了三代演进。最早的一代是使用普通卷积的自动编码器输入带孔的图输出完整图用L2损失训练。这能补出个大概轮廓但空洞区域有强烈的模糊伪影而且普通卷积有个致命缺陷它对有效像素和无效像素一视同仁掩码区域的像素也会参与卷积计算导致结果里残留“洞的痕迹”。针对这个问题NVIDIA在2018年提出了Partial Convolution部分卷积思路是卷积计算时只对有效像素做加权同时维护一个掩码更新机制让有效区域在每一层逐渐扩张最终修复区域也能参与后续计算。这个设计成了当时的主流方案。第二代引入GAN和注意力机制。代表性思路是DeepFillv2提出的Gated Convolution门控卷积在卷积输出上加了动态特征门控让模型自己决定每个位置哪些通道信息该保留、哪些该丢弃相比Partial Convolution更加灵活。同时在解码器里加入上下文注意力模块从已知区域中寻找相似特征块去替换或增强生成的特征以便处理大面积的、有纹理重复的区域——比如补天空里的云、地面上的草地非常依赖这类机制。第三代的主线回到了“大感受野”的竞争。以LaMa为代表的一类方法用Fast Fourier Convolution快速傅里叶卷积来做主干网络让每一层都具备全局感受野大幅提升修复结构的准确性解决“柱子补歪了、墙线对接不上”这类全局结构问题。另外一类是以MAT为代表的Transformer路线用Transformer直接建模已知区域和未知区域之间的长程依赖。实际工程里LaMa这类方案在大多数场景下收敛更快、实现更简单是比Transformer更省心的默认选择。2.3 架构选型参考不是越新越好要看你的场景模型思路代表方向优势劣势适用场景Partial ConvolutionNVIDIA 2018实现简单、对掩码边界友好大空洞能力一般小面积修补、入门实验Gated Conv AttentionDeepFillv2 系列纹理补全能力强训练较慢、参数多带重复纹理的自然图像Fourier 卷积LaMa 系列全局结构准确、推理快对不规则大洞仍需强训练数据通用场景、稳定生产优选TransformerMAT 系列长程语义强显存开销大、训练难度大大面积语义缺失、人脸补全实际做项目时如果目标是快速验证可行性我一般直接从LaMa的配置开始训练稳定、坑少效果下限高如果是要补人脸、补特定小目标再考虑加强Transformer或GAN部分。3. 数据集与掩码生成模型百分之八十的效果由这里决定3.1 用公开数据集还是自建数据集图像修复训练需要成对的“原始图”和“输入图”。训练时把完整图作为监督目标然后随机抠掉一块区域作为输入。所以数据准备的核心是两条有没有足够高质量的真实图像以及生成掩码的方式符不符合你的实际应用场景。常见做法是先考虑公开数据集打底。ImageNet作为预训练基础数据足够丰富Places2是图像修复论文里最常用的场景数据集包含室内、街道、山脉等大量场景类别类别覆盖广适合做通用模型人脸方向用CelebA-HQ医学方向要自己找特定模态的数据。如果你的目标场景是街景、遥感或者工业检测直接去搜对应领域的数据集通常会更快。MNIST和CIFAR这类小数据集只适合做调试和跑通流程不适合做最终训练因为修复是一个重结构重纹理的任务分辨率太低会把分辨率相关的伪影全丢掉。需要注意的边界公开数据集和你的场景差异越大效果越差。比如用Places2训练的模型去修工程图纸几乎必定翻车。正确的做法是“公开集预训练私有集微调”。私有数据不需要非常多几千张高质量图复现场景就足够微调了。预处理也不复杂——统一尺寸、去噪、必要时做直方图均衡避免极端光照。3.2 掩码的三种策略对应三种真实需求图像修复领域专门有一个名词叫“掩码生成策略”。掩码是一张和原图同尺寸的二值图值为1表示该区域被遮挡需要修复值为0表示已知区域。不同任务需要不同的掩码形态。第一种是中心矩形掩码。最早期的论文用的都是这种直接抠一个矩形放在中心或者随机位置。好处是简单、可控坏处是太理想化实际场景几乎没有正好矩形的破损。它现在更适合做算法调试而不是训练。第二种是不规则掩码。这类掩码模拟真实划痕、污渍、遮挡物的轮廓形状不规则有细长条状、块状等。NVIDIA发布过一个不规则掩码数据集里面是各种随机绘制的折线、多边形、圆环组合是训练时最常用的掩码来源。如果你没有现成掩码数据最常见的生成方式是随机画一堆不同粗细的折线和多边形叠加在一起再二值化。第三种是模拟真实物体遮挡的掩码——在图像上随机粘贴目标检测数据集中分割出来的物体轮廓掩码比如COCO数据集里的分割标注。这类掩码最适合做“去物体”任务比如把照片里的路人抹掉并补全背景。实际项目中这类掩码往往是外包业务最需要的形态。3.3 PyTorch数据管线的完整实现下面是修复任务里一个典型的PyTorch数据管线。这个代码片段做了四件事从文件系统加载图片和掩码、统一尺寸、归一化、构造模型的输入带洞图。import glob import cv2 import random import numpy as np import torch from torch.utils.data import Dataset class InpaintingDataset(Dataset): def __init__(self, image_dir, mask_dirNone, size512, random_maskTrue, mask_prob0.8): # 如果mask_dir为空则在训练时动态生成不规则掩码 self.images sorted(glob.glob(f{image_dir}/*.jpg)) self.masks sorted(glob.glob(f{mask_dir}/*.png)) if mask_dir else None self.size size self.random_mask random_mask self.mask_prob mask_prob def load_mask(self): # 策略1: 从外部掩码文件采样 if self.masks is not None: mask cv2.imread(random.choice(self.masks), cv2.IMREAD_GRAYSCALE) mask cv2.resize(mask, (self.size, self.size)) _, mask cv2.threshold(mask, 127, 255, cv2.THRESH_BINARY) else: # 策略2: 动态生成不规则多边形掩码模拟划痕/遮挡 mask np.zeros((self.size, self.size), np.uint8) num_objects random.randint(1, 5) for _ in range(num_objects): pts [] for _ in range(random.randint(3, 8)): pts.append([random.randint(0, self.size), random.randint(0, self.size)]) pts np.array(pts, dtypenp.int32) cv2.fillPoly(mask, [pts], 255) return mask.astype(np.float32) / 255.0 # 1代表修补区 def __getitem__(self, idx): img_path self.images[idx] img cv2.imread(img_path) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img cv2.resize(img, (self.size, self.size)) if random.random() self.mask_prob: mask self.load_mask() else: mask np.zeros((self.size, self.size), np.float32) # 全为已知区 img img.astype(np.float32) / 127.5 - 1.0 # 归一化到 [-1, 1] img_tensor torch.from_numpy(img).permute(2, 0, 1) mask_tensor torch.from_numpy(mask).unsqueeze(0) masked_img img_tensor * (1 - mask_tensor) # 洞内置为0 return {masked: masked_img, mask: mask_tensor, gt: img_tensor} def __len__(self): return len(self.images)关键逻辑说明mask_prob0.8的意思是训练时百分之八十的样本带掩码、百分之二十保持完整图这样模型不会完全依赖掩码对无掩码输入也能稳定输出原图。输入构造那里用的是img * (1 - mask)即掩码区清零。这里需要注意掩码区清零后卷积层会把“0”当做有效数值参与计算这就是为什么后续模型层里需要Partial Convolution或Gated Convolution来做掩码感知。如果主干是Transformer则清零之后还要给模型一个可学习的掩码embedding。mask文件是uint8的PNG读取后需要二值化避免因为JPEG压缩产生的边缘灰度值影响后续计算。4. 损失函数、训练循环与评估指标把“像不像”变成可优化的数字4.1 三个主角损失像素、感知、对抗训练一个修复模型靠单一损失是不够的。像素级L2损失会让输出倾向于“平均多种补全结果”导致边缘模糊感知损失能让纹理更接近真实但会让颜色偏移对抗损失会让细节更锐利又容易训练不稳。成熟方案里通常组合四类损失其中三个是主角。损失计算方式权重参考区间作用L1/Hole-L1只计算掩码区域的L1距离1 ~ 10稳定训练、控制颜色和结构主体感知损失用VGG16的中间层特征计算L10.1 ~ 1约束语义特征对齐消除模糊感对抗损失判别器对修复图/真实图打分0.001 ~ 0.1提升局部纹理真实度让结果更锐利风格损失可选计算VGG特征的Gram矩阵差异0.1 ~ 1修复区域纹理风格和周围一致感知损失细节一般取VGG16中relu1_2、relu2_2、relu3_2、relu4_2四个层的特征做加权权重依次降低强语义层权重小、细节层权重大。实现时掩码区域的损失权重再乘2~3让模型更关注洞内的细节。对抗损失要用判别器接在解码器后面对整张修复图和原始真实图分别打分做对抗训练。这里最需要注意的坑是判别器训练太强会导致生成器梯度爆炸或模式崩溃所以对抗损失的权重普遍压得很低并且判别器学习率通常是生成器的0.1倍。4.2 训练循环核心实现下面是修复模型训练循环的核心代码片段重点展示损失是如何组合在一起的。import torch import torch.nn.functional as F from torchvision import models # 使用VGG16前四层作为感知网络固定权重 vgg models.vgg16(pretrainedTrue).features[:23].eval().cuda() for p in vgg.parameters(): p.requires_grad False def perceptual_loss(pred, gt, mask, weights[1/32, 1/16, 1/8, 1/4]): # 计算VGG特征并加权求L1只统计掩码区域 loss 0.0 x, y pred, gt for idx, layer in enumerate(vgg.children()): x, y layer(x), layer(y) if idx in [3, 8, 15, 22]: # relu1_2, relu2_2, relu3_2, relu4_2 # 下采样掩码以匹配特征尺寸 m F.interpolate(mask, sizex.shape[2:], modenearest) loss weights[idx // 5] * F.l1_loss(x[m 0], y[m 0]) return loss # 训练循环核心片段 for batch in dataloader: masked batch[masked].cuda() mask batch[mask].cuda() gt batch[gt].cuda() pred generator(masked, mask) # 模型输出完整图 # 掩码区域像素损失权重改为10 hole mask.expand_as(pred) 0.5 loss_l1 10.0 * F.l1_loss(pred[hole], gt[hole]) # 全图感知损失调用上面函数 loss_perc perceptual_loss(pred, gt, mask) # 对抗损失判别器输出越接近1越真实 fake_score discriminator(pred) loss_adv F.binary_cross_entropy_with_logits( fake_score, torch.ones_like(fake_score)) loss loss_l1 loss_perc 0.01 * loss_adv optimizer.zero_grad() loss.backward() optimizer.step()参数调整建议L1损失的权重最大因为它在训练前期能让模型快速从“乱涂”变成“大概对”稳定整体训练方向。如果发现修复边缘有明显的接缝痕迹把感知损失权重提高到0.5以上同时把L1权重降一点。对抗损失的权重不要一次性加到0.01以上。常见做法是前1万步设为0只训练像素和感知损失等结构稳定了再逐步加上去。否则前期梯度方向混乱很难收敛。4.3 评估指标不能只看PSNR质量评估是图像修复项目里最容易自嗨的环节。PSNR和SSIM是传统指标但都有明显局限。PSNR在整体亮度偏离时会剧烈下降而修复任务里轻微的颜色偏移远比结构错误的影响小SSIM对模糊不敏感一个糊掉的补丁往往还能拿到较高的SSIM分数。客观反映修复质量的组合是PSNR、SSIM、LPIPS和FID。LPIPS用深度网络特征差异衡量感知相似度与人眼判断相关度更高是在线实验最值得看的指标FID衡量修复图整体分布与真实图分布的距离对大面积结构问题敏感。发布结果时这四个数字一起报别人就能基本判断你的模型能力。训练时每500步在验证集上计算一次PSNR和LPIPS还要顺手保存几组对比图肉眼观察比数字更重要。模型的val loss在平坦区域下降很快边缘区域需要更多轮次如果 val LPIPS开始反弹而PSNR还在小幅上涨那基本就是过拟合了早停即可。4.4 训练中高频踩坑记录崩溃表现是输出全黑或全灰。原因通常是判别器太强导致生成器梯度消失把对抗损失权重降到0.001以下或者前2万步干脆不开启判别器。修复区域和周围色彩断层这是因为L1权重太低或者特征层权重配比不对把感知损失里relu3_2的权重提高即可。结构总是“歪”的比如直线补不直。这种现象说明模型感受野不够要换用Fourier卷积类的全局感受野模块而不是继续堆普通卷积层。显存不足建议非同寻常大的掩码时训练里把掩码区域限制在整图的30%以内并通过torch.utils.checkpoint做激活值重计算用20%的耗时换取近一半显存降低。5. 推理部署与模型压缩让修复算法跑进真实环境5.1 从训练态到推理态别忽略这几步变形训练时输入是归一化到[-1, 1]的、掩码区域清零的图推理时也必须严格复现同样处理步骤。最容易出的错误是外部调用的图片读取模块用了PIL.Image.open然后直接转numpy送进模型忘记除127.5减1这步输出就会整体偏灰、对比度异常。推理时的标准流程是读图、转RGB、resize、归一化、乘以(1-mask)、模型推理、反归一化、和后景图做alpha融合。这段流程建议封装成独立函数而不是写在业务代码里否则模型升级时会牵连一堆调用方。5.2 推理部署的三个优化技巧第一步是明确输出尺寸策略。很多深度学习模型对输入分辨率有严格限制而真实图片分辨率往往不是模型的训练尺寸。总的原则是不使用随机resize到固定尺寸而是把短边resize到模型可接受的范围比如512或1024长边随之缩放如果长边仍然超限就分成若干重叠块推理块之间重叠16~32个像素拼合时用线性权重融合重叠区避免出现“井字形”接缝。第二是模型导出与推理加速。PyTorch模型导出ONNX时有一个专门针对掩码输入的坑——掩码是0/1浮点张量很多高速推理引擎会因为Resize层对输入shape的要求严格而报错所以导出时要固定输入shape或者单独处理动态维度。如果追求极速建议TensorRT导出并打开FP16推理。LaMa的Fourier卷积在ONNX导出时需要把复数计算手工拆成实部和虚部的组合否则会有兼容性问题。第三有个高频好用的技巧掩码外扩融合。模型修复后修复区域边缘常常有一两像素宽的色差。常用做法是对掩码做cv2.dilate外扩3像素在外扩带上用高斯权重把修复图和原图做alpha混合就能自然过渡边界。实现如下import cv2 import numpy as np mask (mask * 255).astype(np.uint8) mask_d cv2.dilate(mask, np.ones((7, 7), np.uint8), iterations1) alpha cv2.GaussianBlur(mask_d.astype(np.float32), (0, 0), 3) / 255.0 alpha alpha[..., None] result (inpainted * alpha original * (1 - alpha)).astype(np.uint8)这段代码的思路是在掩码区域完全用修复图在边界的过渡区域让修复图和原图按高斯权重线性融合。视觉上能大幅消除AI修补和原始像素之间的“贴片感”属于投入产出比极高的收尾技巧。至于项目里需要跟随模型一起交出去的文档说明一份合格的README至少要包含数据集目录组织、掩码格式规定、训练命令参数表和模型输入输出规范这四块内容外加上文里的评估命令和环境依赖清单这样别人拿到手才能完整复现你的结果。本文还有配套的精品资源点击获取