简介面向管道缺陷检测任务的目标检测数据集共收录超过900张标注图片适用于工业安全检测、设备巡检等场景可支撑YOLO系列模型训练与研究。数据已统一处理为YOLO格式并附带数据增强、类别定义文件及可视化脚本便于快速开展模型训练、验证与效果评估。资源包为zip压缩包总计1893个文件以945张jpg图像与946个txt标签文件为主另有1个Python可视化脚本和1个png说明图整体大小32.47MB结构清晰、即下即用。训练集与验证集划分明确类别聚焦于defect缺陷适合学习目标检测标注规范、练习数据预处理及调参。目前已有1940人学习/下载受众覆盖计算机视觉初学者、工业检测算法工程师及高校研究者。借助这份数据集用户可直接获得规范化的YOLO训练数据、标签文件及可视化工具省去自行采集和标注的时间还可结合数据增强策略提升模型泛化能力为管道缺陷自动检测提供扎实的实践基础。1. 管道缺陷检测数据集是什么900 张图能训练但先要解决三件事管道 CTV 内窥巡检一天能拍出几千张管壁图像真正带高质量标注的却少得可怜。这套超过 900 张图片和标签的管道缺陷检测数据集放在通用目标检测里不算大但在缺陷检测这个细分方向它已经够你搭出一条能跑的基线关键是别一上来就训练。拿到手你大概率要面对三件事标注格式不统一、缺陷类别严重不平衡、管道图像里目标又小又暗。这篇文章就按这个顺序把格式转换、训练参数、切片思路和你最容易翻车的几个坑一次讲清楚。适合正在做工业视觉落地的算法工程师也适合用这类数据做课题验证的入门者。2. 先看懂管道缺陷数据集目录结构、标签格式与类别分布很多人拿到数据集第一反应是解压、建环境、跑训练结果跑完才发现标签路径是错的类别索引是乱的mAP 低到没法看。磨刀不误砍柴工我一般先花半小时把数据集的结构和分布摸清楚后面所有坑都会少一大半。2.1 拿到手先做三件事确认格式、数清图片、读标签管道缺陷数据集最常见的是 VOC 格式每张图配一个 XML和 YOLO 格式每张图配一个 txt也有少数按 COCO 的 JSON 组织。先别管训练脚本直接把目录结构打印出来看一遍from pathlib import Path data_root Path(pipe_defect_dataset) # 常见结构images/xxx.jpg labels/xxx.txt 或者 labels/xxx.xml imgs sorted((data_root / images).glob(*.jpg)) labels sorted((data_root / labels).glob(*.txt)) print(图片数量:, len(imgs)) print(标签数量:, len(labels)) missing [p.name for p in imgs if not (data_root / labels / p.with_suffix(.txt).name).exists()] print(缺标签的图片:, missing[:10])这段代码的作用是快速核对图片和标签是否一一对应。管道缺陷数据经常出现标签文件比图片少几张的情况可能是打包时的粗心也可能是有几张图确实没有缺陷所以没标这两种情况的处理方式完全不同缺标签的名单必须人工确认。标签格式也要确认。YOLO 格式每行是class x_center y_center width height值全部归一化到 0~1head -3 pipe_defect_dataset/labels/0001.txt如果看到一行是类似2 0.4512 0.7311 0.0822 0.0630说明是 YOLO 格式如果看到的是crack 340 210 560 480那多半是 VOC 或者自定义格式。管道缺陷数据集偶尔会把边界框写成绝对像素训练时 Loss 会直接爆掉因为换算 IoU 的前提是坐标范围一致。还有一点容易被忽略确认 XML 里标注的宽高和真实图片宽高是否一致。我碰到过标注文件里写 1920×1080实际图片是 1920×1200 的数据坐标全部偏移。最稳妥的做法是转换脚本里直接读图片的真实 shape而不是信 XML 里的 size 字段。2.2 类别分布画图识别类不平衡与未标注样本确认格式后立刻统计每个类别的框数量。管道缺陷的类别命名各家不统一有叫 crack 的有叫 fracture 的还有叫 leak 和 infiltration 的统计之前先把所有类别名拉出去重统一映射。下面这段代码统计 YOLO 格式的类别分布from collections import Counter from pathlib import Path label_dir Path(pipe_defect_dataset/labels) class_counter Counter() img_with_obj 0 total_imgs 0 for label_file in label_dir.glob(*.txt): total_imgs 1 lines [l.strip() for l in label_file.read_text().splitlines() if l.strip()] if not lines: continue img_with_obj 1 for line in lines: cls int(line.split()[0]) class_counter[cls] 1 print(有缺陷的图片数:, img_with_obj, /, total_imgs) print(类别索引分布:, sorted(class_counter.items())) print(空标签文件:, total_imgs - img_with_obj)这段代码统计每个类别出现的总框数以及有多少图片完全没有标注。空标注文件的比例如果超过 20%要特别警惕管道缺陷数据里纯背景图确实存在但占比过高大概率是漏标。一个简单的检查办法是把空标签文件对应的图片抽几张出来人工看如果肉眼明显能看到裂缝或者腐蚀说明这批标注质量有问题用这套数据训练的模型会把缺陷当背景学val 的 mAP 会一直上不去。类别分布的数字会直接影响训练策略。举个例子一套 900 张图的数据按缺陷类型看可能是这样的分布类别框数包含该类别的图片数备注裂缝1200520类别最充足腐蚀800380形态差异大变形300150中等样本量异物12080少数类渗漏4530极度稀疏需要特殊处理如果某个类别框数只有其他类别的十分之一直接训练出来的模型基本对弱势类别无感知。第 4 章会专门讲怎么处理这种情况。现在你只需要记住一个判断标准类别间框数差距超过 5 倍就要做数据层面的补偿而不是指望模型自己学出来。3. 从数据集到第一次训练VOC 转 YOLO、拆分脚本与 YOLOv8 最小命令管道缺陷检测现在的主流基线已经集中在 YOLO 系主要是因为标注目标和推理流程都很成熟。如果数据集是 VOC 格式第一步就是转成 YOLO 的 txt。这一章给你一个可以直接抄的转换脚本再配上按视频段拆分的训练集划分逻辑最后落到第一次训练命令。3.1 VOC 转 YOLO坐标归一化脚本与越界框清理VOC 的 XML 里目标框是xmin ymin xmax ymax绝对像素值YOLO 需要的是归一化后的中心点坐标和宽高。转换的关键不是公式而是类别索引的连续性和边界越界处理import xml.etree.ElementTree as ET from pathlib import Path import cv2 def voc_to_yolo(xml_path, img_path, out_label_path, class_map): # 以实际图片尺寸为准不要完全相信 XML 里的 size img cv2.imread(str(img_path)) if img is None: print(f图片读取失败跳过 {img_path.name}) return img_h, img_w img.shape[:2] tree ET.parse(xml_path) root tree.getroot() lines [] for obj in root.iter(object): name obj.find(name).text if name not in class_map: print(f未知类别 {name} 在 {xml_path.name} 中跳过) continue box obj.find(bndbox) xmin float(box.find(xmin).text) ymin float(box.find(ymin).text) xmax float(box.find(xmax).text) ymax float(box.find(ymax).text) # 越界保护标注框超出图像边界时裁剪到边界 xmin max(0, min(xmin, img_w)) xmax max(0, min(xmax, img_w)) ymin max(0, min(ymin, img_h)) ymax max(0, min(ymax, img_h)) if xmax - xmin 1 or ymax - ymin 1: print(f过滤非法框: {xml_path.name} {name}) continue x_center ((xmin xmax) / 2) / img_w y_center ((ymin ymax) / 2) / img_h w (xmax - xmin) / img_w h (ymax - ymin) / img_h lines.append(f{class_map[name]} {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}) Path(out_label_path).write_text(\n.join(lines))这里有两个细节值得单独强调。第一坐标保留 6 位小数管道缺陷里的裂缝和高瘦形框占很多5 位小数在 1920 宽的图上会产生约 2 像素的误差对长条目标的影响比想象中大。第二越界框不是简单 clip 就完事要单独打印出来因为大量的越界框往往说明标注阶段对截断目标的态度不一致这个在第 5 章会展开讲。class_map 定义时注意两点从 0 开始连续编号且必须把数据集里所有可能出现的目标名都放进去否则类别索引会串位。这个坑我见太多人踩过后面避坑章专门讲。3.2 train/val 拆分与 pipe.yaml避免同一管道的图跨集合训练集和验证集的划分不能随便随机切。管道 CCTV 内窥图是按视频帧采的同一个视频段里相邻帧背景高度相似缺陷几乎同一位置出现如果随机按图拆分同一段视频的画面会同时出现在训练集和验证集验证 mAP 虚高模型一换视频就崩。我一般按文件名里的前缀分组把属于同一段管道视频的图分到同一个集合里import random import shutil from pathlib import Path from collections import defaultdict imgs list(Path(pipe_defect_dataset/images).glob(*.jpg)) groups defaultdict(list) for p in imgs: # 假设文件命名方式为管段ID_帧号.jpg如 12_0035.jpg prefix p.name.split(_)[0] groups[prefix].append(p) all_groups list(groups.values()) random.seed(42) random.shuffle(all_groups) train_groups all_groups[: int(len(all_groups) * 0.8)] val_groups all_groups[int(len(all_groups) * 0.8):] out_train_img Path(split/train/images) out_train_lab Path(split/train/labels) out_val_img Path(split/val/images) out_val_lab Path(split/val/labels) for d in [out_train_img, out_train_lab, out_val_img, out_val_lab]: d.mkdir(parentsTrue, exist_okTrue) for group in train_groups: for p in group: shutil.copy(p, out_train_img / p.name) shutil.copy(p.with_suffix(.txt), out_train_lab / p.name.replace(.jpg, .txt)) for group in val_groups: for p in group: shutil.copy(p, out_val_img / p.name) shutil.copy(p.with_suffix(.txt), out_val_lab / p.name.replace(.jpg, .txt))这段拆分逻辑的核心思想是将相关性高的样本视为一个整体来切分。如果文件名没有管段前缀可以退一步按采集时间排序后每隔 N 帧取一组效果类似。随机 split 不是不能跑而是在管道数据这种帧间高度相关的场景下会让你的验证结果失去参考价值这个玄学其实有明确的统计学原因。拆分完成后写一份pipe.yaml# pipe.yaml path: /data/pipe_defect_dataset train: split/train/images val: split/val/images nc: 5 names: 0: crack 1: corrosion 2: deformation 3: obstruction 4: infiltrationtrain和val路径指向拆分出的文件夹根目录即可训练脚本会自动去找同级目录下的labels文件夹。nc必须和 class_map 里的类别数一致。3.3 第一轮训练命令与盯盘指标mAP、混淆矩阵与置信度分布用 YOLOv8 系列训练最小命令长这样yolo detect train \ datapipe.yaml \ modelyolov8n.pt \ epochs200 \ imgsz640 \ batch16 \ patience30 \ projectpipe_runs \ namebase逐个参数说。modelyolov8n.pt是轻量级的 nano 版本900 张图的数据量撑不起大模型的训练先拿 nano 跑基线最合适如果显存允许再换yolov8s.pt对比。imgsz640是默认值但管道内窥原图经常是 1920×1080 甚至更长条的比例直接缩到 640 会让本来就小的缺陷变得更小第一轮先跑通后面再用切片或者提升 imgsz 来找补。patience30表示 30 个 epoch 验证集指标不涨就提前停省时间。跑完之后别急着看参数调参先盯三个输出。第一个是results.png重点看 mAP50 曲线和 loss 曲线的形态loss 反复震荡然后冲到很高通常是数据里有脏标签mAP50 一直低位徘徊不涨先检查类别映射是不是错了。第二个是confusion_matrix.png管道缺陷数据最常见的现象是大量真实缺陷被预测成 background说明漏标严重。第三个是验证集预测图把图放大看小目标有没有响应。我见过很多人第一轮训完只看 mAP 数字就开调结果调了几天发现训练集里混了故意标错的框。第一轮的全部意义是建立基线并暴露数据问题不是追求分数。4. 管道缺陷的类不平衡与小目标切片、采样与增强的正确用法900 张图里缺陷类别分布不均小目标又多直接调模型结构不如先把数据策略做对。这一章讲完你应该能自己判断是该做过采样、切片还是关掉 Mosaic。4.1 类别不平衡先算账少数类决定你用什么损失策略训练前先回到第 2 章的统计表把每个类别的框数除以最大类别的框数得到一个比例。以我上面给的分布为例裂缝 1200 框渗漏 45 框相差快 27 倍任何模型在这种分布下都会偏向多数类。处理方式不复杂常见做法是直接对少数类图片做复制过采样。把包含渗漏框的图片在训练目录里复制若干份文件名加后缀保证模型每个 epoch 里少数类被看到更多次。代码上基本就是import shutil from pathlib import Path train_img Path(split/train/images) train_lab Path(split/train/labels) # 假设 infiltration 类别索引为 4 target_class 4 labels list(train_lab.glob(*.txt)) for label_file in labels: content label_file.read_text() if any(line.split()[0] str(target_class) for line in content.splitlines()): for i in range(3): # 复制 3 份 suffix f_copy{i} new_img train_img / (label_file.stem suffix .jpg) new_lab train_lab / (label_file.stem suffix .txt) src_img train_img / label_file.with_suffix(.jpg).name shutil.copy(src_img, new_img) shutil.copy(label_file, new_lab)过采样是最直观的方案但注意不要无脑复制太多一个少数类图片复制 5 份以上就容易过拟合到那几十张图上。另一个常见做法是通过数据增强给少数类图加旋转、亮度扰动来扩充数量效果比单纯复制好。YOLO 训练本身没有方便的类别权重参数在数据层做补偿是最可控的路径。4.2 小目标缺陷用切片而不是硬 resize切图尺寸与重叠率怎么定管道缺陷里的裂缝和渗漏很多时候在 1920×1080 原图里只占几十个像素直接 resize 到 640×640目标缩成几个像素点模型几乎不可能学到有效特征。切片tiling是更可靠的方案把原图切成 640×640 的小块训练和推理都用同样的方式处理。切图脚本的核心是滑窗加重叠率import cv2 from pathlib import Path def slice_with_labels(img_path, label_path, out_dir, tile640, overlap0.15): img cv2.imread(str(img_path)) H, W img.shape[:2] step int(tile * (1 - overlap)) boxes [] for line in Path(label_path).read_text().strip().splitlines(): cls, cx, cy, w, h map(float, line.split()) x1 (cx - w / 2) * W y1 (cy - h / 2) * H x2 (cx w / 2) * W y2 (cy h / 2) * H boxes.append((int(cls), x1, y1, x2, y2)) tile_id 0 for y0 in range(0, max(H - tile 1, 1), step): for x0 in range(0, max(W - tile 1, 1), step): tile_img img[y0:y0 tile, x0:x0 tile] new_boxes [] for cls, x1, y1, x2, y2 in boxes: # 只保留与当前 tile 有交集的框并转换坐标 nx1, ny1 max(x1 - x0, 0), max(y1 - y0, 0) nx2, ny2 min(x2 - x0, tile), min(y2 - y0, tile) if nx2 nx1 or ny2 ny1: continue # 如果框只在 tile 内露了个边角面积占比太低就丢弃 area_ratio ((nx2 - nx1) * (ny2 - ny1)) / ((x2 - x1) * (y2 - y1)) if area_ratio 0.3: continue new_boxes.append((cls, nx1, ny1, nx2, ny2)) if not new_boxes: continue # 无目标的 tile 直接丢弃或按比例保留做负样本 ... tile_id 1切片时的重叠率一般设在 10%~20%。重叠太少跨 tile 的目标会被切烂重叠太高同一个缺陷在多个 tile 里重复出现训练成本翻倍验证时还容易把同一个目标重复计数。如果某张图本身很大又只有一两个缺陷切完可能会有超过一半的纯背景 tile这类 tile 建议丢弃否则训练时大量无目标图会把模型往什么都不检测的方向拉。推理阶段也要走同样的切片流程把多个 tile 的检测结果合并后做 NMS这一步不能省。4.3 增强不是越狠越好Mosaic、旋转、HSV 在管道内壁的取舍YOLO 自带的数据增强不是每项都适合管道图。我最常调整的是三个参数mosaic、degrees和hsv_*。Mosaic 增强会把 4 张图拼成一张再缩放小目标会被进一步缩小。管道缺陷很多本身只有十几个像素Mosaic 一过直接消失。我一般会把mosaic降到 0.1 或直接关掉换来的稳定性比花哨的增强更值。旋转增强对管道内壁反而很适合缺陷在环向管壁上的出现方向随机给degrees15甚至更大角度都不会损伤语义。HSV 增强里亮度扰动对比度扰动很有用因为管道内壁光照不均但色相增强要控制得很小很多管道图是低饱和甚至接近灰度色相乱偏会让模型学到假的颜色特征。一个我常用的增强参数组合是yolo detect train \ datapipe.yaml \ modelyolov8n.pt \ imgsz640 \ mosaic0.1 \ degrees15 \ hsv_h0.01 \ hsv_s0.3 \ hsv_v0.3注意这些参数是传给训练流程的增强开关不是凭空发明。训练时看增强后的样本图如果发现增强图里缺陷完全看不清参数就是调过头了及时收回来比继续加大更明智。5. 管道缺陷数据集常见问题排查四条踩坑记录带标注的数据集真正花时间的往往不是训练而是数据处理。这几条坑在管道缺陷这类数据上出现频率最高每一条我都见过不止一次。按现象、原因、解决的格式写清楚你遇到时可以直接对照。5.1 类别索引串位训练正常但推理时类别全错现象Loss 正常下降mAP 看起来也在涨但把模型拿去做推理所有裂缝都被识别成腐蚀或者全部预测成第 0 类。原因VOC 转 YOLO 时 class_map 的顺序和 XML 里 class 名出现顺序不一致。比如 XML 里既有crack又有fracture这两个名字表示同一类缺陷你在跑统计时没发现fracture映射表里漏了它后面的类别索引整体往前错一位。训练过程完全感知不到这种错位因为类别索引只是整数模型只知道把某个类学出来。解决转换之前先把整个数据集所有标签里的类别名拉出去重打印一遍确认没有漏网别名再定义 class_map。顺手在转换脚本里加一段断言转换完成后统计输出标签的类别索引应该和期望的 class_map 完全一致names set() for xml in xml_files: for obj in ET.parse(xml).iter(object): names.add(obj.find(name).text) print(全量类别名:, sorted(names))5.2 边缘截断目标漏标mAP 卡在低位徘徊现象训练过程没有明显报错但验证集 mAP50 一直卡在 0.3 左右上不去把验证集预测图画出来发现管壁边缘位置几乎全是漏检。原因管道内窥图中缺陷经常从画面边缘进入标注员习惯只标完整出现在画面中的目标在边缘处截断一半的目标就跳过了。模型学习的是一堆完整缺陷的样本遇到边缘截断的缺陷自然识别不出来。更隐蔽的是这些截断缺陷并没有标签模型在对应位置输出预测反而会被当作误报惩罚掉导致它学会边缘位置不检测。解决最直接的办法是补标把边缘截断的框也补上。如果时间不允许至少把包含边缘截断目标的图片单独挑出来从训练集挪到验证集保证评估是诚实的。否则你只能在边缘位置放宽置信度阈值误报率会跟着上升属于无奈的折中方案。5.3 resize 拉伸导致细长裂缝误检用切片替代直接缩放现象训练用 imgsz640loss 收敛正常但推理时画面里横着的白线、反光条都被识别成裂缝误报一堆。原因原始管道图的长宽比被直接拉伸到 640×640细长形的裂缝被压成只有 1~2 个像素宽的细线模型的形状先验彻底混乱。反光条在拉伸后也变成和裂缝类似的几何形态模型无法区分。解决尽量保留原始长宽比。如果不做切片就把imgsz提到 1280 同时调低 batch让模型看到的目标保留更多像素。更稳妥的是按第 4 章的切片方案把图切成正方形 tile 再训练。注意 YOLO 默认用 letterbox 保持比例但如果你自己写了数据加载流程一定要确认 resize 是等比缩放加 padding而不是粗暴拉伸。5.4 灰度图混入训练集验证集指标断崖式下跌现象训练时 Loss 看起来正常但验证集某些批次 mAP 突然暴跌单独推理某张图时输出全黑或全部置信度接近 0。原因数据集里夹杂着少量灰度 JPEG读取后是单通道而模型输入的预期是三通道。灰度图在部分库中会以单通道进入网络和预训练权重的通道分布不匹配输出特征直接崩掉。灰度图和彩色图在管道数据里经常混着出现因为不同管段的摄像设备不同。解决数据入口统一转成三通道。在数据加载或转换脚本里加一道检查import cv2 from pathlib import Path imgs list(Path(split/train/images).glob(*.jpg)) gray_imgs [] for p in imgs: img cv2.imread(str(p), cv2.IMREAD_UNCHANGED) if img is None: continue if len(img.shape) 2: gray_imgs.append(p.name) rgb cv2.cvtColor(img, cv2.COLOR_GRAY2BGR) cv2.imwrite(str(p), rgb) print(灰度图数量:, len(gray_imgs), gray_imgs[:10])灰度图转三通道是通过复制灰度值实现的不会丢失几何信息。关键是这个检查必须在转换阶段做掉如果已经训练到一半才发现清洗数据后得重新训浪费的时间远比写这段检查多得多。6. 用验证集选阈值、导出 ONNX 做批量推理把 900 张图的价值落地模型训练完最后一个环节是把输出变成能直接指导检修的结论而不是把一堆 detection 框丢给现场。选阈值不要盯着默认的 0.25。调整置信度阈值能完全改变缺陷检测的可用性阈值太低误报多现场设备动不动报警阈值太高漏报多缺陷错过就得返工。我一般用验证集扫一遍 F1-Confidence 曲线选 F1 最高的点作为默认阈值。如果数据里缺陷类别很少可以把少数类的阈值单独压低 0.1 左右换取召回这个取舍比全局统一更好。导出 ONNX 后做批量推理是一个轻量化的落地路径yolo export modelpipe_runs/base/weights/best.pt formatonnx imgsz640导出的 ONNX 可以直接用 onnxruntime 加载批量跑一段视频的所有帧import onnxruntime as ort import cv2 import numpy as np sess ort.InferenceSession(best.onnx) input_name sess.get_inputs()[0].name img cv2.imread(frame_0012.jpg) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 注意这里简化为直接 resize正式使用请用 letterbox 保持比例 resized cv2.resize(img, (640, 640)).astype(np.float32) / 255.0 output sess.run(None, {input_name: resized[None].transpose(0, 3, 1, 2)})[0]输出 shape 一般是(1, 4类别数, 8400)遍历候选框用置信度过滤后按管道缺陷分级我给现场验收的习惯做法是置信度区间判定处理动作≥ 0.7确认缺陷直接标记安排检修0.4 ~ 0.7疑似缺陷截图提示人工复核 0.4暂不显示不进入结果清单做批量推理时始终记住一个教训训练时的预处理必须和推理时完全一致letterbox、归一化、通道顺序任何一个对不上模型精度都会掉得一塌糊涂。我现在会把阈值写进配置文件而不是推理代码里换阈值时不用重新标代码。希望你也能从这套 900 张图的数据集里把第一条可用的检测链路跑通少走我走过的弯路希望帮到你。本文还有配套的精品资源点击获取