做宠物行为分析这两年我越来越觉得“猫情绪检测”是个被严重低估的坑。狗子的情绪写在尾巴和舌头上一眼就能看出来猫不一样它们天生就擅长把情绪藏起来耳朵微转、瞳孔缩放、尾巴尖轻抖每一处细节都在说话但人眼经常漏掉。所以当我想用YOLO做一套猫情绪检测方案时第一件事不是调模型而是先解决一个更基础的问题数据集从哪来、怎么标、标成什么样才能让模型真正学会“读懂猫”。这篇就完整复盘我这套3200张猫情绪检测数据集的构建与训练过程从标签类别设计、数据采集、YOLO格式标注、训练参数调优到踩坑排查全链路拆开讲。适合正在做宠物AI、智能喂食器、猫咪行为分析相关项目的朋友参考也适合刚入门YOLO、想搞一套自己的检测数据集的小白照着抄作业。1. 项目整体设计与数据集构成1.1 为什么猫情绪检测比想象中难很多人一开始会以为猫情绪检测就是个普通的图像分类或者目标检测任务拿个开源数据集一把梭就完事了。实际做下来才发现猫情绪检测难在三个地方情绪表达隐蔽、个体差异巨大、场景干扰严重。先说服你第一点。狗开心会摇尾巴、耳朵向后贴这些信号跨个体高度一致猫不一样一只猫害怕时耳朵会变成“飞机耳”并向两侧压平另一只猫可能只是瞳孔骤缩、身体压低不熟悉猫行为学的人根本看不出来。即便是同一只猫不同情绪状态下的表现也可能只有几毫米的姿态差异。这意味着如果标注者不懂猫的行为语言标出来的标签本身就有噪音模型再强也学不到东西。第二点是个体差异。短毛猫和长毛猫的耳朵形态不同折耳猫的耳朵天然贴头无法用“飞机耳”作为畏惧信号胖猫和瘦猫的身体比例不同同样的蹲伏姿势在不同体型上的像素分布完全不同。所以数据集必须覆盖多种品种和体型的猫不能只拍一只猫的几百个角度。第三点场景干扰就更常见了。猫不会乖乖待在固定位置等你拍它们会躲在沙发底下、窗帘后面会背光、逆光会有玩具遮挡、有另一只猫抢镜。3200张图听起来不少但要覆盖这些真实场景实际上分配下来每类每场景的样本都挺紧张。所以我整个项目的设计原则是数据采集阶段尽量做广度标注阶段做精度训练阶段用迁移学习和增强来补深度。1.2 3200张数据集的类别与划分方案我在设计类别时没有直接用“高兴”“难过”这类过于主观的标签而是结合猫行为学里公认的可观测特征选了5个状态类别类别ID类别名称可观测特征0relaxed放松眼睛半闭、瞳孔正常、身体舒展、尾巴缓慢摆动1alert警觉耳朵竖起朝前、瞳孔放大、身体紧绷、注视某处2fearful害怕飞机耳、身体压低、瞳孔扩大、试图躲藏3aggressive攻击耳朵后压、瞳孔收缩呈竖线、呲牙伸爪、弓背炸毛4sleeping睡眠闭眼、身体蜷缩或侧躺、无警觉反应这里有个关键设计考量我把“sleeping”单独拎出来而不是并入“relaxed”是因为睡眠状态在姿态上虽然接近放松但闭眼特征在前向推理时是强信号合并会导致模型在区分“闭眼放松”和“睁眼放松”时产生大量边界误判。类似的alert和fearful在早期版本里合并过但测试下来mAP掉了快7个百分点才意识到这两个状态虽然都是“紧张”但对应用户场景截然不同——警觉是好奇的表现害怕是需要介入的信号混在一起会让整个系统的行为逻辑出错。划分方案上我按约80/10/10的比例分成训练集2560张、验证集320张、测试集320张。这里特别提一句划分时一定要按“猫个体”而不是“按图片”来分。如果同一只猫的几十张图同时出现在训练集和测试集里模型其实是在“认猫”而不是“认情绪”测试指标会虚高换一只新猫就原形毕露。我见过不少项目在公开数据集上mAP刷到90%落地就崩多半就是这个原因。1.3 数据采集的三种途径与质量筛选数据来源我分了三路各有优劣自己拍摄约900张这是质量最高的一路。我找了三只性格差异明显的猫一只胆小、一只活泼、一只高冷分别在白天、傍晚、夜间灯光下拍覆盖了正脸、侧脸、俯拍、仰拍等角度。拍摄时用零食和逗猫棒制造警觉和兴奋状态用吹风机远程吹风制造害怕状态效果比单纯蹲守自然状态好得多。需要提醒的是自己拍摄时容易陷入“同一场景连拍”的陷阱100张连续帧里构图几乎一样这些图喂进去只会让模型对背景过拟合。我处理的办法是每隔5帧取1帧先从源头降低相似度。视频抽帧约1500张从各类猫咪纪录片和第一视角猫视频中截取。纪录片的好处是光线均匀、构图讲究缺点是猫种相对单一生活类视频的好处是场景真实缺点是有大量模糊帧和对焦失败的帧。抽帧后用一段脚本批量筛选清晰度再人工快速过一遍把明显虚焦和猫占比过小的图淘汰掉。开源图库与网友授权图约800张网络上寻找有明确授权协议的猫图片这路主要用来补品种多样性比如把折耳猫、无毛猫、布偶猫这些本地不好找的品种补进去。全部素材合成约3200张后我做了一次去重和筛选。去重用的是感知哈希找出一批几乎相同的图片直接删掉筛选的标准定得很具体猫主体占画面比例低于15%的不要、多猫同框且难以区分主体的不要、分辨率低于640的不要、表情特征被遮挡超过30%的不要。这套标准执行下来最终留下的图虽然比原素材少了接近四分之一但训练出来的模型明显更“干净”。2. YOLO标注格式与数据质量控制2.1 YOLO标签格式逐字段拆解YOLO的目标检测标签是每个图像对应一个同名的txt文件每行一个目标格式是五个数字类别ID 中心点X 中心点Y 宽度W 高度H例如一行2 0.453 0.382 0.220 0.315含义是该目标属于类别ID为2我自己定义里的fearful边界框的中心点位于图片宽度的45.3%、高度的38.2%处框的宽度是图片宽度的22.0%高度是图片高度的31.5%。这四个坐标全部是归一化到0到1之间的小数与图片的实际像素尺寸无关所以YOLO格式天然支持不同分辨率图片混用训练。这里有个新手容易翻车的点给LabelImg这类工具标注时标注出来的是像素坐标左上角x、左上角y、框宽、框高而YOLO需要的是归一化中心坐标必须要做一次换算。换算公式很简单cx (x_center_pixel) / image_width cy (y_center_pixel) / image_height w_norm bbox_width / image_width h_norm bbox_height / image_height如果用的标注工具不原生支持YOLO格式建议写个几行的转换脚本统一跑一遍别手动算3200张图手动算下去一定会出错。我用的是X-AnyLabeling它可以直接导出YOLO格式省去了这步换算工作但对这格式背后的原理还是建议每个做训练的人都吃透。2.2 标注框的边界怎么定才合理标注框怎么画直接决定模型学到什么。我在这个项目里定了一条硬规矩边界框必须完整包围猫的整个身体包括头、耳朵、尾巴根部但不包括超出身体轮廓的胡须尖端。这样定有三个理由第一猫的情绪表达是全身体语言不只是脸。害怕时身体压低攻击时弓背炸毛这些姿态变化都体现在躯干上如果只框头部模型根本拿不到这些关键特征。第二框住全身可以天然兼容不同拍摄距离近距离能看清耳朵细节远距离能看到体态模型学到的特征层次更丰富。第三检测框作为目标检测任务的输出后续如果要接一个“裁剪后分类”的串联方案全身框裁剪出来的区域信息量远大于脸框。另一个容易纠结的点是被遮挡的猫怎么框。我的处理原则是遮挡面积小于30%的仍然按全身框但只框可见部分不要脑补被挡住的区域遮挡面积在30%到50%之间的降级只框主体可辨部分并单独做一次人工复核超过50%的直接弃掉这张图。与其让模型在残缺框上学到错误特征不如一开始就把脏数据挡在门外。2.3 标注质量的双人复核机制粗糙标完一批数据后千万别急着开训练前面坑挖得再深这一关偷懒等于前功尽弃。我用的是“双人独立复核差异仲裁”的流程标注完成后同一批图片换另一个人重新看一遍不看之前的标注结果独立标一次。然后跑对比脚本计算两个人标注框的IoU。IoU大于0.7的视为一致小于0.5的视为异常落在0.5到0.7之间的做二次人工确认。类别标签不一致的也全部拉出来重新判定。这套机制的实际效果很说明问题单人标注时我自认为质量很高结果双人复核后发现大约6%的图片类别标签存在争议主要集中在alert和fearful这两个相邻状态上。后来我针对争议样本重新研究了猫的行为表现把标注规范细化成更具体的动作描述比如“耳朵向两侧展开压平且瞳孔扩大的判为fearful耳朵竖起且身体前倾的判为alert”争议比例才降到2%以下。一套清晰可执行的标注规范远比工具选什么更重要。3. 基于YOLOv8的模型训练实操3.1 目录结构与配置文件数据准备好了先把目录结构搭对。YOLO官方约定的数据集目录是这样cat_emotion/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ │ ├── val/ │ └── test/ └── cat_emotion.yaml图片放images里同名txt标签放labels里txt文件名要和图片文件名完全一致连扩展名都要对应比如img_001.jpg对应img_001.txt。文件名不一致是新手最常见的报错来源之一YOLO训练时会静默跳过找不到标签的图片导致训练集实际比预期小很多而不自知。cat_emotion.yaml的关键内容如下path: C:/datasets/cat_emotion train: images/train val: images/val test: images/test names: 0: relaxed 1: alert 2: fearful 3: aggressive 4: sleeping这里注意两点。第一path建议写绝对路径相对路径在切换工作目录时容易出幺蛾子。第二names里的类别顺序必须和标签txt里的类别ID严格对应这是死规定顺序错了模型训练出来就是一堆乱码式的预测结果。3.2 训练参数的选择逻辑基于3200张的中小规模数据集我最终选用的模型和参数是yolo detect train datacat_emotion.yaml modelyolov8n.pt \ epochs120 imgsz640 batch16 optimizerSGD lr00.01 \ augmentTrue mosaic0.8 flipud0.1逐条说下为什么这么选。模型选了yolov8nnano版而不是更大的s或m原因很简单3200张数据撑不起大模型的参数量强行用大模型只会加速过拟合而且后续部署到边缘设备时nano版的优势非常明显。训练轮数设120轮是因为中小数据集上模型通常在第80到100轮才收敛平稳设少了看不到完整趋势设多了纯浪费算力。imgsz输入分辨率选了640这是精度与速度之间的平衡点猫的耳朵、瞳孔这些细节在640分辨率下还能保留再降到416就会损失大量情绪特征精度会掉得很明显。优化器选了SGD而不是默认的AdamW对于小数据集SGD配合合适的学习率往往能收敛到更好的局部最优点。学习率设了0.01这是YOLOv8预训练权重做迁移学习的常用动量直接套上去基本不会翻车。数据增强这边mosaic设为0.8即80%的样本使用四图拼接增强flipud上下翻转设成0.1。这里特别说明为什么上下翻转只开0.1猫的俯拍、仰拍确实会出现在真实场景里但多数日常拍摄是平视视角上下翻转增强太多会让模型学到“倒立猫”这种现实里几乎不存在的特征反而干扰正常识别。3.3 迁移学习与冻结策略3200张图从头训练肯定不行必须用预训练权重做迁移学习。我用的就是官方在COCO上训好的yolov8n.pt它已经具备通用的目标检测特征提取能力我要做的只是让它在猫情绪这个专项任务上微调。这里有个可以给新手参考的策略前10轮冻结backbone只训练检测头。具体做法是先加载权重但关闭backbone层的梯度更新跑10轮让检测头先适应新的类别结构然后解冻全部层再训练到120轮。这么做的理由是预训练backbone提取的底层特征边缘、纹理已经足够好贸然一开始就全量更新反而可能破坏这些稳定的特征尤其在数据量不大的情况下风险更明显。总训练时长上我用一张RTX 4060跑完全程大约花了3个多小时相比从头训练动辄十几个小时这个成本完全能接受。训练过程中要盯三个关键指标box_loss框回归损失、cls_loss分类损失、mAP50IoU大于0.5时的平均精度。box_loss和cls_loss整体应该持续下降并趋于平稳mAP50稳步上升。3.4 超参数微调的经验值第一轮训完各项指标还没有完全达到我的预期于是做了一轮针对性微调。这里说一个我反复验证过的经验小数据集上优先动mosaic和scale这两个增强参数而不是急着动学习率。我把mosaic从0.8降到了0.5目的是减少过强拼接带来的虚假上下文让模型多看到“完整猫”而不是“四分之一猫”。同时把增强里的scale上下限收窄到0.5到1.5避免过于夸张的缩放让猫的形态失真。这轮调整的效果在验证集上很直观mAP50从87.2%提升到89.6%mAP50-95从68.4%提升到71.8%。别看只有两三个点的涨幅对于一个5分类、部署在边缘设备上的情绪识别场景这个提升已经能把不少“模糊案例”从错误分类推到正确分类上了。4. 模型评估、问题排查与部署实录4.1 混淆矩阵暴露的核心问题训练结束后我重点看的是混淆矩阵而不是只盯mAP。混淆矩阵能把模型的具体错误模式摊开在面前比单一指标有用得多。我这套模型的混淆矩阵反映出两个规律性错误第一个是relaxed和sleeping之间的混淆。分析后发现一部分侧躺放松的猫眼睛呈半闭状态和睡眠状态的视觉特征非常接近。这个问题的根源不是模型不够强而是我在标注规范里没把“半闭眼”和“全闭眼”的区别写清楚。后来我重新过了一遍这两类的争议图片把半闭眼明确归到relaxed、占比超过60%的眼睑闭合才归到sleeping重新标注并微调后这两类的混淆大幅减少。第二个是alert和fearful的边界样本依然存在误判。特别是“警惕地看着某个方向但身体没有明显压低”的猫在特征上横跨两个类别。这个问题的处理思路比较务实——我选择在业务逻辑层兜底当检测结果在alert和fearful之间分数接近置信度差值小于0.15时系统直接判定为“需人工确认”而不是强行二选一。模型不是万能的承认边界样本的存在设计一个优雅的兜底策略是真实落地时更成熟的做法。4.2 训练与推理中的典型问题速查我把整个过程中遇到的高频问题整理成了一张表给后来者当排查手册用现象可能原因解决方案训练loss不降标签文件和图片文件名不匹配检查同名校验脚本统计有效训练图数mAP高但实际检测差按图片切分数据集导致跨个体泄漏按猫个体切分训练/验证/测试集某类别的precision极低类别样本数太少针对性补充该类别数据或使用类别权重检测框抖动明显框包含了太多背景收紧标注框确保紧贴猫身体轮廓部署后速度不达标输入分辨率过高或模型过大尝试imgsz416或改用nano版本个别图片完全检测不到严重遮挡或猫占比过小过滤此类图片或增加该类场景的训练样本这些坑我一个一个都踩过尤其“按图片切分”这个问题是我在第一版模型测试指标虚高之后才醒悟的。提醒所有做自定义数据集的人切分维度一定要以“目标个体”为单位而不是以“图像文件”为单位。4.3 模型导出与轻量部署实测训练完成后我把模型导出成ONNX格式用于实际部署。导出命令很简单yolo export modelbest.pt formatonnx imgsz640ONNX格式的好处是部署灵活可以转到NVIDIA的TensorRT、Intel的OpenVINO也可以直接在CPU上用ONNX Runtime跑。我在两套环境下都做了实测一套是带RTX 3060的机器用TensorRT加速后推理延迟在8到12毫秒之间另一套是纯CPU环境单张640分辨率的图在3到5毫秒内能出结果即便如此用在智能猫砂盆、喂食器的实时分析上也完全没问题。推理侧的完整流程里我最看重的反而不是检测本身而是检测后的置信度过滤策略。实战经验是阈值不要一刀切。我的做法是对sleeping这类姿态稳定的类别用0.45的置信度阈值对aggressive和fearful这种业务上“宁可错杀不可漏报”的类别把阈值降到0.3宁可通过误报触发一次提示也不要漏掉一次真正的攻击或恐惧信号。这种按类别差异化设定阈值的思路同样适用于很多其他检测场景。4.4 一个被很多人忽略的细节场景迁移模型在测试集上表现很好不等于换一个完全不同的场景还好用。我把模型接到新环境的实时视频流时发现测试集里没出现过的那种“夜晚红外补光”画面下检测准确率明显下滑relaxed频繁被误判成sleeping。这个现象的根源是域偏移——红外图像缺乏彩色纹理信息模型学到的很多颜色特征派不上用场。解决思路不是重新标注3200张红外图而是用已训练模型对红外视频帧做半自动标注人工修正用这个方式快速补充约200张红外域数据再对模型做一轮轻量微调。最终红外场景下的准确率恢复到和正常光线接近的水平。做宠物行为检测这类跨场景应用时一定要预留出“场景适配”的预算而不是指望一个模型通吃所有环境。最后一个实操层面的小技巧训练过程中我习惯每20轮把当前的验证集预测结果可视化导出一次找几张典型的正确和错误案例人工看一眼。指标会骗人但可视化预测不会。很多隐含问题比如“所有检测框都偏大”“背景里的猫形物体被误检”都是靠这项笨功夫发现的。数据科学的底线始终是肉眼看过、亲手把玩过的样本比任何指标都可靠。