简介这套源码实现了一个基于深度学习的高精度人脸表情识别系统面向需要做人脸表情分析、情感交互研究或AI视觉应用开发的学生与工程师可覆盖数据预处理、模型训练、测试评估到实时摄像头识别与GUI交互的完整链路。包内共57个文件约26.1MB核心是17个Python脚本覆盖模型构建、训练、实时识别、摄像头调用与GUI界面另有17张PNG图片用于表情样本、图标及训练过程可视化8张JPG测试图片2个TensorFlow Lite模型以及Shell部署脚本、字体文件和说明文档结构清晰便于按模块查阅。当前已有318人学习。除常规CNN模型外还提供LBP、Gabor、BlazeFace等特征与检测方案可对比不同方法在表情分类上的表现源码附带示例图片、测试数据与环境配置要求能够帮助读者理解训练流程、模型导出与端侧部署适合作为课程设计、毕业设计或表情识别项目的参考实现。1. 高精度人脸表情识别系统源码从课程作业到可复现项目之间的那块拼图很多人学完吴恩达的深度学习课或者跟着动手深度学习把 MNIST、CIFAR 之类的示例敲了一遍一回头发现自己还是拿不下一张真实的人脸图片。人脸表情识别就是这类真实任务中最典型的试金石要处理灰度图、要做标签映射、要选 backbone、要调学习率、还要写脚本把训练和推理串起来任何一步掉链子系统就跑不通。这套基于深度学习的高精度人脸表情识别系统设计源码解决的就是这个断层——从数据集预处理到七类表情分类模型再到 Python 训练推理脚本和 Shell 一键启动整条链路是完整的。适合正在做人脸识别课设或毕设的学生也适合想把这套骨架迁移到其他图像分类任务的工程师。2. 系统结构与模型选型这套源码每个文件管什么打开这份源码之前最好先理解它为什么这么组织。人脸表情识别本质上是一个图像分类问题输入是单张人脸灰度图输出是 7 个表情类别之一。既然是分类问题工程上就可以拆成数据层、模型层、训练层、推理层四块。这份源码把这四块对应到了 data、models、utils 三个目录再加上 train.py、predict.py、evaluate.py 和 run.sh结构非常直白没有那种把一百个函数塞进一个 main.py 的写法。2.1 数据与标签七类表情映射表是关键中的关键表情识别最常用的公开基准是 FER2013 风格的 48×48 灰度人脸图标签一共 7 类。很多人拿到的图片文件名是数字编号如果不懂这张映射表训练和推理时的标签顺序对不上模型学得再好也是白搭。这套源码里内置的表情类别映射是indexlabel中文含义0angry愤怒1disgust厌恶2fear恐惧3happy开心4sad悲伤5surprise惊讶6neutral中性这张表在训练脚本、评估脚本、推理脚本里必须保持一致。我见过不止一次有人训练时用 alphabetical 排序、推理时用下载数据集自带的 index最后预测结果整体错位准确率看起来还有 85%其实全靠样本分布撑着。所以拿到这份源码第一步不是跑训练而是先检查三个脚本里的 labels 列表是否一致。预处理这块源码里统一走 utils/preprocess.py不建议自己另写一套读图逻辑原因在第五章会细说。核心函数长这样# utils/preprocess.py import cv2 import numpy as np LABELS [angry, disgust, fear, happy, sad, surprise, neutral] def load_gray_face(img_path, target_size(48, 48)): # OpenCV 读图默认是 BGR这里直接以灰度模式读取 img cv2.imread(img_path, cv2.IMREAD_GRAYSCALE) if img is None: raise ValueError(ffailed to read image: {img_path}) # 缩放时用 INTER_AREA对缩小场景下的人脸保留更多纹理 img cv2.resize(img, target_size, interpolationcv2.INTER_AREA) # 归一化到 0~1避免直接除以 127.5 后变成 -1~1 的分布 img img.astype(np.float32) / 255.0 return img这里有两个参数值得注意。第一个是 target_size默认 48×48对齐数据集基准如果后续要改成 64×64 或其他尺寸需要同步修改网络输入层否则会报尺寸不匹配。第二个是归一化方式除以 255 得到 0~1 区间这是最保守的做法如果你想在 ImageNet 预训练权重上做 finetune就得换成 mean0.5、std0.5 的标准化。这套源码的默认策略是 0~1 归一化配合从零训练效果稳定。2.2 backbone 选什么ResNet18 是稳妥起点MobileNetV3 留给部署模型选型直接决定训练时间和最终精度这不是玄学是可以量化对比的。这套源码默认用 ResNet18理由有三个参数量适中在 48×48 这种小分辨率输入上不会过早过拟合结构简单源码里给出的是去掉了默认全连接层、替换成 7 分类头的简化版训练稳定性好不像某些轻量网络对学习率特别敏感。如果你打算把模型部署到边缘设备比如树莓派或者 Jetson Nano 上做实时识别那 MobileNetV3-Small 会更合理。替换方式是在 models 目录下新增一个 mobilenet.py然后把 train.py 里的 --backbone 参数从 resnet18 改成 mobilenetv3。源码预留了这个参数位你不用改训练逻辑。模型参数量分级训练速度推理速度适用场景ResNet18小较快中等默认选择课设毕设首选ResNet50中慢较慢数据量大时尝试MobileNetV3-Small极小快快边缘设备、实时推理在这个项目场景下我一般会建议先跑通 ResNet18 全流程确认精度和速度都能接受再考虑换轻量模型。一上来就换网络遇到问题时你会分不清是数据问题还是网络结构问题排查成本会翻倍。2.3 工程目录拆解文件和他的职责一一对应源码包解压后关键部分的结构大致如下project/ ├── data/ │ ├── train/ # 训练集图片按类别分子目录 │ ├── val/ # 验证集图片 │ └── samples/ # 推理演示图片 ├── models/ │ └── resnet.py # ResNet18 7 分类头 ├── utils/ │ ├── dataset.py # Dataset 封装、数据增强 │ └── preprocess.py # 灰度图读取与归一化 ├── train.py # 训练入口 ├── evaluate.py # 验证集评估输出混淆矩阵 ├── predict.py # 单张图片推理 ├── requirements.txt # Python 依赖清单 └── run.sh # Shell 一键跑通完整流程data 目录是典型的 ImageFolder 结构train 和 val 下面按类别建子目录每类放对应表情的人脸图。这个结构的好处是可以用 torchvision.datasets.ImageFolder 直接读取不用自己写 dataset 解析逻辑。utils/dataset.py 里除了 Dataset 封装还把训练期的数据增强和验证期的常规预处理分开这个设计细节很实用第四章会专门展开。requirements.txt 是这份源码里最容易忽略但最重要的文件之一。拿到源码后第一件事是 pip install -r requirements.txt把 PyTorch、torchvision、numpy、opencv-python 等依赖版本固定住。版本不一致导致的加载权重报错是第五章避坑的第一大坑提前固定版本能省掉这个麻烦。3. 训练、推理与 Shell 一键部署参数怎么改成你自己的数据看懂了工程结构接下来就是真刀真枪把流程跑起来。这一章不做理论复述直接按 train.py、predict.py、run.sh 三个入口把参数和改动点讲清楚。你会发现这套源码的设计思路是默认参数可以跑通但换成你自己的数据集时要改的东西其实很集中不需要动神经网络结构。3.1 train.py 训练入口先看懂参数再动手改train.py 用 argparse 接收参数这样做的好处是你不必为了换数据集或调超参去改代码命令行传参就行。源码里的参数定义大概长这样# train.py参数解析部分 import argparse def parse_args(): parser argparse.ArgumentParser(descriptionFace Expression Recognition Training) parser.add_argument(--data, defaultdata/train, help训练集目录按类别分子目录) parser.add_argument(--val_data, defaultdata/val, help验证集目录) parser.add_argument(--checkpoint, defaultcheckpoints/resnet18_best.pth, help模型保存路径) parser.add_argument(--batch_size, typeint, default64, help批大小显存不够时先降到 32) parser.add_argument(--epochs, typeint, default60, help最大训练轮数) parser.add_argument(--lr, typefloat, default1e-3, help初始学习率) parser.add_argument(--weight_decay, typefloat, default5e-4, helpL2 正则化系数) parser.add_argument(--backbone, defaultresnet18, helpbackbone 名称resnet18/mobilenetv3) parser.add_argument(--num_workers, typeint, default4, help数据加载线程数) return parser.parse_args()逐项说明最关键的几个参数。batch_size 是显存和训练稳定性的平衡点默认 64 在 8GB 显存上跑 ResNet18 没问题如果你是 6GB 显存或者 Windows 笔记本先降到 32训练速度会慢一点但至少不会 OOM。epochs 设 60 是给学习率衰减和早停留出空间实际训练往往到不了 60 轮就停了。lr1e-3 配合 Adam 是这套配置的安全区换成 SGD 的话建议从 1e-2 起步并配上动量。weight_decay 是反过拟合的基础手段表情数据量普遍不大5e-4 起步是惯例。第一次训练时我建议不改任何参数先按默认值跑 5 到 10 个 epoch确认 loss 在下降、训练和验证的准确率在同步上升。如果 loss 直接炸掉或者准确率原地不动再回头检查数据和预处理不要一上来就怀疑模型结构。# train.py训练主循环节选 for epoch in range(epochs): model.train() running_loss 0.0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() * images.size(0) val_loss, val_acc validate(model, val_loader, criterion, device) scheduler.step(val_loss) if val_loss best_loss: best_loss val_loss torch.save(model.state_dict(), checkpoint)这段代码里有两个容易被忽略的细节。第一个是 scheduler.step(val_loss)传的是验证集 loss 而不是训练 loss这是 ReduceLROnPlateau 这类调度器的正确用法靠它判断过拟合比训练 loss 更敏感。第二个是保存 checkpoint 的条件用的是 val_loss 而不是 val_acc因为 val_loss 更平稳不容易在某个 epoch 的噪声点上误存。如果你发现保存下来的模型在测试集表现不如中间某个 epoch可以把保存条件切换成 val_acc但要做好准确率波动带来的模型震荡。3.2 predict.py 推理入口输入输出和前置条件推理脚本负责把训练好的权重用起来输入是一张图片路径输出是表情类别和置信度。它复用了 utils/preprocess.py 的 load_gray_face保证推理时的预处理和训练时完全一致。这一点非常重要很多系统在训练和推理时各写一套预处理结果训练准确率很高一上线就拉胯排查时先查这里。# predict.py import argparse import torch from models.resnet import resnet18_7class from utils.preprocess import load_gray_face, LABELS def main(): parser argparse.ArgumentParser() parser.add_argument(--image, requiredTrue, help输入人脸图片路径) parser.add_argument(--checkpoint, defaultcheckpoints/resnet18_best.pth) args parser.parse_args() model resnet18_7class() model.load_state_dict(torch.load(args.checkpoint, map_locationcpu)) model.eval() # load_gray_face 返回 (48, 48)这里补上 batch 和 channel 两个维度 x load_gray_face(args.image) x torch.from_numpy(x).unsqueeze(0).unsqueeze(0) # (1, 1, 48, 48) with torch.no_grad(): logits model(x) probs torch.softmax(logits, dim1)[0] conf, idx torch.max(probs, dim0) print(fprediction: {LABELS[idx]}, confidence: {conf.item():.4f}) if __name__ __main__: main()两个维度扩展的语义要讲清楚load_gray_face 返回的是 numpy 数组shape 是 48×48而网络期望的输入是 N×C×H×W所以先用 unsqueeze(0) 在 0 维上加 batch 维再用 unsqueeze(0) 加 channel 维。很多人在这里直接 reshape结果数据分布被打乱了预测结果随机。softmax 那一行输出的 7 个概率和为 1取最大值对应的索引就是最终类别。置信度低于 0.5 的预测需要警惕这在第五章会展开。如果你想把它接到摄像头实时画面predict.py 的逻辑稍作改动就行把 cv2.VideoCapture 读到的帧先做人脸检测裁剪出人脸框再传给 load_gray_face 走后续逻辑。源码没有内置人脸检测器常见做法是配合 OpenCV 自带的 Haar Cascade 或 MTCNN。这块注意 BGR 转灰度的时机和缩放尺寸第五章有对应的踩坑记录。3.3 run.sh 一键跑通Shell 脚本不只是敲三行命令这份源码的另一个亮点是自带 Shell 启动脚本。它不是简单把三条命令堆在一起而是做了两个关键处理set -e 让脚本在前面任何一步失败时立即终止避免你看到一个中间报错还继续往下跑最后拿到一个不知道自己怎么来的模型source activate 则确保命令跑在正确的 Python 虚拟环境里不同机器的环境隔离问题在这一步就解决了。# run.sh #!/bin/bash set -e source activate py38 # 替换成你自己的 conda 虚拟环境名 python train.py --batch_size 64 --epochs 60 --lr 1e-3 python evaluate.py --checkpoint checkpoints/resnet18_best.pth python predict.py --image data/samples/angry.jpg --checkpoint checkpoints/resnet18_best.pth注意 evaluate.py 放在了 predict.py 前面先看模型在验证集上的整体表现再拿单张图做直观的冒烟测试。这套顺序是一个合格的验证流程训练完先评估再推理。Windows 用户直接在 cmd 里跑这个脚本大概率报错建议用 Git Bash 或 WSL 来执行具体原因在第五章讲。3.4 训练过程监控先让 loss 正常下降再谈调优跑起来之后训练日志里你会看到每个 epoch 的 train loss、val loss、val acc 三项。我一般用这套判断标准判断训练是否正常前 5 个 epoch train loss 应该明显下降val acc 也应该同步往上走如果 train loss 下降但 val acc 纹丝不动先怀疑增强强度是否过大如果 train loss 也卡住优先检查学习率而不是盲目加深网络。另一个需要看的是 val loss 是否在某个 epoch 开始反弹反弹同时 val acc 掉头向下就是过拟合这时候早停比继续训练更有用。源码里如果没有单独画曲线我建议每 5 个 epoch 手动记录一次 val loss 和 val acc训练结束后贴到表格里看一眼整体趋势。等你会看这三条曲线的形态调参就不再是玄学了。4. 高精度调优数据增强、类别不平衡与学习率策略源码能跑通只是起点真正把准确率做上去、把易混类别区分开靠的是这一章的几项调优操作。表情识别和普通分类有个本质区别类别之间的视觉差异非常微妙特别是“恐惧”和“惊讶”、“悲伤”和“中性”人眼都容易看走眼。所以调优的方向不是单方面堆模型深度而是从数据分布和训练策略两个方向同时下手。4.1 数据增强组合模拟偏头、光线和表情幅度变化直接看源码里 utils/dataset.py 的训练期增强配置# utils/dataset.py训练期增强 from torchvision import transforms transform_train transforms.Compose([ transforms.RandomResizedCrop(48, scale(0.8, 1.0)), # 随机裁剪模拟人脸偏移 transforms.RandomHorizontalFlip(p0.5), # 水平翻转覆盖侧脸 transforms.ColorJitter(brightness0.2, contrast0.2), # 亮度/对比度扰动 transforms.ToTensor(), transforms.Normalize(mean[0.5], std[0.5]) ]) transform_val transforms.Compose([ transforms.Resize(48), transforms.ToTensor(), ])每一行都要解释清楚为什么这样配。RandomResizedCrop 的 scale 参数限制在 0.8 到 1.0意思是裁剪区域占原始人脸的 80% 到 100%这样既模拟了人脸框轻微偏移又不会把五官关键信息切掉。表情识别的标注框通常紧贴脸部切太多会导致模型学到残缺的耳朵和下巴。RandomHorizontalFlip 对于不对称表情是双刃剑比如嘴歪向一边的“厌恶”翻转后可能改变表情语义但在 FER2013 这类数据集上翻转带来的多样性收益通常大于语义翻转风险所以折中取了 0.5 的概率。ColorJitter 的两个系数选 0.2 而不是 0.5是因为表情特征主要是肌肉纹理和轮廓不是颜色颜色扰动过猛会引入噪声。如果你发现增强后训练 loss 降得慢了不要慌这是正常的数据多样性变大了模型要学的东西更多。判断增强是否有效的标准是验证集准确率是否跟着提升而不是训练集 loss 是否快速下降。很多人在这里翻车一看训练准确率上不去就把增强全删了结果验证集也一起掉。4.2 类别不平衡用 Focal Loss 替代普通交叉熵表情数据集几乎必然存在类别不平衡最典型的是“厌恶”类别样本量远小于“开心”和“中性”。如果直接用 CrossEntropyLoss模型会对样本量大的类别严重过拟合小类别准确率掉到个位数都是常见的。解决思路有两种加权交叉熵和 Focal Loss。这套源码支持后者因为它对难易样本的权重区分更细。# utils/loss.py import torch import torch.nn as nn import torch.nn.functional as F class FocalLoss(nn.Module): def __init__(self, gamma2.0, alphaNone): super().__init__() self.gamma gamma # 对难样本的关注强度 self.alpha alpha # 每个类别的权重传入形状为 (7,) 的张量 def forward(self, logits, targets): ce F.cross_entropy(logits, targets, reductionnone) pt torch.exp(-ce) # 预测置信度pt 越大说明样本越简单 # gamma 越大简单样本的 loss 被压得越低 loss (1 - pt) ** self.gamma * ce if self.alpha is not None: # 按真实类别给每个样本乘权重 loss loss * self.alpha[targets] return loss.mean()gamma 的直觉理解是当 pt 接近 1 时也就是模型已经很有把握的简单样本乘数 (1 - pt)^gamma 趋近 0模型不再为这些样本消耗大量梯度当 pt 很小时乘数接近 1难分样本拿到完整 loss。gamma 设 2.0 是 Focal Loss 论文里的常用值实际表情数据集上可以调到 1.5 更温和减少过拟合风险。alpha 直接控制类别权重我一般先按样本量倒数归一化出一个权重张量再乘 0.9 的平滑系数避免某个类别权重过大导致训练震荡。4.3 学习率调度与 EMA让验证集 loss 稳步下降学习率是表情识别训练里最需要花时间观察的超参数。固定学习率很容易在 loss 降到一定程度后原地打转进不了更优的区域。这套源码里用 ReduceLROnPlateaupatience 设 5意思是验证集 loss 连续 5 个 epoch 不创新低就把学习率乘 0.5如果又过了 5 个 epoch 还不降再乘 0.5直到收敛。# train.py学习率调度与 EMA 示例 import copy import torch.optim as optim optimizer optim.Adam(model.parameters(), lr1e-3, weight_decay5e-4) scheduler optim.lr_scheduler.ReduceLROnPlateau( optimizer, modemin, factor0.5, patience5 ) # 简单 EMA指数移动平均的缓冲模型 ema_model copy.deepcopy(model) ema_decay 0.999 for param, ema_param in zip(model.parameters(), ema_model.parameters()): ema_param.data.mul_(ema_decay).add_((1 - ema_decay) * param.data)EMA 的思路是用训练过程中模型权重的滑动平均替代最终权重这样得到的模型通常比最后一个 epoch 的权重更平滑、泛化更好。ema_decay 的衰减系数 0.999 在 60 个 epoch 的训练里衰减足够慢能让滑动平均真正覆盖到训练后期的最佳区域。验证集评估和最终推理都用 ema_model 而不是 model我测过好几套模型这个操作基本每次都能稳定带来小幅提升。4.4 评估指标别只用准确率混淆矩阵才是排查工具准确率在表情识别这种不平衡数据集上的参考价值很有限。假设“中性”占了 35% 的样本模型全预测中性也能拿 35% 准确率但这显然不可用。evaluate.py 里除了准确率还会输出每类精确率、召回率和 F1以及一张混淆矩阵。你要重点看的是“悲伤”和“中性”、“恐惧”和“惊讶”这两对对角线之外的值它们是最容易互混的类别组合。如果某个类别召回率低于 40%下一步就该回去数这个类别的训练样本数大概率是样本量太少了。调优的执行顺序我按这个来先加数据增强跑一组再换 Focal Loss 跑一组最后叠加 EMA 和调度器跑一组。每次只改一个变量记录验证集准确率和混淆矩阵的变化。一次改三个超参出了问题你根本定位不到是谁导致的。5. 部署与训练常见问题排查五条踩坑记录训练、调优、推理都跑通之后真正折磨人的是各种环境类和边界问题。以下五条是我拿到这类源码后几乎每次都会遇到的状况按现象、原因、解决的顺序记录你自己复现的时候可以直接对号入座。5.1 训练时 Loss 变成 NaN现象train.py 跑到某几个 epoch 时loss 突然变成 NaN后续所有 loss 都停在 NaN训练进程没有崩溃但权重已经废了继续跑下去没有任何意义。原因最常见的是学习率过高导致梯度爆炸或者预处理归一化没有生效输入值里有极端异常值。少数情况是数据集中存在损坏图片读出来是空数组反向传播时计算了无效梯度。解决先看归一化是否真的执行了load_gray_face 里的除以 255 是否被注释掉再确认 lr 是否在 1e-3 以下Adam 相对稳妥但也不能完全免疫最后写一个小脚本遍历 data 目录检查每张图片能否用 cv2.imread 读出来、尺寸是否为 48×48损坏文件直接移出训练集。这个排查顺序十分钟内能完成不要一上来就重装环境。5.2 加载权重时报错 size mismatch现象执行 predict.py 或 evaluate.py 时model.load_state_dict 抛出 size mismatch提示某个全连接层的权重尺寸对不上。原因这份源码支持 resnet18 和 mobilenetv3 两种 backbone如果训练时用的是其中一个推理时参数指定了另一个权重形状自然对不上。还有一种情况是你自己改了分类头的类别数从 7 类改成 5 类或者反向操作最后一层全连接权重也会错位。解决先确认 --backbone 参数和训练时完全一致再检查 checkpoint 文件名的标记。我习惯在保存 checkpoint 时把模型结构和类别数写进文件名比如 resnet18_7class_best.pth这样就不会拿错权重去加载。遇到 mismatch 时把 torch.load 出来的 state_dict 打印出来看 key比对着 model 的 state_dict key 找差异一眼就能发现问题。5.3 Windows 下执行 run.sh 直接报错现象在 Windows 的 cmd 或 PowerShell 里执行 run.sh提示 source 命令不存在或者文件找不到。换到 Git Bash 之后又报出 command not found 的诡异错误。原因.sh 脚本是为 Linux 和 macOS 设计的cmd 不认 source即使安装了 Git Bash如果文件是从 Windows 编辑器保存的换行符是 CRLFbash 会把它当成命令的一部分来解析。解决在 Git Bash 或 WSL 里运行不要用 cmd。报了换行符相关错误就在 Git Bash 里执行 dos2unix run.sh 转换换行符或者在 VS Code 右下角把文件的行尾序列改成 LF 再保存。另外我一般会把 run.sh 里的 source activate py38 改成 conda activate py38因为新版 conda 在非交互环境下不加载 source 命令。5.4 OpenCV 读图和网络输入维度对不上现象predict.py 或摄像头推理时报错 Expected 4D input或者 shape 不匹配图像数组的维度比预期多一维或少一维。原因cv2.imread 默认读成 H×W×C 的三维数组如果直接把这个数组传给网络而网络期待的是 N×C×H×W维度顺序完全对不上。另外有些人把 cv2.resize 的宽高传参顺序写反导致图片被转置模型预测结果自然乱掉。解决一律走 utils/preprocess.py 的 load_gray_face别在 predict.py 里自己写读图逻辑。如果必须手写记住 BGR 转灰度用 cvtColor不要直接取第一个通道。cv2.resize 的第二个参数是 (width, height)比如 (48, 48)如果你习惯写 (height, width) 而两者恰好不相等图就被旋转了。最后 numpy 转 torch 张量时float32 的 (48, 48) 要 unsqueeze 两次变成 (1, 1, 48, 48)。5.5 验证集准确率不错摄像头实测却频繁识别错误现象模型在离线验证集上准确率不错接到摄像头实时画面上侧脸、背光、模糊场景下预测结果频繁在几个表情之间跳看起来模型完全不可用。原因验证集图片和真实摄像头画面的分布不一致。训练数据多为正面、光照均匀的静态人脸而摄像头画面包含姿态变化、运动模糊、亮度波动属于分布外样本。还有一个原因是帧间没有做平滑单帧误判直接展示出来观感上就是模型乱跳。解决在推理链路里加入帧间投票连续 5 帧得票最多的表情作为最终输出这个改动对体验提升非常明显。同时加强数据增强里的角度和亮度扰动让模型见过更多样的输入。最后把置信度阈值从 0.5 提高到 0.7置信度不足时回退到上一稳定结果。这三步做完再测识别稳定性通常会有质的改变。6. 用 CAM 热力图验证模型看的是脸不是背景训练完成、推理正常、部署稳定之后还有一个验证步骤不能跳检查模型到底在依据什么做判断。表情识别特别容易学到捷径比如数据集里“开心”样本的人脸往往更亮模型可能学的是亮度而不是嘴部肌肉或者“中性”样本多数来自证件照模型学会用照片风格做分类。这类错误用准确率根本发现不了因为测试集和训练集同分布没有反例。CAMClass Activation Mapping能把最后一层卷积的输出特征按类别权重映射回原图直观地告诉你模型做决策时注意力放在图像的哪个区域。实现上先注册一个 forward hook 把 layer4 的输出特征抓回来然后对特征通道做加权求和把 7×7 的特征图 resize 回 48×48 再叠加到原图上。关键参数是 resize 的插值方法放大时用 INTER_LINEAR热力图边缘比较平滑用 INTER_NEAREST 会出现锯齿不容易看出注意力中心。叠加时我习惯用 0.4 的透明度太透明看不出重心太不透明又盖住五官细节。# visualize_cam.pyGradCAM 简版 import cv2 import torch import numpy as np from models.resnet import resnet18_7class from utils.preprocess import load_gray_face model resnet18_7class() model.load_state_dict(torch.load(checkpoints/resnet18_best.pth, map_locationcpu)) model.eval() # 拿到最后一层卷积的输出特征 features {} def hook_fn(module, input, output): features[feat] output.detach() handle model.layer4.register_forward_hook(hook_fn) x load_gray_face(data/samples/happy.jpg) # (48, 48) x torch.from_numpy(x).unsqueeze(0).unsqueeze(0) with torch.no_grad(): out model(x) # 对特征通道取均值得到 7x7 的注意力图 cam torch.mean(features[feat], dim1)[0].numpy() cam cv2.resize(cam, (48, 48), interpolationcv2.INTER_LINEAR) cam (cam - cam.min()) / (cam.max() - cam.min()) handle.remove()拿到热力图后逐张检查三件事高亮区域是否落在眼睛或嘴巴周围是否同时覆盖左脸和右脸而不是只盯一边背景区域有没有异常高亮。把验证集里预测错但置信度高的样本也拿出来对比错误样本的注意力通常更分散高亮落在下巴、头发甚至背景上。巡检项健康表现可能问题热力中心集中于眼睛/嘴周集中在额头/下巴边缘对称性左右脸都有响应始终只有单侧疑似学到姿态背景响应背景接近 0背景高亮学到照片风格捷径置信度分布高置信度对应清晰表情模糊图也给 0.9需要降阈值检查结果有问题时按“先增强、再查数据、最后换模型”的顺序排查不要上来就换网络那会把数据层面的问题掩盖掉。我的固定流程是训练完先跑一次 visualize_cam.py从每个类别抽两张图看热力图再结合误检样本一起判断模型是否健康。从那以后我每次做完识别系统都会强制走一遍误检图巡检把验证集里置信度最高但预测错的图片捞出来看模型在看什么。这套检查十分钟不到能救回不少上线后的翻车。希望帮到你。本文还有配套的精品资源点击获取