先讲个我调整检测模型的经历。我这段时间一直在折腾一个轻量级目标检测器换了更强的骨干、加了各种数据增强精度一直卡在某个水平上不动。后来我把注意力从模型结构转移到训练方案上在训练流程里加入了知识蒸馏用一个大而重的教师模型去带小的学生模型。一轮实验下来轻量检测器在内部测试集上又涨了 1.8~2.2 个点推理速度基本没变参数量也没增加等于白捡了几个点的精度。这里说的 YOLO26 不是某个官方版本是我们内部对 YOLO 系检测器做了一轮 neck/head 改造后自己叫的迭代代号。蒸馏方式则同时用了基于响应的蒸馏Response-based Distillation和基于特征的蒸馏Feature-based Distillation。这篇文章把这些经验拆开写重点说清楚每一类蒸馏在目标检测器里到底怎么落地、损失怎么配、以及实测中踩过哪些坑。适合正在做检测模型轻量化、或者想把精度再挤一挤的工程师参考。1. 为什么给检测器做知识蒸馏而不是继续加参数1.1 模型轻量化与蒸馏的定位很多团队做检测模型压缩时第一反应是换更小的骨干网络比如把 Backbone 从大模型换成轻量结构。结果往往很直接FPS 上去了mAP 掉下来 5~8 个点。于是又开始补数据增强、调 anchor、改损失函数折腾一圈能回来 2~3 个点已经很不错。问题的本质是小模型容量有限单纯靠真实标签的 one-hot 监督很难把所有样本的规律都塞进去。真实标签只告诉模型“这个框里是猫”没告诉它“这只猫和图里的狗在轮廓上有多像、它的纹理层次更接近哪一类”。这些信息在标签里根本没写模型只能靠自己去猜而小模型的拟合能力又不够猜不出来很正常。知识蒸馏解决的不是模型结构问题而是监督信息质量问题。用一个已经收敛的大模型当教师让学生模型去模仿教师模型的输出分布和中间特征相当于把大模型已经整理好的“做题思路”直接教给小模型而不是只丢给它标准答案。这个思路在检测任务里特别有价值因为检测器同时要处理分类、回归、目标存在性三个子任务信息量比纯分类模型大得多小模型自己学很容易顾此失彼。1.2 Response 蒸馏与 Feature 蒸馏的分工按我的习惯先把蒸馏的信息来源分成两类。一类是响应蒸馏Response-based Distillation也就是把教师模型输出端的预测结果当作软监督。最典型的就是分类分支的 soft label教师模型对某个目标的类别概率分布里含有类间相似度信息。比如一个目标看起来既像车又像卡车教师模型可能会给出车 0.7、卡车 0.2、公交车 0.05 这样的分布学生模型看到这个分布能更快建立起混淆类之间的边界。另一类是特征蒸馏Feature-based Distillation也就是把教师模型中间层输出的特征图当作监督。特征图比输出标签更细粒度包含空间位置、通道语义、多尺度信息。对小目标、遮挡目标、模糊目标来说输出端的信息往往已经丢失太多但中间层特征还保留着有价值的几何纹理信息。学生模型如果能把教师模型中间层的特征“抄”下来提取能力会明显变强。这两个方向不冲突组合使用效果最好。输出端负责把握整体决策倾向中间特征负责补齐细节语义。后面两部分我分别展开说。2. Response-based蒸馏标签分布里那些没写出来的“暗知识”2.1 检测器输出端哪些地方能做响应蒸馏检测器输出端不是单一概率分布至少有三个分支可以考虑蒸馏但每个分支的处理方式不一样。我整理了一个对照表。输出分支监督形式常用损失注意事项分类分支类别概率分布KL 散度 / 带温度的交叉熵先做 softmax温度常用 1~4置信度分支objectness单值 scoreL2 / L1不要直接当概率算 KL容易数值不稳回归分支4D 框坐标偏移smooth L1 / L1坐标不是概率分布别用 KL最核心的是分类分支。做法是先给分类 logits 除以温度 T 再做 softmax得到软化的概率分布然后让学生模型同样处理后的分布去逼近教师模型。温度 T 越大分布越平滑类间相似关系越明显T 越小分布越接近 one-hot蒸馏效果越差。常用经验值是 T1~4我一般从 2 开始试。置信度分支比较特殊。它输出的不是多分类概率而是单值置信度表示这里有没有目标。对这类输出算 KL 散度意义不大用 L2 直接对齐数值更稳定。实操中还发现教师模型对某个背景区域给出偏高置信度时往往是在提示这里可能有被漏检的目标这类信息值得让学生模型学习但要注意控制权重免得把噪声也学进去。回归分支是容易翻车的地方。很多新手直接套分类蒸馏公式对框坐标向量做 softmax 再算 KL结果损失经常变成 NaN。坐标回归输出的是连续数值不是概率分布不能用软标签思路。我实测中最稳的做法是对回归向量做 smooth L1 或 L1 蒸馏权重也给小一点。如果你的回归模块本身就是分布式表示比如把坐标建模成概率分布那倒是可以顺理成章用 KL 蒸馏但这属于模型结构层面的特殊性不是通用做法。2.2 温度系数、KL 损失权重与正负样本平衡响应蒸馏的损失一般写成[ \mathcal{L}{resp} \alpha \cdot \mathcal{L}{hard} \beta \cdot T^2 \cdot \mathcal{L}_{KL}(p_s^{T}, p_t^{T}) ]其中 (\mathcal{L}{hard}) 是学生模型原本的分类损失(\mathcal{L}{KL}) 是学生与教师的软化分布之间的 KL 散度。乘上 (T^2) 是有原因的KL 散度对 logits 的梯度约等于 (1/T)乘回 (T^2) 可以保证不同温度下的梯度尺度大致一致这样换温度时不用大幅重新调权重。损失权重方面我通常保持硬损失的 (\alpha1)响应蒸馏系数 (\beta) 在 0.5~2 之间。学生模型如果还在早期训练阶段(\beta) 不宜太大否则模型会只顾着模仿教师而忘了真实标签结构后面我会单独说训练顺序。正负样本平衡在检测蒸馏里比在分类任务里更敏感。一张图上可能有几百个预定义锚框其中绝大多数是负样本。如果所有锚框都参与 KL 蒸馏负样本的梯度会淹没正样本。我试过两种有效办法一是只对教师模型置信度较高的区域计算蒸馏损失比如设置一个阈值过滤低置信度输出二是按正负样本数量对蒸馏损失做加权让正样本贡献更大。2.3 几个常见的响应蒸馏坑先说第一个坑对分类分支直接用 one-hot 标签参与蒸馏。这相当于没做软化信息量跟正常训练没区别白费算力。我见过有人写代码时把 target 的类别索引直接转成 one-hot然后让学生 logits 去拟合这完全失去了蒸馏的意义。第二个坑是温度调得过高。T10 甚至更高时分布会变得过于平均类别之间的差别几乎被抹平。学生模型学到的是“每个类别都有点像”对难例的分辨能力反而下降。我测试过 T5 之后收益就开始衰减调到 T10 时 mAP 反而比 T2 低 1 个点。第三个坑是忽略教师模型的置信度质量。当教师模型对某个目标输出很低置信度时它的 soft label 其实不可靠。如果学生强行对齐这些噪声很容易学歪。建议给响应蒸馏损失加一个门控只有教师模型最大类别概率大于某个阈值比如 0.6时才参与蒸馏低于阈值就只走真实标签的硬损失。3. Feature-based蒸馏让中间层真正“抄作业”3.1 选哪几层做对齐、通道和分辨率怎么匹配响应蒸馏只作用于输出端信息比较“远”。有些细节比如小目标的边缘纹理、遮挡目标的局部模式到最终输出时已经磨损得差不多了。特征蒸馏解决的就是这个问题让学生模型的中间特征和教师模型的中间特征在语义上对齐。但不是每一层都值得蒸馏。选层太多梯度会在多个层之间互相干扰训练不稳定选层太少又捞不到有价值的信息。我常用的选择范围是 Backbone 的后三个 stage再加 Neck 里一两处特征融合后的输出。具体选几个要看学生模型的容量。学生模型很轻时只选 Backbone 最后一两个 stage 就够强行让它模仿教师模型所有中间层它根本拟合不了。通道数匹配是必然要处理的。教师模型和学生模型的通道数几乎不可能一致不能把两个特征图直接拉过来算 MSE。通常的做法是在学生模型的那一侧加一个 1×1 卷积适配层把通道数变换到和教师模型一致再加 BN 和激活。这个适配层本身参与训练但蒸馏结束后可以去掉不影响部署。空间分辨率也要对齐。如果两个模型的下采样倍数不同同一层特征图尺寸会不一样。我的做法是先把学生模型特征图双线性插值到和教师模型一致或者反过来取决于计算开销。如果用了 FPN 结构建议对同一金字塔级别做对齐而不是跨级别否则语义层级对不上损失很怪。3.2 损失函数设计不要直接拿 MSE 硬怼最常见的基础做法是 L2/MSE把学生特征和教师特征的逐像素误差算出来[ \mathcal{L}{feat} \sum{l} \frac{\lambda_l}{C_l H_l W_l} \left| \phi_s^l - \phi_t^l \right|_2^2 ]但我实际用下来直接用 MSE 的效果不稳定原因在于不同模型的特征尺度不一样。教师模型的特征值幅度大、学生模型的特征值幅度小如果硬让两者数值相等学生模型会花大量精力去“凑数值”反而破坏了自己原有的特征表达。更稳的做法是先做归一化再算损失。最简单的版本是每个通道独立做 L2 归一化让特征向量落到单位长度上或者做减均值除以标准差的标准化[ \mathcal{L}{feat} \sum{l} \frac{\lambda_l}{C_l H_l W_l} \left| \frac{\phi_s^l - \mu_s^l}{\sigma_s^l} - \frac{\phi_t^l - \mu_t^l}{\sigma_t^l} \right|_2^2 ]这样模型学的是“形状”而不是“幅度”。我实测中归一化版本比直接 MSE 稳定很多尤其是学生模型和教师模型容量差距较大时。除了逐像素 MSE还有两个变体值得提。一个是注意力图损失。把空间维度或通道维度聚合成注意力权重然后让学生特征图和教师特征图的注意力分布尽量一致。这个做法的好处是对特征本身的幅度变化不敏感而且注意力图天然强调重要区域很适合目标检测这类正负样本不均衡的任务。另一个是相对距离损失。提炼特征图里两两位置之间的相似度关系让学生在整体结构上模仿教师而不是逐点对齐。这个做法计算开销更大但有时比逐像素损失更鲁棒尤其是教师模型和学生模型的感受野差异较大时。我用下来总体评价是优先试通道归一化的 MSE成本低效果好如果效果还不够再上注意力图变体。3.3 蒸馏 Backbone 还是连带 Neck/Head 一起做这里我做过一组对比结论比较明确蒸馏主干网络的收益最稳定连带蒸馏 Neck 和 Head 不一定更好。Backbone 特征承载的是底层纹理、边缘、形状等通用信息这些信息与学生模型最终要完成的目标检测任务关系密切而且不受输出端任务偏好影响。学生模型将 Backbone 特征模仿到位后面 Neck 和 Head 的负担会小很多。小目标的提升尤其明显。Neck 特征更抽象包含较多任务相关的语义信息。教师模型中这些特征已经和它特定的检测头绑定学生模型照搬时容易引入一些“不属于自己结构和训练数据”的偏差。我在实验里尝试过把 Neck 三个尺度的特征也纳入蒸馏结果 mAP 没有明显提升训练时间倒是涨了 20%。如果你要加建议把权重调低例如 Backbone 特征权重为 1Neck 特征权重只给 0.1 左右。Head 的回归特征一般不建议蒸馏。检测头的内部特征高度依赖 anchor 分配策略、回归方式和 loss 设计不同模型之间语义对应关系差蒸馏价值低。4. 蒸馏训练流程与实际配置4.1 先把 Teacher 调到一个稳定状态教师模型是整个蒸馏质量的源头它自己不够强蒸馏出来的东西也不会好。这里有两个容易被忽略的点。第一教师模型要用和最终应用场景同域的数据训练。很多人想省事直接拿一个在公开基准上预训练的大模型当教师但实际业务数据如果是以特定角度拍摄的监控画面公开基准和业务场景之间会有域偏差。教师模型在业务场景里自己都吃不准教出来的学生自然也不行。最好是让学生模型和自己的教师模型在同一套数据 pipeline 下训练哪怕教师模型结构再大也不要在另一套数据集上训练完直接拉过来用。第二蒸馏阶段教师模型必须完全冻结并且设为评估模式。更具体地说要保证教师模型的权重不更新、BN 统计量也不更新。有些框架里如果不小心让教师模型跑在训练模式下它里面的 BN 统计量会在每个 batch 里被更新教师模型的预测会逐渐漂移学生模型也跟着学歪。正确做法是teacher.eval() for p in teacher.parameters(): p.requires_grad_(False)如果教师模型用了 EMA指数滑动平均版本那更理想EMA 版本的权重通常比最终权重更稳定蒸馏效果也会更好一些。4.2 Student 的完整蒸馏训练步骤我强烈建议先让学生模型走一遍普通训练得到一个还过得去的基线再在这个基线上叠加蒸馏损失做二次训练。直接从零开始边训练边蒸馏不是不行但前期学生模型连基本检测能力都没有教师模型给的软标签再丰富它也无法消化训练容易来回震荡。推荐流程是四步走。第一步正常训练若干 epoch让学生模型的 mAP 先达到一个不高但稳定的水平一般在其最终期望精度的 80% 左右。第二步加载训练好的教师模型保持冻结同时把学生模型继续挂着训练。第三步每个 batch 里让教师和学生各做一次前向。教师的前向要包在torch.no_grad()里避免反向传播误算教师模型的梯度既能省显存又能防止误更新。伪代码大概是这个样子teacher.eval() for images, targets in dataloader: with torch.no_grad(): t_feats, t_pred teacher(images) s_feats, s_pred student(images) loss_hard student_loss(s_pred, targets) loss_response response_distill_loss(s_pred, t_pred) * lambda_r loss_feature feature_distill_loss(s_feats, t_feats) * lambda_f loss loss_hard loss_response loss_feature loss.backward() optimizer.step()第四步用余弦曲线或分段函数动态调整蒸馏损失权重。前期权重小一点让学生模型以真实标签为先导中后期再逐步加大蒸馏权重让它把教师模型的高阶知识吸收进来。我试过把特征蒸馏权重从 0 线性涨到 0.5响应蒸馏权重从 0.1 涨到 1.0效果比固定权重好。蒸馏训练时间一般要比普通训练多 30%~60%。特征是每步都要跑两次前向而且教师模型参数量大所以如果你追求快速迭代可以先跑小规模验证集把层选择、温度、权重配好再上全量数据。4.3 数据增强、多尺度与输入一致性数据增强在检测蒸馏里是个双刃剑。增强太强教师模型自己都会漏检、误判给出的软标签和特征都不可靠学生模型学到的反而是错误偏好增强太弱学生模型见过的新样式太少泛化能力又不够。我的经验是保持教师和学生输入完全同源的增强策略。什么意思同一个 batch 里教师模型和学生模型要看到同一份增强后的图片。现在很多代码库都会在每个 batch 里重新随机生成增强参数如果不加控制教师看到的是一张翻转后的图学生看到的是另一张裁剪后的图特征蒸馏的空间位置就对不齐了损失曲线会非常抖动。所以对检测蒸馏建议对所有模型共享随机种子或使用同一个增强状态保证输入同步。分辨率也一样教师模型用什么输入尺寸学生模型就用什么输入尺寸不要图省事让学生用小图训练教师用大图训练。输入尺寸不一致对齐层的位置和感受野全变了蒸馏收益会大打折扣。另外weight decay 不要开太大。特征蒸馏本身已经给特征层加了一层正则约束如果 weight decay 又很大特征层的参数会被压得过狠导致学生模型无法好好拟合教师特征。我一般把 weight decay 保持在和普通训练一样的量级就行不额外增大自然最好。5. 实测中的踩坑记录与效果验证5.1 蒸馏 Loss 不下降的完整排查链路这种问题几乎每个跑蒸馏的人都会遇到我按排查顺序写一下我的处理路径。先看教师模型有没有被意外计算梯度。很多人忘了把教师模型包在torch.no_grad()里结果教师模型的权重也被更新蒸馏损失根本不会按预期下降。检查方法很简单打印教师模型里第一个卷积层的requires_grad和梯度统计如果梯度过大就回去改代码。再看损失尺度。特征蒸馏的 MSE 损失通常要除以 (C\times H\times W)否则数值会很大。如果忘了归一化特征损失可能是几千硬损失才十几总 loss 完全被特征损失支配学生模型的真实检测任务被冲垮。遇到这种情况不一定要马上调权重先看看是不是分母没除。第三看温度设置。响应蒸馏损失没有下降时试着把温度调高或调低一个量级。温度太低soft label 接近 one-hot损失很快就到很低的水平但精度没涨温度太高分布太平损失一直很大但信息被磨平。如果 KL 损失数值一直在高位波动先考虑它是不是被“平均分布”卡住了。第四看特征归一化。直接 MSE 下损失不降常是因为教师特征和学生特征尺度差太远。把损失换成通道归一化版本之后往往很快就正常。这个坑我建议在写训练代码时直接就用归一化版本不要等踩了再改。5.2 教师模型 BN 统计量和学生模型 BN 处理前面提过教师模型要 eval但这里还有一个更隐蔽的问题如果教师模型在训练阶段没有充分收敛它的 BN 统计量其实是很差的。Eval 模式下 BN 用的是历史 running mean 和 running variance如果这些统计量本身不准教师模型在 eval 模式下精度会突然崩掉蒸馏出来的特征自然也是歪的。所以正确顺序是先充分训练教师模型到稳定收敛然后切到 eval 模式在验证集上确认精度没有掉再开始蒸馏。我之前有一次图省事教师模型只训了一个 epoch 就拿来当老师结果它的 eval 精度比正常低 10 个点白白浪费了我一周时间。学生模型这边的 BN 处理没啥特别的保持训练模式就行。唯一要注意的是如果开了分布式训练或者使用了 SyncBN教师模型和学生模型的 BN 不要互相串统计量。我碰到过一次把教师和学生装在同一个模型类里管理不小心让它们共享了 BN 层最后 Teacher 的精度一路狂跌。5.3 小目标收益更明显但回归精度要小心在我的内部测试集上特征蒸馏对小目标的 AP 提升最明显大概能涨 2~3 个点响应蒸馏对普通尺寸目标的分类精度提升更多但小目标提升有限。原因也不难理解小目标在深层特征里的响应本来就弱到输出端时信息已经衰减得差不多了。教师模型中间层的特征图里还保留着一些小目标的位置波峰学生模型通过对齐这些波峰相当于提前拿到了小目标的语义线索。这就是为什么我会特别强调 Backbone 后几个 stage 的特征蒸馏。但也要小心过拟合现象。我到后期把特征蒸馏权重加到 1.0 以上时学生模型开始在训练集上把教师模型的细节特征背得滚瓜烂熟验证集 AP 反而掉了下来尤其是回归分支受到拖累。回归精度方面如果响应蒸馏里对坐标分支给太高权重学生模型会过度模仿教师模型的框分布丧失自己的回归偏好IoU0.75 的分数反而不如 baseline。建议坐标分支蒸馏权重控制在 0.2 以内多观察定位精度的变化。5.4 消融实验参考下面这组数据来自我手头的一个交通场景自采数据集不是公开基准仅供理解各模块的相对收益。学生模型统一使用自定义版 YOLO26教师模型是一个更大参数量的检测模型输入分辨率保持一致。实验配置mAP小目标 AP中等目标 AP推理耗时Baseline无蒸馏51.245.854.327ms Response 蒸馏52.447.055.227ms Feature 蒸馏53.048.155.827ms Response Feature53.148.255.927msResponse 蒸馏提高分类置信度Feature 蒸馏提高整体特征质量。两者叠加之后额外收益没有想象中大原因可能在于粗糙层已经消化了大头知识再往上叠加的边际效应递减。但组合使用在稳定性上更好分类和小目标都兼顾到了。推理耗时完全没变因为部署时教师模型已经被摘掉学生模型还是原来那个轻量结构额外开销只发生在训练阶段。6. 从我踩坑里总结出的几个实操建议先说一个我后期一直在用的习惯所有蒸馏实验都先做“最小验证”。不要第一次就把响应蒸馏和特征蒸馏全开那样出了问题很难定位。先只加分类分支的响应蒸馏跑一个小数据集确认涨点且稳定然后只加特征蒸馏对比哪条路径收益大最后再组合。这样训练慢一点但调参思路非常清晰。再分享一个小技巧训练过程中定期打印学生模型特征图的通道能量。如果某个通道的能量长期接近 0说明这个通道被蒸馏损失压死了可能出现了“死通道”。特别是用了归一化 MSE 之后这种问题更容易出现。一旦发现死通道比例高于 10%就先降低特征蒸馏权重然后检查适配层的初始化或改用注意力图损失。关于层选择我也给出我的保守建议如果你拿不准选几层那就先从 Backbone 最后一个 stage 开始。只蒸馏一层把特征损失权重慢慢加上去看到收益后再往前扩展一层。贪多求全会让训练难度暴增我在前几版实验里把四个 stage 全部拉进去蒸馏结果损失怎么调都稳定不下来最后减到三层就正常了。最后多说一句知识蒸馏不是只能用于模型压缩。就算你的学生模型和教师模型同样大蒸馏也能带来一定的精度提升因为教师模型提供了一个比真实标签更丰富的监督信号。我的个人体会是蒸馏流程调试顺利之后它完全可以作为检测模型训练 pipeline 里一个常驻的辅助环节换来的是白捡的几个点 mAP花掉的只是训练时的算力而已。