在深度学习模型部署与优化的实践中我们常常面临一个核心矛盾如何让一个强大的大模型教师模型的能力高效地迁移到一个更轻量、更快的小模型学生模型上模型蒸馏技术正是解决这一难题的利器。然而当我们将目光投向开源社区试图寻找一套标准化的工具来评估蒸馏前后的模型性能时却发现选择众多且各有侧重这不禁让人思考这些开源评估框架其设计理念和适用场景究竟有何不同我们又该如何根据自身项目需求选择最合适的“尺子”来度量我们的模型本文将以实战为导向深入探讨模型蒸馏的核心流程并横向对比几款主流的开源模型评估框架。我们将从零开始使用YOLOv11一个假设的、用于示例的先进目标检测模型作为教师模型蒸馏出一个更轻量的学生模型并在此过程中完整演示如何集成不同的评估框架来量化蒸馏效果。无论你是希望将大模型能力下沉到边缘设备的学生开发者还是正在为生产环境寻找模型优化方案的后端工程师这篇涵盖原理、代码、评测与避坑指南的系统教程都能为你提供清晰的路径。1. 模型蒸馏与评估框架核心概念解析在进入实战之前我们有必要厘清两个核心概念模型蒸馏究竟是什么以及为什么我们需要专门的框架来评估模型。1.1 模型蒸馏知识的传承与压缩模型蒸馏本质上是一种模型压缩技术。它的灵感来源于“师生学习”过程。一个已经训练好的、复杂而强大的模型教师模型将其学到的“知识”——不仅仅是最终的硬标签预测结果更重要的是其输出的概率分布软标签以及中间层的特征表示——传授给一个结构更简单、参数更少的模型学生模型。为什么软标签比硬标签更有价值想象一下猫狗分类任务。一张很像猫的狗图片教师模型可能会输出[猫: 0.45, 狗: 0.55]这样的概率分布。这个分布包含了“这张图片有些模糊但更偏向狗”的丰富信息。而硬标签只会是“狗”。学生模型从软标签中学习到的是类别之间的相似性与决策边界这比单纯学习“是或否”要有效得多通常能让学生模型获得比直接训练更好的泛化能力。蒸馏的典型流程包括训练教师模型使用标准方法训练一个高性能的大模型。知识迁移在训练学生模型时其损失函数由两部分组成蒸馏损失衡量学生模型输出与教师模型软标签之间的差异常用KL散度。学生损失衡量学生模型输出与真实硬标签之间的差异如交叉熵。平衡与调优通过一个温度参数T来平滑教师模型的输出分布并通过一个加权系数α来平衡两种损失的重要性。1.2 开源评估框架模型性能的“多维度体检仪”当我们完成模型蒸馏后一个至关重要的问题是学生模型到底“学”得怎么样它比直接训练的小模型好多少它在速度、精度、资源消耗上达成了怎样的平衡这就是模型评估框架的用武之地。一个优秀的评估框架不应只是一个简单的准确率计算器而应提供一套完整的“体检”方案标准化评测指标不仅包括分类任务中的准确率、精确率、召回率、F1分数、AUC还包括检测任务中的mAP平均精度均值、召回率-精度曲线分割任务中的IoU交并比等。效率与资源评估模型参数量Params、浮点运算数FLOPs、在特定硬件CPU/GPU上的推理延迟Latency、吞吐量Throughput和内存占用Memory Usage。可视化与可解释性提供混淆矩阵、ROC曲线、PR曲线、特征图可视化等工具帮助开发者直观理解模型行为。数据集与流程管理支持常见数据集如COCO, ImageNet的便捷加载以及标准化的训练-验证-测试流程。常见的开源评估框架包括TorchMetrics,MMEvaluation (OpenMMLab),Hugging Face Evaluate等。它们各有侧重选择哪一个取决于你的技术栈PyTorch, TensorFlow、任务类型视觉、NLP以及对易用性、灵活性的要求。2. 环境准备与项目初始化我们的实战目标是使用一个预训练的YOLOv11教师模型来蒸馏一个更小的YOLO网络学生模型并使用不同的评估框架全面评测蒸馏效果。2.1 环境配置我们选择PyTorch作为深度学习框架因为它拥有最活跃的模型蒸馏社区和丰富的评估库支持。# 创建并激活虚拟环境推荐 conda create -n model_distill python3.9 conda activate model_distill # 安装PyTorch请根据你的CUDA版本访问官网获取对应命令 # 例如对于CUDA 11.8 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 安装其他必要库 pip install numpy pandas matplotlib opencv-python Pillow pip install tqdm tensorboard # 用于进度监控和可视化2.2 安装评估框架我们将安装两个最具代表性的评估框架进行对比演示# 1. TorchMetrics: PyTorch原生的指标库轻量、易集成 pip install torchmetrics # 对于特定任务可以安装扩展 pip install torchmetrics[detection] # 包含目标检测指标如mAP # 2. Hugging Face Evaluate: 来自Hugging Face生态支持海量指标和数据集尤其适合NLP但也支持CV pip install evaluate2.3 项目结构创建一个清晰的项目目录是良好工程实践的开始。yolov11_distillation_demo/ ├── configs/ # 配置文件 │ ├── teacher.yaml # 教师模型配置 │ └── student.yaml # 学生模型配置 ├── data/ # 数据集符号链接或存放路径 ├── models/ # 模型定义 │ ├── teacher_model.py │ ├── student_model.py │ └── distillation_loss.py ├── utils/ # 工具函数 │ ├── dataset.py │ ├── metrics_calculator.py # 评估框架封装 │ └── logger.py ├── scripts/ # 执行脚本 │ ├── train_teacher.py │ ├── distill_student.py │ └── evaluate_all.py ├── outputs/ # 输出目录 │ ├── teacher_ckpt/ │ ├── student_ckpt/ │ └── logs/ └── requirements.txt3. 核心原理与损失函数实现蒸馏的核心在于损失函数的设计。我们将实现一个结合了蒸馏损失和学生任务损失的完整损失函数。3.1 知识蒸馏损失函数在models/distillation_loss.py中我们实现一个通用的蒸馏损失类。import torch import torch.nn as nn import torch.nn.functional as F class DistillationLoss(nn.Module): 知识蒸馏损失函数。 结合了教师模型软标签的KL散度损失和学生模型对真实标签的交叉熵损失。 def __init__(self, temperature4.0, alpha0.7): 参数: temperature (float): 温度参数用于平滑概率分布。值越大分布越平滑。 alpha (float): 蒸馏损失权重。总损失 alpha * distill_loss (1-alpha) * student_loss super().__init__() self.temperature temperature self.alpha alpha self.kl_div nn.KLDivLoss(reductionbatchmean) self.ce_loss nn.CrossEntropyLoss() def forward(self, student_logits, teacher_logits, labels): 前向传播计算损失。 参数: student_logits: 学生模型的原始输出未经过softmax。 teacher_logits: 教师模型的原始输出未经过softmax。 labels: 真实数据的硬标签。 返回: total_loss: 加权后的总损失。 # 1. 计算蒸馏损失KL散度 # 对logits应用温度缩放然后计算softmax得到概率分布 student_soft F.log_softmax(student_logits / self.temperature, dim1) teacher_soft F.softmax(teacher_logits / self.temperature, dim1) distill_loss self.kl_div(student_soft, teacher_soft) * (self.temperature ** 2) # 乘以 T^2 是为了在梯度回传时保持损失尺度与原始logits匹配 # 2. 计算学生任务损失交叉熵 student_loss self.ce_loss(student_logits, labels) # 3. 加权结合两种损失 total_loss self.alpha * distill_loss (1 - self.alpha) * student_loss return total_loss, distill_loss, student_loss关键参数解释温度 (T)控制输出概率分布的平滑程度。T1时就是标准的softmaxT越大概率分布越“软”各类别概率差异变小蕴含的类别间关系信息更丰富。通常需要调优一般设置在3-10之间。权重 (α)平衡知识蒸馏和真实标签监督的强度。如果教师模型非常可靠可以增大α如果数据集标注质量高可以适当减小α让学生更多地向真实标签学习。4. 实战YOLOv11模型蒸馏全流程为了简化示例我们假设YOLOv11是一个类似YOLOv5/v8的检测模型。我们将使用一个简化版的检测头来模拟教师和学生模型。实际项目中你可以替换为真实的YOLO实现。4.1 构建模拟的教师与学生模型在models/teacher_model.py和models/student_model.py中我们定义两个复杂度不同的CNN网络。# models/teacher_model.py import torch.nn as nn class TeacherYOLOv11(nn.Module): 模拟的复杂教师模型YOLOv11 def __init__(self, num_classes80): super().__init__() # 假设的骨干网络更深更宽 self.backbone nn.Sequential( nn.Conv2d(3, 64, 7, stride2, padding3), nn.BatchNorm2d(64), nn.ReLU(), nn.MaxPool2d(2), # ... 更多层 nn.Conv2d(256, 512, 3, padding1), nn.BatchNorm2d(512), nn.ReLU(), ) # 检测头 self.detection_head nn.Sequential( nn.Conv2d(512, 1024, 1), nn.ReLU(), nn.Conv2d(1024, num_classes 5, 1), # 4(bbox)1(obj)num_classes ) def forward(self, x): features self.backbone(x) predictions self.detection_head(features) # 实际YOLO会进行解码这里返回logits用于示例 return predictions # models/student_model.py class StudentYOLO(nn.Module): 模拟的轻量学生模型 def __init__(self, num_classes80): super().__init__() # 更轻量的骨干网络 self.backbone nn.Sequential( nn.Conv2d(3, 32, 3, stride2, padding1), nn.BatchNorm2d(32), nn.ReLU(), nn.MaxPool2d(2), # ... 更少的层 nn.Conv2d(128, 256, 3, padding1), nn.BatchNorm2d(256), nn.ReLU(), ) # 更简单的检测头 self.detection_head nn.Sequential( nn.Conv2d(256, 512, 1), nn.ReLU(), nn.Conv2d(512, num_classes 5, 1), ) def forward(self, x): features self.backbone(x) predictions self.detection_head(features) return predictions4.2 实现蒸馏训练循环这是最核心的步骤在scripts/distill_student.py中实现。import torch from torch.utils.data import DataLoader from models.teacher_model import TeacherYOLOv11 from models.student_model import StudentYOLO from models.distillation_loss import DistillationLoss from utils.dataset import get_coco_dataloader # 假设的数据集加载函数 from utils.metrics_calculator import Evaluator # 后续实现的评估器 import os def distill_student(): # 配置参数 device torch.device(cuda if torch.cuda.is_available() else cpu) num_epochs 50 batch_size 16 temperature 4.0 alpha 0.7 # 1. 加载数据 train_loader, val_loader get_coco_dataloader(batch_sizebatch_size) # 2. 初始化模型 teacher TeacherYOLOv11(num_classes80).to(device) student StudentYOLO(num_classes80).to(device) # 加载预训练的教师模型权重假设已存在 teacher_ckpt torch.load(./outputs/teacher_ckpt/best.pth, map_locationdevice) teacher.load_state_dict(teacher_ckpt[model]) teacher.eval() # 教师模型在蒸馏过程中不更新参数 # 3. 定义损失函数和优化器 criterion DistillationLoss(temperaturetemperature, alphaalpha) optimizer torch.optim.Adam(student.parameters(), lr1e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_maxnum_epochs) # 4. 初始化评估器使用TorchMetrics evaluator Evaluator(taskdetection, devicedevice) # 5. 蒸馏训练循环 for epoch in range(num_epochs): student.train() running_total_loss 0.0 running_distill_loss 0.0 running_student_loss 0.0 for batch_idx, (images, targets) in enumerate(train_loader): images images.to(device) # targets 包含真实标签和边界框这里简化处理假设targets[labels]是类别标签 labels targets[labels].to(device) # 前向传播 with torch.no_grad(): # 教师模型不计算梯度 teacher_logits teacher(images) student_logits student(images) # 计算损失 total_loss, distill_loss, student_loss criterion(student_logits, teacher_logits, labels) # 反向传播与优化 optimizer.zero_grad() total_loss.backward() optimizer.step() # 记录损失 running_total_loss total_loss.item() running_distill_loss distill_loss.item() running_student_loss student_loss.item() # 更新学习率 scheduler.step() # 6. 定期在验证集上评估 if (epoch 1) % 5 0: student.eval() evaluator.reset() with torch.no_grad(): for val_images, val_targets in val_loader: val_images val_images.to(device) val_labels val_targets[labels].to(device) student_logits student(val_images) # 更新评估器指标这里简化实际需处理检测框 # evaluator.update(preds, targets) # metrics evaluator.compute() # print(fEpoch [{epoch1}/{num_epochs}], Val mAP: {metrics[map]:.4f}) student.train() # 打印训练信息 avg_total_loss running_total_loss / len(train_loader) print(fEpoch [{epoch1}/{num_epochs}], Total Loss: {avg_total_loss:.4f}, fDistill Loss: {running_distill_loss/len(train_loader):.4f}, fStudent Loss: {running_student_loss/len(train_loader):.4f}) # 7. 保存蒸馏后的学生模型 os.makedirs(./outputs/student_ckpt, exist_okTrue) torch.save({ epoch: num_epochs, model_state_dict: student.state_dict(), optimizer_state_dict: optimizer.state_dict(), loss: avg_total_loss, }, f./outputs/student_ckpt/distilled_student.pth) print(Distillation training finished. Model saved.) if __name__ __main__: distill_student()5. 集成开源评估框架进行全方位评测训练完成后我们需要科学地评估学生模型的性能。我们将封装一个评估器支持切换不同的后端框架。5.1 使用 TorchMetrics 进行评估TorchMetrics 与 PyTorch 无缝集成计算指标时会自动处理设备CPU/GPU和分布式训练。# utils/metrics_calculator.py (部分代码) import torch from torchmetrics.detection.mean_ap import MeanAveragePrecision from torchmetrics.classification import Accuracy, Precision, Recall, F1Score class TorchMetricsEvaluator: 基于TorchMetrics的评估器 def __init__(self, num_classes, taskclassification, devicecpu): self.device device self.task task if task detection: # 目标检测任务使用mAP self.map_metric MeanAveragePrecision(iou_typebbox, class_metricsTrue).to(device) elif task classification: # 分类任务使用常用指标 self.acc_metric Accuracy(taskmulticlass, num_classesnum_classes).to(device) self.precision_metric Precision(taskmulticlass, num_classesnum_classes, averagemacro).to(device) self.recall_metric Recall(taskmulticlass, num_classesnum_classes, averagemacro).to(device) self.f1_metric F1Score(taskmulticlass, num_classesnum_classes, averagemacro).to(device) def update(self, preds, targets): 更新指标状态 if self.task detection: # preds和targets需要是特定格式的列表包含‘boxes’, ‘scores’, ‘labels’ self.map_metric.update(preds, targets) elif self.task classification: # preds是logits或预测类别targets是标签 self.acc_metric.update(preds, targets) self.precision_metric.update(preds, targets) self.recall_metric.update(preds, targets) self.f1_metric.update(preds, targets) def compute(self): 计算所有指标 results {} if self.task detection: map_results self.map_metric.compute() results[map] map_results[map].item() results[map_50] map_results[map_50].item() results[map_75] map_results[map_75].item() elif self.task classification: results[accuracy] self.acc_metric.compute().item() results[precision] self.precision_metric.compute().item() results[recall] self.recall_metric.compute().item() results[f1] self.f1_metric.compute().item() return results def reset(self): 重置指标状态 if self.task detection: self.map_metric.reset() elif self.task classification: self.acc_metric.reset() self.precision_metric.reset() self.recall_metric.reset() self.f1_metric.reset()5.2 使用 Hugging Face Evaluate 进行评估Hugging Face Evaluate 提供了极其丰富的指标库并且易于与数据集集成。# utils/metrics_calculator.py (续) import evaluate class HuggingFaceEvaluator: 基于Hugging Face Evaluate的评估器 def __init__(self, metric_nameaccuracy): # 加载指标支持非常多accuracy, precision, recall, f1, rouge, bleu, matthews_correlation... self.metric evaluate.load(metric_name) # 对于检测任务可能需要组合多个指标或使用自定义脚本 if metric_name mean_average_precision: # 实际使用时可能需要加载自定义的mAP计算脚本 pass def add_batch(self, predictionsNone, referencesNone, **kwargs): 添加一批预测和参考结果 self.metric.add_batch(predictionspredictions, referencesreferences, **kwargs) def compute(self, predictionsNone, referencesNone, **kwargs): 计算指标 # 可以一次性计算也可以基于add_batch累积的数据计算 if predictions is not None and references is not None: results self.metric.compute(predictionspredictions, referencesreferences, **kwargs) else: results self.metric.compute() return results5.3 统一评估接口与效率测试我们创建一个统一的评估器并加入模型效率分析。# utils/metrics_calculator.py (续) import time from thop import profile # 需要安装 pip install thop from torch.profiler import profile, record_function, ProfilerActivity class ComprehensiveEvaluator: 综合评估器指标 效率 def __init__(self, model, input_shape(1, 3, 640, 640), devicecpu): self.model model.to(device) self.device device self.input_shape input_shape self.torchmetrics_eval TorchMetricsEvaluator(num_classes80, taskdetection, devicedevice) self.hf_eval HuggingFaceEvaluator(accuracy) # 示例用分类指标 def evaluate_performance(self, dataloader): 在数据集上评估性能指标 self.model.eval() self.torchmetrics_eval.reset() with torch.no_grad(): for images, targets in dataloader: images images.to(self.device) preds self.model(images) # 将预测和标签转换为评估器需要的格式此处需根据任务具体实现 # formatted_preds, formatted_targets self._format_for_eval(preds, targets) # self.torchmetrics_eval.update(formatted_preds, formatted_targets) metrics self.torchmetrics_eval.compute() return metrics def evaluate_efficiency(self): 评估模型效率参数量、FLOPs、推理延迟 dummy_input torch.randn(self.input_shape).to(self.device) results {} # 1. 参数量与FLOPs (使用thop) flops, params profile(self.model, inputs(dummy_input,), verboseFalse) results[GFLOPs] flops / 1e9 results[Params(M)] params / 1e6 # 2. 推理延迟 (预热 多次测量取平均) self.model.eval() with torch.no_grad(): # 预热 for _ in range(10): _ self.model(dummy_input) # 测量 torch.cuda.synchronize() if self.device cuda else None start_time time.perf_counter() for _ in range(100): _ self.model(dummy_input) torch.cuda.synchronize() if self.device cuda else None end_time time.perf_counter() avg_latency (end_time - start_time) / 100 * 1000 # 毫秒 results[Avg Latency(ms)] avg_latency # 3. 吞吐量 (基于延迟计算) results[Throughput(FPS)] 1000 / avg_latency if avg_latency 0 else 0 return results def compare_with_baseline(self, teacher_model, baseline_student_model, dataloader): 与教师模型和未经蒸馏的学生基线模型对比 print(\n *60) print(模型性能对比报告) print(*60) models { 教师模型 (Teacher): teacher_model, 学生模型-蒸馏后 (Student-Distilled): self.model, 学生模型-基线 (Student-Baseline): baseline_student_model } comparison_data [] for name, model in models.items(): evaluator ComprehensiveEvaluator(model, self.input_shape, self.device) perf_metrics evaluator.evaluate_performance(dataloader) eff_metrics evaluator.evaluate_efficiency() metrics {**perf_metrics, **eff_metrics} metrics[Model] name comparison_data.append(metrics) print(f\n--- {name} ---) print(f 性能指标: mAP: {perf_metrics.get(map, N/A):.4f}, mAP0.5: {perf_metrics.get(map_50, N/A):.4f}) print(f 效率指标: 参数量: {eff_metrics[Params(M)]:.2f}M, GFLOPs: {eff_metrics[GFLOPs]:.2f}, 延迟: {eff_metrics[Avg Latency(ms)]:.2f}ms) # 可以进一步生成对比图表 return comparison_data6. 常见问题与排查思路在模型蒸馏和评估过程中你可能会遇到以下典型问题。问题现象可能原因排查思路与解决方案蒸馏后学生模型性能反而下降1. 温度参数T设置不当。2. 蒸馏损失权重α过高或过低。3. 教师模型本身在该任务上泛化能力差。4. 学生模型容量过小无法承载教师知识。1.调整温度T尝试在 [2, 10] 范围内调整观察验证集损失变化。2.调整权重α进行网格搜索例如尝试 [0.3, 0.5, 0.7, 0.9]。3.验证教师模型单独评估教师模型在验证集上的表现。4.增大学生模型适当增加学生模型的层数或通道数。训练过程不稳定损失震荡大1. 学习率设置过高。2. 批次大小Batch Size太小。3. 教师模型和学生模型的输出尺度差异大。1.降低学习率尝试使用学习率预热Warmup或余弦退火调度器。2.增大Batch Size在显存允许范围内增加或使用梯度累积。3.标准化输出考虑对教师和学生的logits进行归一化处理。评估指标计算异常如mAP为01. 预测结果和真实标签的格式不符合评估库要求。2. 评估时置信度阈值或IoU阈值设置不合理。3. 数据预处理/后处理如NMS有误。1.检查数据格式仔细阅读所用评估库如TorchMetrics的MeanAveragePrecision对输入格式的文档要求。2.调整阈值检查评估器初始化时的iou_thresholds和confidence_threshold参数。3.验证单样本取一个批次的数据手动检查经过模型和前/后处理后的预测框和标签框是否合理。效率评估中FLOPs或延迟异常1. 输入张量形状设置错误。2. 模型在评估时未设置为eval()模式存在Dropout或BatchNorm层统计量不稳定。3. 测量环境有干扰如GPU有其他任务。1.确认输入形状input_shape应与模型实际推理时的形状一致包括批次维度。2.切换模型模式在测量前务必调用model.eval()。3.清空缓存隔离环境使用torch.cuda.empty_cache()并在安静的GPU环境下测量。Hugging Face Evaluate加载指标失败1. 指标名称拼写错误或不存在。2. 网络问题导致无法从Hub下载。3. 本地自定义指标路径错误。1.核对指标名在Hugging Face官网的Evaluate指标库中搜索确认。2.使用离线模式提前下载指标文件或检查网络连接。3.使用绝对路径加载本地脚本时使用完整的文件路径。7. 最佳实践与工程建议将模型蒸馏与评估融入实际生产管线需要遵循以下工程准则建立严谨的评估基准线在开始蒸馏前必须训练一个不使用蒸馏、仅用真实标签训练的学生模型作为基线。这是衡量蒸馏是否带来增益的唯一客观标准。评估应在一个固定的、有代表性的测试集上进行该测试集在训练和验证阶段都不可见。实施分阶段评估策略训练时监控验证集上的损失和关键指标如准确率、mAP用于早停和调参。训后在测试集上进行全面评估包括精度指标和效率指标。部署前在目标硬件如特定的边缘设备、手机型号上进行端到端的延迟和功耗测试模拟真实场景。自动化评估流水线将评估脚本与CI/CD工具如Jenkins, GitLab CI集成。每次模型训练或代码更新后自动触发评估生成报告并与历史结果对比。使用TensorBoard、Weights Biases或MLflow等工具记录每次实验的超参数、指标和模型文件便于回溯和分析。关注可复现性固定随机种子torch.manual_seed(...)np.random.seed(...)。将实验配置超参数、模型结构、数据集路径保存为YAML或JSON文件与代码一同提交。记录详细的运行环境信息Python版本、库版本、CUDA版本。理解评估指标的局限性mAP/准确率高不代表模型好需结合混淆矩阵分析模型在哪些类别上表现差是否存在类别不平衡问题。延迟低不代表用户体验好对于端侧应用还需考虑模型加载时间、首次推理延迟、内存峰值占用和发热情况。选择合适的评估框架追求轻量与集成选TorchMetrics。它与PyTorch训练循环天生契合代码简洁。追求指标丰富性与社区性选Hugging Face Evaluate。尤其适合NLP任务和快速尝试多种指标。计算机视觉任务尤其是研究可以考虑MMDetection或Detectron2内置的评估工具它们对COCO等标准数据集的评估支持最完善。安全与合规性确保用于训练和评估的数据集已获得合法授权不包含个人隐私信息。在评估模型效率时如果涉及用户设备需明确告知用户并获取同意。对模型进行安全测试评估其对抗样本的鲁棒性避免在关键场景部署不稳定的模型。通过本文的梳理你应该已经掌握了从零开始实施模型蒸馏并运用开源评估框架对模型进行多维度、自动化评测的完整流程。模型蒸馏不是简单的“黑箱”技巧其效果严重依赖于对损失函数、超参数以及师生模型架构的精心设计。而评估也绝非仅仅看一个准确率数字它是对模型精度、速度、资源消耗和鲁棒性的综合考量。建议你在自己的项目上从构建一个坚实的基线模型开始逐步引入蒸馏技术并利用文中提供的评估工具和对比方法科学地验证每一步的优化效果最终找到最适合你业务场景的“小”而“强”的模型。