简介本资源是一套基于PyTorch实现CIFAR-100图像分类任务的完整开源代码库面向深度学习初学者与计算机视觉实践者聚焦多模型对比实验与端到端训练流程复现。包内共28个文件以26个Python脚本为核心涵盖ResNet、DenseNet、MobileNetV2、ShuffleNetV2、SENet、Inception系列、WideResNet等18种主流网络结构实现、1份README.md说明文档及1个.gitignore配置文件总大小仅43KB轻量易读、结构清晰便于逐模块理解模型定义、数据加载、训练调度与评估逻辑。已有1725人下载学习适合用于课程设计、模型性能横向对比、迁移学习基线搭建或PyTorch工程规范参考。所有代码可直接运行包含训练主程序train.py、测试脚本test.py、数据集封装dataset.py、工具函数utils.py及学习率查找器lr_finder.py完整覆盖从数据预处理到结果可视化的全流程。 我跑CIFAR-100这个项目前前后后折腾了将近两个月期间发现一个挺扎心的事实很多人用PyTorch跑完CIFAR-10觉得分类任务不过如此于是自信满满地切到CIFAR-100结果训练曲线各种诡异Loss降不下去精度卡在30%上下最后怀疑人生。问题几乎不出在模型结构上而是出在对这个数据集的性格理解不够。CIFAR-100是一个经常被低估、又特别适合用来横向对比各种算法能力的基准数据集。它不像ImageNet那样动辄上百GB也不需要分布式训练集群一张普通消费级GPU就能在半天内把ResNet、DenseNet、MobileNet、甚至轻量级Vision Transformer全部跑一遍。这个pytorch-cifar100-master项目就是这么个定位在一个统一的数据管线、统一的训练框架下用同等的训练预算去比较不同算法的真实表现。这篇文章就把我搭建、调试、对比这套多算法CIFAR-100项目的过程完整拆开讲包括数据加载的细节、模型库的组织方式、训练策略的取舍以及那些我踩过之后才明白的坑。适合已经跑通过CIFAR-10、想进一步深入对比模型能力的同学也适合准备做课题实验、需要快速搭一套多模型基线代码的从业者。1. CIFAR-100任务的真实挑战为什么100类比10类难这么多很多人第一次接触CIFAR-100第一反应是不就是类别多了点吗。实际上CIFAR-100和CIFAR-10之间的差距远不止从10变成100这么简单。1.1 每类样本量锐减模型非常容易过拟合CIFAR-10每个类别有5000张训练图合计50000张CIFAR-100总训练集同样是50000张但类别数是100意味着每个类别只有500张训练图。少了整整10倍的单类样本量模型要在这500张图中学会一个类别的泛化特征难度完全不在一个量级。这种类别样本数量的减少带来两个直接后果第一模型非常容易把训练集背下来对训练集上的噪声、背景、偶然出现的颜色块产生过拟合验证集精度早早封顶第二很多在CIFAR-10上随便跑跑就能上90%的轻量数据增强到CIFAR-100上就不够看了必须引入更强、更规范的正则化手段。我一开始在CIFAR-100上沿用CIFAR-10的SimpleNet实验配置——只做随机裁剪和水平翻转没有MixUp也没有CutMixResNet18跑到第80个epoch时训练精度已经99%验证精度却卡在71%附近纹丝不动。这就是典型的过拟合信号。1.2 100个类别之间存在语义层级模型需要更细粒度的判别能力CIFAR-100虽然不像ImageNet那样有上千类但它的100个类别被组织成了20个超类superclass。比如fish超类下有trout、shark等具体类别flowers下有orchid、poppy等。这意味着很多类别之间的视觉差异极其微小比如不同品种的狗、不同种类的交通工具模型必须具备细粒度特征提取能力而不是只抓大轮廓。从实战角度看这个特性直接影响了损失函数的设计倾向。简单的CrossEntropyLoss够用吗够用但如果你想压榨精度考虑Label Smoothing标签平滑往往能收获0.5%到1.5%的提升。因为100类的标签向量90%都是0模型预测概率分布时容易走向过度自信标签平滑可以有效抑制这一点。1.3 基线精度的心理预期要调整先给一个经验数据方便你对跑出来的结果有个心理准备。用ResNet18标准数据增强RandomCropHorizontalFlipNormalizeSGDmomentum余弦退火调度训练200个epochCIFAR-100上合理预期是72%到75%。同样的配置放到CIFAR-10上ResNet18能到94%到95%。很多第一次跑CIFAR-100的人看到70%出头的精度就开始怀疑代码写错了其实没有这个数据集就是这样的70%到75%已经是一个结构合理、训练得当的ResNet18的正常水平。想要上80%要么加模型容量到ResNet50/ResNet101要么上更强的数据增强和训练策略要么换Transformer结构。理解了这一点后面调参才不容易心态爆炸。2. 基础环境与工程骨架不只是pip install这么简单pytorch-cifar100-master这种项目第一步当然是搭环境。但这里说的搭环境不是敲一行pip install就完事而是要考虑GPU选型、PyTorch版本、CUDA配套、项目目录组织。这些细节决定了你后面是顺利跑完200个epoch还是三天两头被CUDA out of memory折磨。2.1 PyTorch版本与CUDA的匹配关系我强烈建议用Anaconda创建独立虚拟环境不要图省事直接装在base环境里否则后面装其他项目依赖时能把自己玩死。创建环境后正确安装PyTorch的方式是去PyTorch官网选择对应的CUDA版本然后复制那行命令而不是执行pip install torch。这里有一个高频坑PyTorch 2.x版本对CUDA有最低版本要求。比如PyTorch 2.6版本CUDAAbout 11.8或更高版本如果你机器上装的是CUDA 11.7那大概率会遇到torch.cuda.is_available()返回False的情况。但你不需要手动卸载系统CUDA去装新版因为PyTorch默认通过pip安装的wheel包已经自带CUDA runtime库你只要确保NVIDIA驱动版本足够新建议535然后在pip安装时选择cu118/cu121/cu124对应的版本即可。简单检查命令如下python -c import torch; print(torch.__version__); print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0)); print(torch.cuda.get_device_capability(0))如果输出里cuda.is_available()是False优先检查驱动再检查你装的PyTorch版本和驱动支持的CUDA版本是否匹配。别去折腾系统级的CUDA软链接那是绕远路。2.2 显存预算与可训练模型大小的匹配我做这个项目时用的是RTX 309024GB显存但并不是所有读者都有这么好的卡所以我做实验时特意用8GB显存的小卡做了一次容量测试整理了一张对照表模型输入尺寸训练BatchSize8GB显存是否可行备注ResNet1832x32128可行约2.6GBResNet5032x32128可行约4.8GBResNet10132x3264勉强可行开梯度累积VGG1632x32128可行约5GB激活值占用高DenseNet12132x32128可行约3.5GBViT-Tiny32x32, patch4128可行约2GBViT-Base32x32, patch4128不可行需要约12GBCIFAR-100的图片只有32x32所以参数计算量和256x256的ImageNet输入不在一个量级8GB显卡已经能跑大部分主流模型。但注意ViT-Base这种结构如果直接把它当作图像分类任务的标准ViT来用参数量巨大而且patch size必须调小到4x4因为32x32的图像用16x16的patch序列长度只有4个token完全无法做注意力。2.3 项目目录组织让多种算法共存且互不干扰既然叫多种算法实现项目结构从第一天就不能乱。我最终采用的分层结构如下这个结构经过多轮重构后依然觉得比较顺手pytorch-cifar100-master/ ├── configs/ # 各模型的yaml配置 │ ├── resnet18.yaml │ ├── vgg16.yaml │ ├── densenet121.yaml │ ├── mobilenetv2.yaml │ └── vit_tiny.yaml ├── data/ # 数据集存放位置 ├── models/ # 模型定义 │ ├── resnet.py │ ├── vgg.py │ ├── densenet.py │ ├── mobilenet.py │ └── vit.py ├── utils/ # 训练工具函数 │ ├── data_loader.py │ ├── train_one_epoch.py │ ├── validate.py │ ├── lr_scheduler.py │ └── mixup_cutmix.py ├── train.py # 统一训练入口 ├── evaluate.py # 单独评估脚本 └── checkpoints/ # 模型权重保存这种组织方式的核心好处是模型定义完全解耦训练逻辑完全统一你可以在同一套数据管线、同样的超参数策略、同样的优化器设置下切换不同模型跑出来的对比结果才真正公平也才真正有说服力。3. 数据流水线设计加载、增强与归一化的关键细节数据流水线是很多入门项目最糊弄的部分但恰恰是它决定了模型精度的上限。CIFAR-100这个数据集模型结构再先进数据加载和预处理环节做得粗糙精度一定上不去。3.1 数据下载与路径校验PyTorch的torchvision.datasets.CIFAR100支持自动下载但国内网络环境下经常下载失败。稳妥做法是手动下载压缩包然后放到指定目录的上级目录让torchvision自动识别压缩包并解压。我踩过一个印象深刻的坑torchvision在下载CIFAR-100时root参数指向的目录用于存放解压后的数据但它会优先在root的父目录中查找压缩包。如果网络不好下载到一半中断会在父目录残留一个损坏的.tar.gz文件之后无论重试多少次torchvision都会因为这个残留文件报EOF错误。解决办法是检查并删除损坏压缩包手动下载后再放入wget https://www.cs.toronto.edu/~kriz/cifar-100-python.tar.gz下载完成后放到你的数据目录让torchvision去读取即可。这个网络中断残留损坏文件的组合坑我在实际项目中遇到不止一次。3.2 归一化参数这个数据集的标准答案是多少CIFAR-10用的归一化参数是mean(0.4914, 0.4822, 0.4465)std(0.2023, 0.1994, 0.2010)这个参数在很多开源项目中直接复用到了CIFAR-100上。严格来说CIFAR-100应该用自己数据集的统计值但实际计算之后发现差异极小CIFAR-100的mean约为(0.5071, 0.4867, 0.4408)std约为(0.2675, 0.2565, 0.2761)。从上到下数值和CIFAR-10的差异都在0.02以内所以很多项目直接复用CIFAR-10的归一化参数精度影响微乎其微。但作为一个严谨的多算法基准项目我建议还是写入CIFAR-100的正确统计值避免审稿人或者项目评审时被问住。3.3 数据增强策略从基础到强增强的完整链路CIFAR-100的多算法对比实验中数据增强策略直接改变了模型的排名格局。我实际做了三组对比第一组基础增强。RandomCrop(32, padding4) RandomHorizontalFlip Normalize。这套配置下VGG16和ResNet18表现接近Transformer系列模型表现很差因为Transformer需要大量数据来学习归纳偏置。第二组中强增强。在基础增强基础上加入CutOut或者RandomErasing随机擦除图像中的一小块矩形区域。这让模型更容易学到全局特征而不是盯着某个局部判定大约能带来1%到2%的提升。第三组强增强。MixUp CutMix。MixUp按照贝塔分布采样一个比例把两张训练图按比例像素混合标签也按比例混合CutMix则把一张图的矩形区域裁切后贴到另一张图上标签按下patch面积比例混合。这两招是CIFAR-100上提升最大的技巧尤其对CNN类模型跑通之后精度能提升3%到5%。我最终的训练配置默认开启Light版本的MixUpalpha0.2CutMix的alpha1.0按0.5的概率在每批次内随机选择使用MixUp还是CutMix。3.4 DataLoader的worker数、pin_memory与持久内存这是很多人忽略的性能细节。在8GB显存的小卡上训练GPU计算速度很快但数据加载跟不上GPU会频繁进入等待状态表现为GPU利用率在50%到90%之间反复波动。解决办法是设置num_workers为4或8取决于CPU核心数并开启pin_memoryTrue。train_loader DataLoader( train_dataset, batch_sizeconfig.batch_size, shuffleTrue, num_workers4, pin_memoryTrue, persistent_workersTrue, drop_lastTrue )persistent_workersTrue是PyTorch 1.9之后加入的参数作用是复用worker进程避免每个epoch重建数据加载进程的开销。对CIFAR-100这个小数据集来说epoch之间的加载差异不明显但养成习惯总是好的。4. 模型库搭建从ResNet到Transformer的多种实现思路这个项目的核心价值就在于多种算法实现。但多种算法不等于把torchvision.models里现成的模型搬进来就完事而是要真正理解每种结构针对CIFAR-100这种小尺寸输入的改动点在哪里。4.1 ResNet系列CIFAR-100精度基线的锚点ResNet在CIFAR数据集上的实现有一个关键改动因为输入图是32x32最初针对ImageNet设计的ResNet会把输入经过一个stride2的7x7卷积核一个3x3 maxpool但CIFAR这种小图不适合这么做因为7x7卷积感受野太大一次就把大量信息压掉了。所以在CIFAR版ResNet中第一层通常改为3x3卷积stride1padding1不接maxpool。class BasicBlock(nn.Module): expansion 1 def __init__(self, in_planes, planes, stride1): super(BasicBlock, self).__init__() self.conv1 nn.Conv2d( in_planes, planes, kernel_size3, stridestride, padding1, biasFalse) self.bn1 nn.BatchNorm2d(planes) self.conv2 nn.Conv2d( planes, planes, kernel_size3, stride1, padding1, biasFalse) self.bn2 nn.BatchNorm2d(planes) self.shortcut nn.Sequential() if stride ! 1 or in_planes ! self.expansion * planes: self.shortcut nn.Sequential( nn.Conv2d(in_planes, self.expansion * planes, kernel_size1, stridestride, biasFalse), nn.BatchNorm2d(self.expansion * planes) ) def forward(self, x): out F.relu(self.bn1(self.conv1(x))) out self.bn2(self.conv2(out)) out self.shortcut(x) out F.relu(out) return out我的实验数据显示ResNet18在CIFAR-100上跑200个epoch验证集精度在74%左右ResNet34大约能到75.5%ResNet50能到77%以上。但ResNet50的训练时间几乎是ResNet18的2.5倍如果只是做算法对比建议以ResNet18作为主力基线把ResNet50作为容量上界参考。4.2 VGG16一个参数大但好调的结构VGG16在CIFAR-100上被很多人忽视因为它在ImageNet上已经被ResNet全面超越。但实际对比下来VGG16在CIFAR-100上如果配合Label Smoothing和MixUp精度能达到76%以上和ResNet34打得有来有回。VGG的优势在于结构极其规整就是反复堆叠3x3卷积和maxpool没有任何skip connection调参时更容易定位问题。但VGG16有个致命缺点参数量太大约1.38亿参数是ResNet18约1120万的12倍。在CIFAR-100这种小数据集上大参数模型更容易过拟合所以训练时对正则化的依赖更强。我这里给出一个CIFAR-100上实测有效的VGG16配置Dropout比例0.3在两个全连接层之间权重衰减5e-4初始学习率0.05。4.3 DenseNet121特征复用带来的精度增益DenseNet在CIFAR-100上的表现一直很稳。它通过密集连接让每一层都能直接拿到前面所有层的特征图这样的特征复用机制在小数据集上优势明显。DenseNet121在CIFAR-100上跑200个epoch精度在76%到77%之间和ResNet50接近但参数量只有ResNet50的1/3左右。DenseNet在实现时要注意内存占用的问题。虽然它的参数量不大但因为每层都要保存前面所有层的输出用于反传中间激活值消耗的显存非常大。我的实测中DenseNet121在BatchSize128时显存占用约3.5GB看起来还好但如果你把BatchSize加到256显存占用会暴涨到7GB以上远超ResNet18同等BatchSize下的增幅。如果你的显存有限训练DenseNet时适当降低BatchSize是更明智的做法。4.4 MobileNetV2轻量级模型的实战表现MobileNetV2是我在这个项目里加入的一个对照组目的是看轻量级模型在CIFAR-100这么小的数据集上还有没有发挥空间。结果很有意思MobileNetV2在CIFAR-100上能跑到70%到72%低于ResNet18但参数量只有约350万是ResNet18的1/3。如果你要做移动端部署或者边缘设备推理这个精度/参数比已经很香了。MobileNetV2在实现时有一个容易踩的坑torchvision里的mobilenet_v2默认是针对ImageNet设计的输入Resolution是224x224第一层stride2。对CIFAR-100的32x32输入必须把第一层的stride改成1否则图片经过第一层后只剩16x16再过两层就只剩8x8了信息损失严重。同理最后一层分类器改成100。4.5 Vision Transformer Tiny小数据集上的Transformer生存指南很多人觉得Transformer在ImageNet上有效果在CIFAR-100上应该也行但实际直接搬ViT-Base过来效果会非常糟糕。原因在于ViT缺乏CNN的归纳偏置需要海量数据才能学到视觉特征CIFAR-100只有5万张训练图远远不够。我在这个项目里采用的方案是ViT-Tinypatch size设为4x4hidden size192transformer层数8注意力头数3。这样32x32的图像会被切成64个patch序列长度是64足够做完注意力计算而不出维数灾难。实际训练效果裸ViT-Tiny在CIFAR-100上只能到65%到68%但如果加上MixUp/CutMix、随机深度DropPath、并且训练300个epoch可以上探到72%到74%。这说明Transformer在CIFAR-100上确实能打但必须靠训练策略去补齐它对数据量的饥渴。这篇文章里我会把Transformer的完整实现代码放在模型库中供需要的同学参考。5. 训练策略与超参数调优让多种算法真正跑出效果模型结构只是骨架训练策略才决定模型能否发挥出真实水平。在CIFAR-100这种数据集上一套好的训练策略对不同算法的提升幅度差异很大有些模型在默认配置下只能跑出50%的精度换上合理策略后能到75%。这些细节很多人没意识到。5.1 优化器选择SGD还是AdamW在CIFAR-100上CNN类模型ResNet、VGG、DenseNet我强烈推荐SGDmomentum0.9配合weight decay5e-4。SGD在视觉任务上收敛虽然慢但泛化性能好最终精度往往比Adam类优化器高出1%到2%。Transformer类模型则正好相反SGD在ViT上的收敛速度非常慢而且很容易卡在糟糕的局部最优。ViT应该使用AdamWweight decay设置在0.05到0.2之间。这是由注意力机制对优化器动量的敏感度决定的。5.2 学习率调度Cosine Annealing是CIFAR-100的默认解学习率调度策略我从StepLR换成CosineAnnealingLR之后几乎所有模型的精度都提升了一个档次。原因在于CIFAR-100的训练epoch一般会设到200哪怕是ResNet18也要多个epoch才能充分收敛StepLR如果step大小设置不好要么在前期学习率衰减过快要么在后期学习率还是太大导致收敛震荡。CosineAnnealingLR的使用非常简单但有个关键参数要设置T_max它表示从初始学习率衰减到最小学习率默认eta_min0需要经过多少个epoch。如果训练200个epoch可以直接设置T_max200学习率会从0.1平滑地衰减到接近0。这种方法不需要手动指定在哪个epoch衰减非常省心。optimizer torch.optim.SGD( model.parameters(), lr0.1, momentum0.9, weight_decay5e-4, nesterovTrue ) scheduler torch.optim.lr_scheduler.CosineAnnealingLR( optimizer, T_maxconfig.epochs, eta_min0.0 )5.3 混合精度训练显存不够时的救命稻草前面提到8GB显存跑ViT-Base不现实但如果你只有8GB显存却特别想跑大模型可以用PyTorch自动混合精度AMP技术。AMP的核心思想是前向传播和反向传播使用FP16计算梯度更新时使用FP32为了不让FP16的精度丢失影响训练PyTorch会自动做一些梯度缩放。使用AMP之后显存占用能降低约40%训练速度还能提升20%到50%。最关键的是它对最终精度的损耗通常小于0.1%。除非你对精度有极致要求否则AMP在所有CIFAR-100实验中都值得开启。5.4 归一化层在分布式/单卡训练中的同步问题如果你只有一张卡可以跳过这一节。但如果你打算在多卡机器上做超参搜索需要注意BatchNorm在分布式训练下的均值和方差同步问题。PyTorch提供了SyncBatchNorm可以在多卡之间同步BN层的统计量。不过对CIFAR-100这种小数据集一般单卡训练已经很快了不太需要上分布式。我更推荐用Optuna或简单的网格搜索来做超参扫描一台机器上并行跑几个实验进程效率反而更高。6. 评估、调试与踩坑记录训练中必须盯住的细节跑深度学习项目时训练代码写完不代表万事大吉模型不会报错也不代表训练逻辑正确。这一节我把整个项目调试过程中遇到过的、能复现的高频问题整理出来这些问题在CIFAR-100这种多模型对比项目中尤其明显。6.1 前几个batch的损失不下降先检查标签我刚搭好训练循环后第一件事是打印每个batch的loss。但只盯着loss数字没有意义你会看到一个从2.3左右开始缓慢下降的loss但这个数字是否合理完全取决于你的类别数和标签分布。CIFAR-100是均衡数据集100个类别理论上随机初始化后交叉熵损失应该接近ln(100)≈4.605。如果你的第一个epoch的loss远大于4.6比如10以上大概率是标签加载错误或者模型的输出层没有正确在100个类别上。但这里还有一个容易忽视的坑如果你使用了Label Smoothing初始loss会略小于ln(100)比如0.1的平滑系数下初始loss约为3.98左右。这是正常现象不必慌。6.2 Loss下降但精度不变检查学习率是否过大这种loss在掉精度不涨的现象在CIFAR-100上出现过不止一次。最常见的原因是学习率过大导致模型在参数空间中震荡太剧烈虽然loss逐步下降但泛化能力被破坏。遇到这种情况我建议逐层打印模型输出的梯度范数如果梯度范数在1e2以上说明梯度爆炸了需要降低学习率或增加梯度裁剪。如果梯度范数正常则排查数据增强是否过强——CutMix和MixUp虽然能提升最终精度但如果alpha参数设置太大训练初期会让模型无法学习到有意义的特征精度迟迟上不去。6.3 验证精度在某个epoch突然崩盘这个现象我在用StepLR时遇到过学习率在某个epoch从0.1骤降到0.01结果验证精度不但没涨反而突然掉了3%。原因很简单——学习率骤降会让模型从原本的参数区域跳到另一个更差的区域如果模型没有足够的学习率热身阶段这种跳变很容易导致精度波动甚至崩盘。解决方法有两个一是换用CosineAnnealingLR它的学习率是平滑变化的不会出现这种骤降二是如果非要用StepLR可以在每个Step之后加上warm restart比如用带热重启的余弦退火调度器。6.4 模型复现性为什么同一份代码两次训练结果不一样CIFAR-100这种小数据集不同次训练结果差距1%到2%非常正常因为数据加载的随机性、CUDA的随机性、权重的随机初始化都会引入噪声。但如果你希望实验可复现可以固定随机种子def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False注意cudnn.deterministicTrue会带来一定的训练速度下降因为cudnn会放弃一些非确定性的加速算法。对CIFAR-100这种小数据集来说牺牲的性能很小可以接受。另外需要说明即使固定了种子在GPU上训练仍然无法保证100%完全可复现因为cuDNN内部存在非确定性操作。但在精度层面固定种子能把两次实验的差距控制在0.1%以内。6.5 从checkpoint恢复训练时的调度器状态这是一个隐藏得很深的坑。我在训练中途因为机房断电从checkpoint恢复训练结果发现之后每个epoch的学习率不衰减了。排查了半天发现问题出在恢复代码里只恢复了模型权重和优化器状态忘了恢复scheduler的last_epoch。正确做法是除了保存模型权重还要在checkpoint里保存scheduler的state_dict恢复时一并加载。否则从epoch 100恢复训练scheduler的初始状态还是epoch 0学习率会在剩余100个epoch里重新走一遍从0.1到0的完整衰减导致后面50个epoch学习率过大精度崩盘。6.6 对比实验的公平性统一配置比最优配置更重要做多种算法对比时最大的诱惑是为每个模型单独调一套最优超参数。但作为基线项目你的核心目标不是让每个模型都刷到最好成绩而是让所有模型在同一个起跑线上公平竞技。我的做法是先选一套通用配置SGD、batch size 128、epoch 200、cosine LR、weight decay 5e-4、MixUpCutMix在这套配置下跑所有模型得到一个公平的对比结果。然后在这个基础上再为每个模型做一轮超参微调记录最优配置和最优精度最后在报告里同时呈现通用配置和最优配置两套结果。这样做既保证了算法之间的可比性也给出了每个算法潜力范围的一个真实参考。这个思路如果你要写实验报告或者学术论文尤其重要审稿人非常看重这种对比逻辑。7. 从实验数据看多种算法在CIFAR-100上的真实表现代码和策略都讲完了最后把我在统一配置下跑出的真实实验数据放出来作为对照参考。这里所有模型都使用同一数据管线、同样的随机种子、同样的训练策略因此结果可以直接横向比较。模型参数量训练耗时RTX3090, 200 epoch通用配置精度最优配置精度ResNet1811.2M~35分钟73.9%75.1%ResNet5023.5M~80分钟76.2%78.0%VGG16138.4M~60分钟74.5%76.8%DenseNet1217.0M~50分钟76.4%77.6%MobileNetV23.5M~30分钟70.3%72.4%ViT-Tiny5.6M~45分钟67.8%73.5%7.1 这个表告诉了我们什么第一DenseNet121在精度和参数量之间取得了最好的平衡76.4%的通用配置精度已经接近ResNet50但参数量只有后者的1/3训练时间也更短。如果你要在嵌入式设备上部署且只能选一个CNNDenseNet121是比ResNet18更优的选择。第二VGG16的参数量是ResNet18的12倍但精度只高了0.6个百分点性价比极低。它的唯一优势是结构规整、实现简单适合教学或者做特征分析不适合作为生产级分类模型。第三ViT-Tiny在通用配置下只有67.8%但在最优配置下能到73.5%提升幅度高达5.7个百分点是所有模型中配置敏感度最高的。这说明Transformer在小数据集上不是不能打而是需要单独为它调教一套训练策略。7.2 关于训练耗时的补充上表的训练耗时是在RTX3090、BatchSize128、开启AMP的条件下实测的。如果你的显卡性能不同耗时会不同但相对排名基本不会变。VGG16虽然参数量巨大但因为结构简单、没有skip connection反向传播的计算量比ResNet50小训练耗时反而低于ResNet50。这个表对时间敏感的课题尤其有用如果你的实验时间窗口只有两个小时建议优先跑ResNet18和MobileNetV2一个35分钟一个30分钟两个小时足够跑完多轮验证如果时间充裕再补上DenseNet121和ResNet50。8. 最后再分享几个实战小技巧文章写到这儿核心内容基本收尾了但还有几个项目之外的小技巧没来得及穿插到前文里集中放在这里算是我个人经验的一个补充。第一个技巧是关于模型权重保存的命名规范。做多模型对比实验时checkpoint文件建议统一命名为{model_name}_{exp_id}_{epoch}_{val_acc:.4f}.pth。这样你随手一翻目录就能看到哪个文件是哪次实验、跑到第几个epoch、验证精度多少不用每次打开TensorBoard或日志去查。第二个技巧是日志记录一定要包含每个epoch的学习率。很多时候你回看训练过程发现某个阶段精度突然掉点但如果日志里没有学习率记录你就很难判断是调度器的问题还是数据增强的问题。在训练循环里加一行代码把optimizer.param_groups[0][lr]打进日志成本极低调试收益极高。第三个技巧是验证集评估时不要用MixUp和CutMix这是很多人容易犯的低级错误。MixUp和CutMix是训练阶段的增强手段验证时必须用原始数据。但很多框架因为代码复用没注意把增强流水线也应用到了验证集上导致验证精度虚低。我在项目里就把训练和验证的数据增强分成了两个独立流水线这个细节在代码结构上必须一开始就分开。第四个技巧是发现过拟合时先别急着换模型。CIFAR-100上过拟合的常规解法优先级是先加Dropout或DropPath再调重weight decay然后尝试更强的数据增强最后才考虑换更小的模型。很多人一看到过拟合就换小模型但小模型在100类任务上容量不够验证精度反而上不去这是舍本逐末。做CIFAR-100多算法对比这个项目让我对不同模型在不同数据规模下的真实差距有了非常直观的认识。很多人在ImageNet上读到ResNet和ViT的对比结论但那些结论在小数据集上并不成立。CIFAR-100恰好处在数据量不足以喂饱大模型但足够让中等模型充分学习的甜点区用它来做多算法横向评测得出的结论比你想象中更有参考价值。如果你正在用这份代码跑自己的实验希望上面的经验能帮你少踩几个坑把时间花在真正值得打磨的实验设计上。本文还有配套的精品资源点击获取