每次坐在显微镜前连续看两三个小时眼睛酸得直流眼泪还要在一堆杂质、气泡、染料残渣里寻找那几颗可能根本不存在的虫卵——这大概是每一位做过寄生虫检验的人都有过的经历。我这两年一直在做一件事把计算机视觉技术用到水样和血液样本的寄生虫卵自动识别上目的是让机器先帮人把视野筛一遍把可疑目标圈出来人只需要复核。这篇文章就把整个项目的思路、选型、踩坑和落地过程完整写一遍包括水样与血样两种样本在图像处理上完全不同的处理逻辑以及我在模型训练和部署中总结出的一套可复用的流程。1. 为什么寄生虫虫卵识别需要计算机视觉显微镜下的现实困境1.1 传统镜检的效率与精度瓶颈寄生虫检验和普通血常规完全不一样。血常规有全自动设备样本进去出来就是一张带散点图和直方图的报告人只需要审核。但寄生虫镜检从样本处理到读片几乎全靠人手操作和肉眼判断。一个熟练的检验人员面对一张水样滤膜或一张血涂片在低倍镜下扫描全片找目标再到高倍镜下确认形态单样本耗时普遍在 10 到 30 分钟之间。这带来两个问题。第一是效率基层检验科室一天如果有几十份样本光镜检就占掉了大半天人员被绑定在显微镜前没有精力做别的。第二是漏检长时间高强度盯视野人眼疲劳之后对小、少、不明显的物体的敏感度会大幅下降。虫卵不是每个视野都有多数时候你在看的是大量空视野和杂质这本身就是在和注意力作斗争。我见过不少因为疲劳漏报的案例复盘结论高度一致目标太小、视野太多、时间太长。1.2 计算机视觉在这个场景里承担的角色所以我对这个项目的定位从一开始就不是替代检验员而是先筛后判。计算机视觉在这个场景里扮演的是初筛员角色自动扫描全片把所有可疑目标框出来并按物种给出置信度检验人员在屏幕上复核确认哪些框是真的哪些是杂质。这样一来人从扫描者转变成了复核者注意力只集中在机器给出的候选框上漏检概率和疲劳程度都能明显降下来。这也是为什么目标检测模型比单纯的图像分类更适合这个任务分类网络只能告诉你这张图里有没有虫卵、是哪类但检验员需要知道在哪个位置、有几个、形态上有什么可疑点。检测框天然就把位置信息带出来了这也是整个项目全部技术选型的地基。1.3 这个项目的目标边界再明确一下处理的样本类型。标题里写了水样与血液样本实际做下来这两种样本里的检测目标差异很大水样主要是水源性寄生虫的卵囊和包囊以及部分蠕虫卵比如隐孢子虫卵囊、贾第鞭毛虫包囊、蛔虫卵、钩虫卵、鞭虫卵这类。血液样本严格来说不是虫卵而是微丝蚴、疟原虫环状体/滋养体这类虫体。但在检测任务里它们和小而规整的目标是同一类问题所以通常归到同一个检测框架里处理。这个区别后面会专门讲因为它在数据采集、图像预处理甚至模型训练策略上都直接决定了完全不同的技术路线。2. 水样与血样的前期处理差异进模型之前的图像学鸿沟很多做算法的人拿到数据就急着标框训练结果模型精度死活上不去问题往往出在图像本身。水样和血样在进入显微镜之前经历了完全不同的物理操作成像结果也完全不同这是一个图像学上的鸿沟比模型选型更值得花时间。2.1 水样的富集、染色与制片流程水样里的虫卵/卵囊浓度其实非常低直接滴片在显微镜下找目标等同于大海捞针。标准做法是先富集用不同孔径的滤膜过滤水样把目标卵囊截留在滤膜上这个过程决定了后续图像背景的干净程度。富集之后是染色。隐孢子虫这类卵囊需要改良抗酸染色贾第鞭毛虫包囊可以用免疫荧光或者金胺酚染色。染色结果直接决定了目标在图像上的颜色和对比度——抗酸染色之后卵囊是粉红色的背景是蓝绿色的对比度很高这其实是模型很好学的一类特征。但这里有个很实际的坑滤膜本身不是绝对平整的。富集后滤膜表面会出现褶皱、气泡和纤维残留这些在显微镜下一部分会被误判为圆形、有边界的目标。所以水样图像预处理里光照不均修正和背景去噪是必须做的否则模型会把大量规则纹理当成候选框假阳性会直接爆表。2.2 血样的推片、染色与多视野采集血涂片是另一套逻辑。血样要先推片再染色常用的是吉姆萨染色。在油镜下红细胞密密麻麻铺满视野白细胞稀少而疟原虫就在红细胞内部或边缘——这是一个在密集背景中找小目标的问题。红细胞是天然的高纹理背景而且会遮挡、重叠目标特征经常是残缺的。微丝蚴相对好一点它比红细胞大一个数量级在低倍镜下就能看到但它的形态是细长的、弯曲的检测框长宽比很不规则对锚框的设计和NMS策略都有影响。血液样本采集还有一个特点视野数量巨大。常规一张血涂片如果做全片扫描在1000倍下需要采集几百个甚至上千个视野。这也引出了后面部署层面的一个关键权衡模型推理速度和全片扫描总时长的关系。2.3 成像标准化一个反复被低估的问题即使样本处理做得再标准不同实验室的显微镜、相机、光源色温也不一样。同一个虫卵在一台显微镜下是粉红色偏橙、在另一台是粉红偏紫模型如果没有见过这种色偏检测能力会明显下降。我的做法是在预处理管线里做色彩归一化。具体包括用标准色卡在项目开始时对显微镜拍照系统做一次白平衡校准在训练前把全部图像转成统一色彩空间并对每个通道做均值方差归一化如果发现跨实验室色差仍然很大就采用染色标准化算法把目标颜色映射到一个参考分布缩小分布差异。这套预处理做完模型的域迁移能力会明显好很多。我在某合作实验室测过同一套模型在另一个实验室的采集设备上直接跑mAP掉点能从 10 个点以上降到 3 个点左右。换句话说成像标准化这件事性价比比换任何模型都高。3. 目标检测方案选型在单阶段与两阶段之间做减法选模型这件事我的建议是先想清楚瓶颈是速度还是精度再决定用哪条技术路线。这个项目里前期在离线分析阶段可以慢慢跑两阶段检测器后期如果要接全片自动扫描就必须考虑单阶段模型的速度优势。两者并不冲突可以先用两阶段模型做金标准再用单阶段模型做初筛。3.1 为什么直接放弃纯分类网络项目早期我也试过用分类网络处理输入是固定尺寸的patch输出是该patch是否包含虫卵。这么做最大的问题是效率一张大视野图像要切成几十个patch逐个推理而且虫卵刚好横跨两个patch时会漏检。此外分类网络无法告诉检验人员目标在这里后续复核价值大打折扣。所以后来我彻底转向了目标检测这一步回头看不算走弯路但确实暴露了一个判断原则任务是找目标还是认目标决定了你第一步该选什么模型家族。3.2 主流检测模型在这个任务上的表现对比我系统对比过几类模型简单整理一下模型推理速度小目标能力标注成本适用阶段Faster R-CNN慢中等中等离线金标准、难例复核YOLOv5/v8快中等需优化低在线初筛、全片扫描EfficientDet中中等中等边缘设备部署Mask R-CNN慢中等偏上高需掩膜标注形态学测量研究虫卵检测本质上是小目标检测问题一般YOLO模型在默认配置下对 20x30 像素的小目标识别并不友好P3层特征图分辨率不够。所以我给YOLO系做的主要改造是增加P2层也就是更高分辨率的特征图或者在高分辨率输入下加上切图推理。实测下来P2层的召回率提升明显尤其是对水样里的小卵囊。Faster R-CNN在这个任务里的最大价值不是部署而是作为精度参考线。它的小目标区域建议网络做得比较细在难例集上的表现通常比YOLO稳。我一般用它来给YOLO挑毛病:能检测到但YOLO漏掉的样本拿去做难例分析针对性补充数据或调整后处理。3.3 选型结论YOLO系为骨架两阶段做验证最终方案是在线扫描主用 YOLOv8 的检测头加P2层离线复核和模型迭代验证用 Faster R-CNN 做交叉检查。这个组合不是为了追求某个榜上的最高精度而是为了让项目在开发效率和落地性能之间站住脚。一个值得记住的经验是模型选型不要只看公开榜单要看你的数据形态。如果你的目标平均只有 30x30 像素那么一切与特征金字塔、上采样相关的结构改动优先级都排在换更大的骨干网络之前。骨干网络再大小目标在深层特征图里也只剩一个点信息早就丢光了。4. 数据集的苦功夫标注规范、类别不平衡与数据增强模型选型顶多占整个项目三分之一的工作量剩下的时间基本都花在数据上。说实话这是整个项目里最枯燥也最重要的一部分。虫卵数据不像公开数据集那样随手能下载每一张带标注的图像都需要从检验工作流程里抠出来这决定了数据质量的上限。4.1 标注类别体系怎么设计我一开始犯过一个错把标注类别设计得和检测目标一样多结果不同种类的虫卵形态相近模型在相似类之间疯狂混淆。后来我把标注体系重新分成了三组目标类水样组隐孢子虫卵囊、贾第鞭毛虫包囊、蛔虫卵、钩虫卵、鞭虫卵、血样组微丝蚴、疟原虫环状体/滋养体。干扰类杂质、纤维、气泡、结晶、红细胞团块。背景类不需要标注但在采样策略里作为负样本控制。干扰类的价值在于它让模型知道和虫卵长得像但不是的东西长什么样。没有干扰类模型会把这些全部当成候选假阳性率会非常高。我在每批次训练数据里会刻意保持目标框与干扰框的比例在 1:1 到 1:2 之间这是一个防假阳性的工程参数和模型结构无关但非常重要。4.2 类别不平衡的两种解法虫卵数据天然是稀缺的。某一种虫卵可能总共只有几百个目标而背景干扰有成百上千。如果不处理模型会倾向于把不确定性全判给多数类。我的做法有两种。第一损失函数上换用带Focal Loss设计的检测头降低大量易分负样本对损失的贡献第二在数据采样层面做困难样本重采样每次训练迭代按类别反向权重采样让稀有类别的图像被抽到的概率提升到和常见类别接近。这两者配合稀有类的召回率能从不到 50% 提到 75% 以上。举个例子我第一次对隐孢子虫卵囊做单独评估时召回率只有 42%做了类别权重采样之后同一批验证集涨到 71%再叠加难例挖掘之后才到了 88%。4.3 数据增强的边界在哪数据增强是必须做的但要注意不能做成画蛇添足。虫卵的形态、颜色、大小本身有生理学约束过度增强会让模型学到事实上不存在的形态反而损害精度。我保留的增强项随机翻转、随机旋转小角度、随机缩放倍数控制在 0.8 到 1.2、轻微的色彩抖动在染色标准的允许范围内、Mosaic拼接。我关闭的增强项大幅度的HSV色相偏移、随机擦除、大幅透视变换。原因是这些增强会让模型错误地以为虫卵可以变形或变色直接影响分类置信度。特别是随机擦除在自然图像数据集上很好用但在虫卵这种目标小、细节决定分类的场景里擦掉一部分可能直接把决定性特征擦没了。5. 训练与调优中最容易翻车的细节小目标、相似形态与误检控制这一节是我最想写的部分。公开教程里基本都能查到模型怎么训练但为什么虫卵模型训练出来总是误检这种问题往往要靠现场调试才能积累出经验。5.1 小目标检测的应对分辨率、切图与特征层水样里的隐孢子虫卵囊在 1280x1024 图像上大约只有 20x30 像素占整个图像面积的不到 0.05%。直接把整图缩放到 640x640 喂给模型这些小目标在特征图上基本就只剩一个点了根本提不出可用特征。我做了三件事解决提高输入分辨率从默认的 640 提升到 1280 甚至 1536增加P2输出层让模型在更高分辨率的特征图上直接产检测框对大视野图像采用滑窗切图推理每块重叠 15%而不是整体缩放。切图推理的效果最显著。虽然推理次数变多了但每个子图里的目标相对尺寸变大模型能看到的细节多了很多。血样全片扫描时我也是用这个思路先低倍快速扫描定位高密度区域再高倍切图细看。这样做还有一个额外的好处显存占用稳定不会因为单张图太大而把训练或推理撑爆。5.2 形态相似物怎么区分正负样本比与难例挖掘误检是虫卵识别项目里最让人头疼的问题。血样里血小板团块的染色形态和疟原虫环状体在某些焦平面上非常接近水样里的微小杂质颗粒在某些光照条件下和卵囊也很像。如果只靠多标一点正样本来解决效率太低了因为稀有虫卵的正样本本来就很难攒。应对策略是难例挖掘。具体做法每训练一个版本就先用当前模型对全量训练集做一次推理把置信度在 0.3 到 0.7 之间且真实标签是干扰类或背景的预测框捞出来人工确认后作为新的负样本加入训练集。这样训练集里的难负样本会越来越多模型被迫学会区分真正目标和长得像的假目标。这个操作对降低假阳性率非常有效我的感受是难例挖掘比换模型结构带来的收益更直接。5.3 NMS与置信度阈值的艺术双阈值策略很多人在部署时才去调置信度阈值这其实应该在训练迭代中就反复验证。虫卵检测场景的漏检代价很大一个漏掉的虫卵可能意味着一次水源污染没有被及时发现。所以我在部署时用的是双阈值策略第一遍扫描用较低的置信度阈值0.15 到 0.25确保召回率优先把潜在目标全部捞出来第二遍对第一遍的候选框再做一次精细分类用一个轻量的二分类复核网络或者直接看特征相似度把明显是杂质的框去掉。这样做的效果是漏检率显著下降同时人工复核的负担没有爆炸式增长。我在项目实测里单阈值方案漏检率大约在 8% 左右双阈值方案能压到 3% 以内。代价是复核工作量大约多了两成但这个代价在漏检风险面前是完全值得的。6. 部署到真实检验场景推理速度、置信度阈值与人工复核的平衡模型在服务器上调到较高的 mAP和模型在检验科室被每天使用是两件事。落地部署阶段遇到的问题很多和算法无关全是工程细节但恰恰是这些细节决定了项目能不能被接受。6.1 从跑通Demo到跑完一遍全片全片扫描的流程是这样的显微镜载物台自动移动每到一个视野停下相机采图图像送入检测模型模型输出框叠加在图像上然后载物台移动下一个视野。这条链路里真正影响总时长的不只是模型推理还有相机采图时间和载物台移动时间。我实测过一组数据一张 1024x1024 图像的模型推理耗时大约 8 到 15 毫秒相机采图加传输大约 50 到 100 毫秒载物台稳定移动大约 300 到 500 毫秒。于是一张全片扫描如果采 400 个视野总时长大约 4 到 6 分钟其中模型推理只占一小部分。这告诉我们一个很反直觉的经验如果只是为了全片扫描不必一味追求更快的推理模型把载物台移动和采图并发起来边移动边预采、流水线处理整体提升比换一个更快的模型明显得多。6.2 自动对焦与焦面问题厚样本的看不见陷阱这是目前最坑的一个工程问题。水样滤膜往往不是绝对平整的血涂片的厚薄区差异也很大如果只在一个焦平面采图部分目标其实是模糊的模型对模糊目标的检出能力会大幅下降。我采取的办法是多焦面采集在载物台到位后沿Z轴快速采集 3 到 5 帧选其中清晰度最高的一帧送入检测模型。清晰度用拉普拉斯方差或者Tenengrad梯度算子来评。代价是每个视野的采图时间变长但换来的是小目标召回率的大幅提升。作为一个经验值厚样本不开多焦面采集召回率可能掉 10 个点以上。6.3 复核界面的设计让人愿意每天打开它检验人员每天要看几十上百个病例如果软件只给一个框列表配上冰冷的置信度数字他们是不会用的。我在复核界面做了三件事第一把置信度映射成颜色绿色是很确定黄色是需要看一下红色是可疑但低置信人眼扫颜色比读数字快得多第二每个框边上直接显示该目标在标准图谱上的参考形态方便对照第三所有复核结果一键导出到报告系统不额外增加录入负担。这三件事不是算法但它们是落地成败的关键。我的体会是任何一个自动识别系统最终的价值都要以检验人员是否信任它、愿意用它来衡量而不是只看模型指标。系统的使用者不关心你的mAP是多少他们只关心两件事会不会漏以及每天用起来累不累。6.4 实测效果与局限最后放一组我这边项目实测的数据基于某合作实验室的 2000 张真实图像模型结构为 YOLOv8 P2 层Faster R-CNN 做交叉验证类别PrecisionRecall隐孢子虫卵囊0.910.88贾第鞭毛虫包囊0.890.85蛔虫卵0.950.93钩虫卵0.920.90鞭虫卵0.930.91微丝蚴0.960.94疟原虫环状体0.860.82要说明的是这是一组尽力而为的结果。疟原虫环状体因为目标极小、形态多变、容易被血小板团块干扰召回率始终是最低的。这个局限不是短期内单纯堆数据就能完全解决的可能还需要结合荧光染色或者更高倍率的采集才能突破。这个项目做到现在我最大的感受是计算机视觉在寄生虫检验里的价值不在于它能替代多少人而在于它能把检验人员的注意力从扫描中解放出来放到判断上。我至今还记得第一次让检验科室的同事试用这套系统时他盯着屏幕上被绿色框标出来的微丝蚴愣了几秒然后说了一句我不用再从头扫一遍了那一刻我才觉得这个项目算是真的落地了。如果你也要做类似的事我的建议是先把样本处理和成像标准化做好再谈模型先建立标注规范和干扰类体系再谈增强先想清楚复核界面怎么设计再谈部署。算法只是整个链条上的一环但把它放到正确的链条里它就能真正开始工作。