说到场景文本检测文本检测网络CTPN是绕不开的一座桥。做OCR的人对这个名字都不陌生2016年提出的连接文本提案网络Connectionist Text Proposal Network几乎定义了一代场景文本检测的技术路线。哪怕现在基于分割、基于Transformer的检测器铺天盖地CTPN里把文本行当作序列来检测的底层思想依然值得反复琢磨。这篇文章我会从设计动机、网络结构、训练细节、后处理算法几个层面把CTPN彻底拆开再结合我在复现和项目移植过程中踩过的坑把每个关键决策背后的为什么说清楚。不管你是准备复现这篇论文的新手还是在调优老检测模型的老手应该都能从中翻到点有用的东西。先说它解决什么问题给定一张自然场景图需要框出其中所有文字的位置。CTPN用细粒度锚点预测文本片段再用双向LSTM连接上下文最后在推理阶段把片段拼成完整的文本行。适合的场景包括街景文字定位、票据识别、车牌识别、视频字幕检测等等。它最可贵的地方在于兼顾了深度学习的表征能力和传统算法的后处理逻辑这也让它在落地项目中特别好用。1. 从OCR链路理解CTPN文本检测到底难在哪1.1 检测在OCR全流程中的位置常规OCR链路是检测识别后处理三段式检测负责回答文字在哪识别负责回答文字是什么。这两个问题难度完全不同。识别面对的是裁剪好的图片无非是字符分类或者序列建模而检测要在一整张复杂场景图里找出文字区域既要处理尺度变化又要排除背景干扰本质上是一个更开放的视觉搜索任务。打个比方识别是让人读一句话检测是让人在乱糟糟的房间里先找到印着那句话的纸片。CTPN负责的正是找纸片这一步。它输出的不是字符内容而是一串坐标框把候选文字区域准确圈出来交给下游识别模型。很多人刚接触OCR时有个误区觉得检测模型越花哨越好把精力全放在换先进网络结构上结果识别模型迟迟喂不上干净的输入。我在实际做某票据识别项目时就体会很深检测框哪怕歪几个像素下游识别精度都会明显抖动。所以CTPN这种把定位问题做得扎实的传统管线在工程里反而非常耐打。1.2 场景文本为什么这么难检测印刷文档里的文本检测相对容易白纸黑字、行整齐、背景干净。但自然场景完全不同招牌上的字可能是艺术字体车身广告的字是弯曲的路牌上的字在逆光下模糊不清还有Logo、按钮、横幅上的文本跟背景纹理纠缠在一起。传统方法用MSER最大稳定极值区域或SWT笔画宽度变换做连通域分析在简单背景上还能凑合一旦遇到纹理复杂、光照不均的画面误检率就直线上升。文本本身还有一个天然属性让检测器头疼长宽比极端。单个字符接近正方形但一整行文字的长宽比可以轻松到10:1、20:1。这对目标检测里的边界框回归是很大的挑战因为回归大长框的坐标偏移时误差会被放大。CTPN看到了这个矛盾所以它偏偏不去直接回归整行而是把文本行切碎成小段来做后面会详细说。1.3 CTPN给行业带来的范式转变在CTPN之前场景文本检测的主流思路是从图像底层特征里找字符组件再通过规则合并。CTPN出现后行业猛然发现可以用深度网络直接预测文本片段再用序列模型去理解文本行的上下文。它没有像后来的检测器那样一步到位端到端而是把深度学习特征提取和结构化后处理巧妙地结合在了一起。这个结合点的选择非常工程化。如果完全交给网络去回归整行长文本稳定性差如果完全用规则去连字符又绕回了传统方法的脆弱。CTPN选择了中间路线神经网络负责局部感知和上下文建模后处理负责用明确规则拼接文本行。这种网络做粗定位、规则做精整合的思路对我后来的项目设计影响很大。2. 核心设计动机为什么要分片检测文本行2.1 整行检测的直觉困境假设输入一张图里面有一行20个字的标语如果让检测头直接回归出覆盖整行的大矩形框网络需要同时精确预测左上角和右下角的位置。问题在于文本行跨度大前景特征在空间上非常分散一个全局框的内部同时包含大量背景这让特征和回归目标的对齐变得很困难。训练时稍微有点偏移IoU就跌得厉害梯度信号也变得不稳定。我见过直接拿通用目标检测框架做文本检测的项目在小文本上表现还行一旦遇到撑满画面的大横幅检测框经常只框住一半或者把旁边无关区域也带进来。这不是网络能力不够而是任务形式和回归目标没匹配好。2.2 把文本行当作序列来建模CTPN的切入点非常聪明文本本身就是一个字符序列天然具有顺序性和局部连贯性。既然如此检测器不必一次看到整行只需要识别文本行的片段然后利用序列上下文把片段串起来。每个片段覆盖一小段文字比如1024像素宽的区域高度自适应这样就避开了大长框回归问题。原论文把anchor的宽度固定为16像素这个数字不是随便定的。VGG16经过4次池化后特征图相对于原图缩小了16倍所以特征图上一个像素点恰好对应原图16x16的感受野窗口。固定宽度为16本质上是在特征图粒度上做逐列预测每一列锚点负责判断这一竖条位置是否有文本片段。高度则是可变的因为文字高矮差异很大。2.3 垂直锚点设计细节CTPN沿用了Faster R-CNN的锚点机制但做了改造每个锚点不是常见的正方形或等比缩放而是一个宽度固定、高度可变的细长框。在特征图的每个位置同时放置10个不同高度的锚点高度从小到大覆盖常见字体大小。这样每个位置都能匹配不同字号的文字。注意锚点的高度设计强烈影响小字和大字的召回效果。如果锚点最大高度只有128像素检测大标题就会失效如果最小高度太大小票小字又会漏检。我在做票据项目时专门统计了业务图片里的字符高度分布再微调锚点区间效果比直接套默认参数好很多。锚点输出的回归目标是两个值竖直方向的中心坐标偏移和高度偏移。原理类似Faster R-CNN的边框回归但只在y方向做精细调整x方向因为宽度固定不回归。这里有个关键细节文本片段之间是有重叠的相邻锚点覆盖的区域会互相重叠一部分这是为了保证文本行能被连续覆盖避免出现空隙。2.4 为什么固定宽度反而成了优势表面上看固定宽度好像限制了检测能力比如遇到波浪形文本或竖直文本就抓瞎。但换个角度看这个小尺度检测粒度反而让网络的任务变得极其简单每个像素列只需要回答这里有没有文字竖条不需要考虑全局布局。大量重复的局部判断叠加起来对文本行的覆盖率反而很高。对水平文本这种最常见的形态来说这种设计非常稳健。原论文在ICDAR 2013和ICDAR 2015基准上都拿到了当时最优的结果而且推理速度很快一张图在当时的GPU上只要一百多毫秒。这个性能在当年是很有说服力的。3. 网络结构逐层拆解VGG特征、BLSTM序列建模、全连接预测3.1 骨干网络与特征提取CTPN的骨干网络选用VGG16这是当时图像分类任务里表现稳定的特征提取器。图片输入网络后经过前5个卷积阶段取conv5_3的输出作为共享特征图。为什么停在conv5而不是继续往上到全连接层因为文本检测需要保留空间位置信息全连接层会破坏空间结构而conv5_3特征图尺寸适中既保留了高层语义又有足够的空间分辨率用于密集预测。在conv5_3特征图上再接一个3x3的滑动卷积层把每个空间位置周围3x3邻域的上下文信息融合起来。这个操作一方面扩大了感受野让每个位置能看到周围像素另一方面相当于在共享特征上做了一个轻量的空间编码。生成的特征每个通道都代表某种局部模式后面接循环网络时输入质量会更高。3.2 双向LSTM的引入文本上下文的关键一招CTPN最标志性的创新是在检测网络里引入了双向LSTMBLSTM。每一行特征图上有W个位置特征图宽度每个位置携带一个特征向量。如果只看单个位置很难判断这里到底是文字还是背景纹理但如果把左右两边的信息串起来看文字段落的连续性和语法特征就会显现出来。BLSTM就是干这个的它从左到右和从右到左分别扫一遍特征序列让每个位置的输出既包含左边信息又包含右边信息。我在理解这一步时喜欢把特征图想象成一段被逐列切片的时间序列。普通卷积网络处理的是空间网格循环网络处理的是时间序列CTPN把空间的一行当作时间维来建模本质上是在用序列模型去捕捉文本行的历史依赖。它对标的是文本中字与字彼此关联这个内在属性这也是它在文字检测上比纯卷积网络更稳的原因。提示BLSTM的隐藏层维度不是越大越好。我试过把隐层从128提到256检测效果没有明显提升反而显存占用和推理耗时都上去了。对这种局部序列建模任务128维已经能有效建模上下文过度加参只会让训练更慢、更容易过拟合。3.3 输出分支分类分、坐标分、边界精修分BLSTM输出后接一个全连接层在每个位置产生三组输出。第一组是分类分数判断该位置的每个锚点是文本还是背景第二组是y方向回归值包含竖直中心偏移和高度偏移第三组是side-refinement的边界精修值用于之后微调文本框的左右边界。这三组输出共享特征却在各自的任务空间里独立优化属于非常典型的多任务学习结构。side-refinement这个细节很多人会忽略但它对最终框精度影响很大。文本提案的宽度固定为16像素即使连接成线整行文本的左边起点和右边终点往往不够精确可能差了十几个像素。side-refinement在这时候预测每个文本提案相对于真实边界的水平偏移量拿到文本线的首尾提案后做一次校正就能把边界误差压到很小。3.4 感受野与步长的匹配关系理解CTPN的结构必须把握住步长16这条线索。VGG16做了4次max pooling每次缩小一半所以特征图是原图的1/16。一个特征点对应原图16x16区域锚点宽度设为16就是让每个锚点在原图尺度上刚好覆盖一个特征点宽度。这个设计保证了锚点和特征位置的一一对应也让逐列扫描有了物理意义。如果你换用ResNet这类骨干需要特别注意步长的变化。比如ResNet的conv特征图可能只有原图的1/32这时如果还沿用16像素宽的锚点设计锚点对应的特征粒度就变了检测小字会明显吃力。我在复现时将特征图上采样到原图1/16再接入CTPN头部才恢复了原来的检测精度。4. 训练细节与损失函数设计让网络学会判断片段4.1 多任务损失定义CTPN的训练是标准的端到端多任务优化。总损失由两部分组成分类损失和回归损失。分类部分用softmax交叉熵判断每个锚点是文本还是背景回归部分用平滑L1损失约束预测的竖直中心和高度的偏移量。原文还强调只有被标记为正样本的锚点才参与回归损失的计算背景锚点不产生回归梯度这一点和Faster R-CNN保持一致。平滑L1损失的好处在于梯度平稳不像L2那样对大误差反应过激也不像L1那样在零点附近不可导。在坐标回归这种数值范围变化较大的任务里平滑L1能避免个别难例把训练带偏。我后来在做其他检测项目时也一直沿用这个损失配方几乎成了默认选项。4.2 正负样本分配与难例挖掘锚点的正负样本分配是整个训练的胜负手。对于每个文本区域的标注框凡是IoU超过0.7的锚点标记为正样本低于0.5的标记为负样本两者之间的忽略掉。这个阈值和通用检测器保持一致但场景文本有个特殊情况小字目标的面积小锚点高度分布稍微不合适正样本数量可能剧烈不足。负样本数量远大于正样本如果不加处理网络会被大量背景锚点带偏。常规做法是hard negative mining即每次前向计算时从负样本中按分数排序选取最难的一批参与反向传播。我做实验时发现抽样比例和挖掘数量都需要根据数据集调节过于激进会丢失背景多样性过于保守则正样本梯度被淹没。4.3 训练策略与数据组织CTPN通常在ImageNet预训练的VGG16基础上微调初始学习率设得很低SGD优化器配合权重衰减。训练数据用公开的场景文本数据集比如ICDAR系列标注数据。为了增强鲁棒性训练时会做随机裁剪、缩放、颜色扰动等数据增强手段让网络见过更多样的场景。这里有一个在复现时很关键的细节文本标注框的形态。ICDAR数据集里的标注是整行文本的四点框而CTPN需要的是逐字符级别的片段目标。所以在训练前要做一步预处理把整行标注切分成若干宽度约16像素的小片段并为小片段分配对应锚点。很多复现失败都出在这一步标签都没转对模型当然学不出来。注意竖直文本的处理要单独考虑。CTPN原文主要针对水平文本对竖直文本效果不稳定。我在中文场景里遇到过大量竖排文字做法是把图片旋转90度后再检测或者训练时把竖直文本的标注也旋转成水平方向这样网络学起来更稳定。5. 文本线构造从散落片段到完整文本行的后处理5.1 得分过滤先砍掉低置信度的噪声网络前向推理之后会得到一大堆锚点提案其中夹杂着大量低置信度的背景误判。文本线构造的第一步就是过滤只保留文本得分高于阈值常见设为0.7也可以调底到0.6的提案。这个阈值非常影响精度和召回率的平衡阈值太高会漏掉边缘模糊的文本片段阈值太低会把招牌纹理、窗户格栅等背景当成文本。实际操作中我会根据业务指标调这个值。做OCR识别时稍微多一点片段还能靠后续连接或识别环节纠正所以我会偏向低阈值保召回做纯检测评估时则会把阈值抬高保精度。没有万能值只有动态调参。5.2 贪心连接算法片段如何串成线过滤后的提案还要经过文本线构造算法才能形成完整文本行。算法按得分从高到低排序对每个提案向右寻找可以连接的候选提案连接条件大致有三条两个提案在垂直方向上的重叠IoU要大于一个阈值常见0.7水平距离不能太远候选提案本身得分够高。满足条件就合并成线然后继续向右延伸。这一步本质上是贪心搜索复杂度很低但效果出奇地好。因为垂直方向重叠保证了两个片段属于同一行文字水平距离限制保证了连续性得分保证了置信度。三个条件把同一行的本质约束都刻画出来了所以很少出现跨越文本行乱串联的情况。5.3 边界精修与最终输出得到每条文本线后再遍历线上的所有提案y方向的精确定位由所有提案的预测结果做加权平均x方向的左右边界用side-refinement输出的偏移量来校正。这一步能显著提高最终检测框的贴合度尤其是文本行的首尾边缘。整个后处理流程用代码实现不过几十行但它决定了网络输出能不能变成可用的检测结果。我在评估一个检测模型时从来不会只看网络输出就下结论而是把后处理也当作模型的一部分来调优——文本线构造的连接距离、垂直IoU阈值、得分阈值每个参数都值得单独做一轮实验。6. 复现踩坑与排查实录那些没人写进论文里的细节6.1 训练不收敛或者loss乱跳多半是标签没转对我一个做毕设的朋友复现CTPN时模型训了两天loss还是居高不下检测框一片空白。我帮他一查问题出在标签生成他把整行标注直接当成了anchor的回归目标没有切成16像素宽的小片段也没有算锚点和切片之间的IoU。结果大部分锚点的回归目标都是错乱的网络根本无法学习。正确做法是先把文本行标注切碎再逐锚点计算IoU并分配标签。切碎时要注意切片之间要有重叠不能刚好无缝拼接否则连接时容易出现断点。建议切片的水平间距设置为锚点步长的一半这样每个字都能被多个片段覆盖。6.2 检测框断成好几段后处理连接太苛刻长文本行是CTPN最典型的弱点之一。如果一行字特别长BLSTM的上下文在远端会减弱中间某个片段的得分偏低过滤阶段就被砍掉了文本线也就从中断裂。排查时可以先看过滤阈值是不是太高把得分阈值从0.7降到0.6断线现象通常立刻缓解。如果阈值调低还断就要检查文本线构造里的最大水平距离设置。有些实现默认只连接距离不超过几十像素的提案遇到字距较大的文本就断了。把最大连接距离放宽一些或者改为动态计算根据相邻片段高度估算字间距长文本的完整性会明显改善。6.3 小字完全检不到锚点和输入分辨率的问题场景图里手机拍的小票、路牌上的小字都容易漏检。这不是网络笨而是锚点列表里小高度锚点太少或者输入图片被压缩到很小小字的特征细节全丢了。我做的项目里把最小锚点高度从默认值往下降几个档位同时把输入图片的短边保持在600像素以上小字召回率立刻上来了。代价是锚点数量变多、推理变慢。如果对速度有硬要求可以只保留小尺寸锚点不对大图做全局推断而是用滑动窗口扫描可能包含小字的区域。这种分区检测策略在合发票项目里验证过速度和召回都能兼顾。6.4 密集文本互相粘连合并当一行紧挨着一行或者店铺招牌上的字非常密集时文本线构造可能把两行文字串成一条线。原因通常是垂直IoU阈值设得太低导致不同行的片段也能被连接。排查时优先提高垂直重叠阈值从0.7往0.8调同时收紧水平方向的最大距离限制。如果多行文本属于不同朝向或者不同大小还可以在连接前按提案高度做聚类只允许高度相近的片段相连。这个改进实现成本很低但在广告牌、标语这类场景里效果非常明显。6.5 一个值得养的工程习惯从规律到参数的实验备案做CTPN这类模型的调优最忌讳的是拍脑袋改参数。我自己的习惯是维护一个参数备案表每次实验记录下输入分辨率、锚点高度区间、后处理阈值、检测指标变化一个月下来就能摸清当前业务数据下参数和效果之间的规律。这套方法后来被我沿用到其他检测模型的调优上省下大量重复试错时间。7. 文本检测算法的后浪与EAST、DBNet的对比与取舍7.1 EAST给CTPN上了一课全卷积直接回归四边形EAST提出了一种更简洁的思路用全卷积网络直接预测文本区域的得分图和几何属性可以回归旋转矩形和任意四边形。相比CTPN它不需要BLSTM也不需要复杂的文本线构造后处理推理速度更快。在ICDAR数据集上EAST的精度和速度都表现抢眼。但EAST也有自己的短板对超长文本行和稠密文本的稳定性不如CTPN因为它回归的是整个文本区域极端长宽比问题依然存在。我当时在路牌识别项目里对比过两者CTPN在水平长文本上更稳EAST在近水平但略微倾斜的牌匾上更灵活。7.2 DBNet把文本检测变成了分割问题DBNet引入了可微分二值化机制把文本检测建模成图像分割任务网络输出每个像素属于文本的概率再用可学习的二值化阈值把概率图转成二值图最后通过轮廓提取得到文本框。这个思路能天然处理弯曲文本和任意形状文本后处理也相对简单是后来文本检测的主流方向之一。不过要对齐的是CTPN的序列上下文建模能力是分割方法没有的。DBNet虽然能分割出弯曲文本形状但对文本行内部语义连续性的利用比较弱。在实际项目中如果文本大多是规则的横排文字CTPN的管线依然很能打如果场景里弯曲、倾斜、艺术字占多数DBNet更合适。7.3 算法选型建议不要盲目追新模型选型的核心是看业务数据长什么样。我在某公司做文字识别中台时总结了一套粗筛选逻辑先统计业务图片里文本行的角度分布、长宽比、密度、字体大小。如果九成以上都是水平文本直接选CTPN最省事如果倾斜和旋转场景占比高优先考虑EAST或DBNet如果图像里弯曲文本特别多再上分割类模型。CTPN在今天已经不是各项指标的天花板但它的设计思路和工程经验仍然大量渗透在后来的模型里。用垂直锚点缓解长宽比问题、用序列模型建模文本上下文、用结构化后处理保证输出质量这三个思想在任何文本检测项目里都不过时。从我个人经验来说做完一遍CTPN的完整复现你对文本检测任务的理解会比直接用现成模型深刻得多。它就像一本教科书每层结构都对应一个明确的设计动机每个参数都有可解释的作用。以后再遇到新的检测模型你也能举一反三快速抓住它的设计要害。最后再分享一个实用小技巧做CTPN调优时先把后处理参数固定在中等水平只调网络输入和锚点等检测召回基本达标后再回头精调后处理阈值拉精度。把两个环节同时调变量太多你很难分清楚效果变化到底来自哪里。一次只动一个旋钮是我在所有模型调优里最朴素也最有效的经验。