毕设做公式识别把 OpenCV 和深度学习串起来用听起来像是个难啃的大题实际拆开之后就是三条线图像预处理、模型识别、后处理输出。每条线单独看都不算特别复杂但合在一起非常锻炼工程能力也很出活。这种课题特别适合当毕业设计既能体现你懂算法又能说明你有能力把一套完整流程落地。这个项目解决的核心问题很简单给一张公式图片或者拍照拍到的纸质公式、书本截图程序输出对应的 LaTeX 代码。应用到实际场景里就是把论文里的公式“复制”成可编辑格式不用再手敲一遍。适合想走计算机视觉方向、尤其是 OCR 方向的同学也适合对图像处理加序列生成感兴趣的人参考。1. 课题定位与方案选型1.1 这个题的本质是什么公式识别本质上是一个 image-to-sequence 的任务输入是图像输出是文本序列。但它比普通 OCR 麻烦的地方在于公式不是线性结构的分子分母、上标下标、根号、矩阵这些二维结构决定了你不能像识别车牌那样按顺序读字符。所以整个课题的核心不只是“识别出符号”而是“理解公式的版面结构”。举个例子“x^2” 和 “x_2” 在图像上都是 x 后面跟一个 2但 2 的位置决定了它是上标还是下标输出完全不一样。这需要的不是单纯的分类能力而是对空间位置关系的理解。这个方向很适合毕设的原因有两层第一任务边界非常清晰输入输出都有明确约定评估指标也好量化第二从数据准备、模型训练到界面演示可以覆盖一套完整的项目流程论文里能写的东西很多不会出现“做完没内容写”的情况。从难度上看它属于中等偏上。一个基础版本用 CNN 做特征提取、序列模型做解码就能跑通不需要去卷最前沿的算法。但如果想做得漂亮又能在注意力机制、二维位置编码、数据增强这些方向深入天花板很高。1.2 三条主流技术路线怎么选这几年公式识别的主流方案大致有三类我直接给你画个对比。方案核心思路优点缺点适合场景传统模板匹配 / 结构分析法手写规则拆解符号和结构不需要训练数据鲁棒性差换字体就废只适合老古董课题字符级识别 结构规则先识别单个字符再用规则拼公式逻辑清晰、容易解释对复杂结构处理很吃力简单印刷体公式端到端序列识别图像直接映射为 LaTeX 文本能处理复杂公式、主流方案训练成本相对较高推荐作为最终方案我给你的建议是做一套端到端序列识别为主、字符级识别为辅的“组合路线”。为什么不是直接纯端到端因为毕设有时间限制。纯端到端模型对数据的质量和数量要求比较高尤其是公式这种结构复杂、符号形态多的内容。如果一开始就奔着大而全的模型去很可能训练了很久收敛效果却不理想心态容易崩。字符级方案虽然上限低但作为 baseline 跑起来很快既能让论文有“实验对比”也能在模型出问题时当兜底方案。1.3 OpenCV 在里面是配角但必不可少很多人一听到“深度学习 公式识别”注意力就全在模型上觉得 OpenCV 就是预处理随便写两行。这恰恰是本末倒置了。我在实际调试中的体会是模型决定识别的天花板上限OpenCV 决定你能不能摸到这个上限。真实场景里拍一张公式照片会遇到光照不均、纸面阴影、拍摄角度倾斜、公式区域粘连正文文字这些问题。如果不做处理再好的模型上去也会被这些噪声干扰。而 OpenCV 正好负责这一层的清理工作把公式区域定位出来、矫正透视变形、消除光照影响、切成干净的单行输入。可以说它扮演的是“后勤保障兵”角色看起来不起眼但前线能不能打好仗全看它。2. 数据集准备是真正见真章的地方2.1 公开数据集能不能直接用公式识别领域确实有公开数据集可用但直接拿来训练会踩不少坑。一个问题是标注格式不统一有些是图片配 LaTeX 标签有些是只有渲染后的 HTML转成 LaTeX 还得自己写解析另一个问题是图像风格过于单一基本是白底黑字的印刷体跟实际场景里拍照得到的灰底、偏色、模糊图像差距很大。另外一个非常重要的提醒做毕设时公开数据集的预训练模型可以拿来作为参考或者迁移学习的起点但绝对不能直接加载人家训练好的权重做推理然后声称这是“本项目的识别效果”。这种事情在毕业答辩时一旦被追问很容易露馅。正确做法是用公开模型做 baseline在自己的数据上重新训练或微调然后在论文里如实写出对比和改进。2.2 用 LaTeX 生成合成数据的具体做法对公式识别这个方向来说合成数据是完全可行的原因很简单公式的 LaTeX 描述就是标注本身天然成对。你不需要手动标注几千张图只要会写模板就能批量生成。我的做法是准备一批基础公式模板覆盖算术运算、函数表达式、指数对数、分式根号、矩阵等常见类型。然后写 Python 脚本做随机组合比如随机挑几个变量名、数字、运算符拼出新的公式。大致结构可以这样设计import random # 基础符号池 numbers [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] variables [x, y, z, a, b, c, n, m] operators [, -, \\times, \\div, ] def generate_latex(): # 公式模板库简单示例 templates [ x^{a} y^{b}, \\frac{a}{b}, \\sqrt{x}, a \\times b - c, ] template random.choice(templates) # 用随机变量和数字替换占位符 # 返回渲染用的 latex 字符串 return template # 循环生成每生成一条 latex就调用渲染工具转成图片 # 保存图片文件 对应的 latex 文本作为标注生成数量上我的经验是两万到五万条起步就够了不需要贪多。关键不是数量而是覆盖度如果你公式里全是 x、y、z 这种简单的符号组合模型学不出复杂的结构关系。要刻意让分式、根号、上下标出现的频率足够高才不至于训练时模型“偏科”。渲染工具的选择上有几种方案核心只需要能够把 LaTeX 转成图片。不同系统环境下的渲染配置略有差异但思路是一致的批量渲染、批量命名、自动保存对应的 LaTeX 文本。如果遇到某些 latex 片段渲染报错直接跳过即可不会影响整体数据生成。2.3 用 OpenCV 做归一化合成数据生成出来之后通常是很规整的渲染图可以直接进模型。但为了让模型在真实场景下也能表现好我建议在送入网络前用 OpenCV 做一遍标准归一化流程。具体步骤是读图转灰度然后用大津阈值Otsu做二值化拿到字符区域接着用投影法找公式的上下边界裁剪掉多余的空白最后把所有图片的高度统一到一个固定值比如 48 像素宽度按原比例缩放。这样做的好处是模型输入分布一致训练起来更平稳。需要注意的一个坑是不要直接把图片强行 resize 到一个正方形那样公式的长宽比会被破坏。比如一个很宽的分数表达式被压缩成正方形后分子分母会叠在一起模型根本分不清结构。所以正确做法是固定高度、动态宽度如果宽度超过设定上限再考虑用滑动窗口切分或者在序列端加长度惩罚。2.4 数据增强的隐藏坑数据增强在一般图像分类里是随便怎么用都好用但在公式识别里要非常克制。我踩过一个典型的坑开了随机旋转增强角度设成 10 度结果训练出来的模型对倾斜非常敏感正常不倾斜的图片识别率反而下降。原因就是公式里的字符排列紧密一旦倾斜上标和下标就会粘连模型被带偏了。真正有效且安全的数据增强组合是下面这几种随机亮度扰动模拟拍照环境的光照变化轻度高斯噪声模拟纸张纹理高斯模糊模拟手机对焦不准小角度旋转控制在正负 1.5 度以内只模拟拍摄时轻微的手抖。记住一个原则公式识别的数据增强幅度一定要小以“不破坏字符结构和相对位置”为前提。你要的是让模型更鲁棒而不是把数据变成一张张模糊的迷宫图。3. 模型构建与训练过程实录3.1 视觉特征提取加序列解码模型架构上我用的组合是 CNN 做视觉特征提取Transformer 做解码生成 LaTeX 序列。这算是目前公式识别里非常经典的路线。具体说输入一张归一化后的公式图片先进 CNN 网络提取特征图。这一步的目的是把图像转换成一个序列化的特征表示你可以把它理解为“把图片拆成很多小片段每个片段对应一个向量”。然后这些特征向量加位置编码进入 Transformer 解码器逐个生成 LaTeX token比如\frac、{、x、^、{、2、}这样一个个预测出来。这里有一个对公式识别特别重要的细节位置编码不能用一维的要用二维的。为什么因为公式是二维展开的。一维位置编码只知道每个 token 在序列中的先后顺序但不知道它在图像上是上面还是下面。上标和下标在一维序列上可能只差一个位置但二维空间位置完全不同。我在实验里对比过加了二维位置编码之后上下标错乱的错误率下降非常明显。训练目标就是标准的交叉熵损失输入图片输出的每个位置预测下一个 token 的概率。标签就是那串 LaTeX 序列在开头加一个起始符结尾结束符整个训练过程跟文本生成模型没有本质区别。3.2 训练超参与监控指标给出我实测下来比较稳的一组配置可以参考输入尺寸高度 48最大宽度 512优化器Adam初始学习率 3e-4前 5 个 epoch 做 warmup批次大小32 或者 64取决于显存训练轮数30 到 50 轮配合早停监控指标字符错误率 CER 和公式级准确率。CER 指的是预测的 LaTeX 序列和真实标注之间的字符级编辑距离比例越低越好。公式级准确率要求整条序列完全一致这个指标通常很低很考验模型的综合能力。一般合成测试集上CER 能到 10% 左右、公式级正确率做到 60% 到 70%已经是一个很不错的毕设结果了。训练过程里我建议多观察一个东西注意力矩阵的可视化。公式识别的模型经常出现一种“注意力崩溃”现象就是解码器在生成过程中已经跑偏了但 loss 还在下降因为其余样本拉低了平均值。这时候光看指标不够要随机抽几张图把注意力权重打出来看如果模型在应该关注图像中分式的位置时注意力散成一团那就是典型的训练质量有问题。3.3 实测效果的数据表现我在一套大概四万条合成数据加两千条真实拍摄数据上训练合成测试集 CER 做到 8% 左右真实场景的 CER 大概在 20% 上下。这个差距其实很说明问题模型还是在合成域上学得更好真实域的泛化需要靠更多真实数据来拉近。如果时间有限我更推荐你优先把合成数据上的指标做漂亮再想办法小规模收集一些真实场景数据做微调。这样整体表现在答辩演示时已经很能打了。别一上来就追求真实场景数据占大头真实数据收集、清洗、标注的成本在毕设周期里是不可控的。4. 从拍照到 LaTeX 的完整实操链路4.1 用 OpenCV 把照片变成干净公式图这一节是整个项目里最有实操价值的部分我按顺序把完整流程写出来。第一步读图像后先转灰度。拍照得到的彩色图像信息量大但噪声也大灰度化可以降维后续处理更快。第二步光照补偿。直接做全局二值化在光照不均匀时效果很差阴影区域的字符会被吞掉。我实测下来自适应阈值比单纯的大津阈值稳定很多。它的思想是一个像素该判为黑还是白由它周围一个小区域决定天然能抵抗局部光照变化。代码上就是 OpenCV 的 adaptiveThreshold 函数。第三步公式区域定位。真实页面里公式可能和正文混在一起用轮廓检测先拿到各种连通域再用面积阈值过滤掉小噪点保留类似公式尺寸的候选区域。如果图像有倾斜还需要计算最小外接矩形做透视变换矫正。这一步对拍摄角度不正的情况特别重要。第四步单行切分。公式区域内部可能有多行比如方程组用水平投影法统计每行像素分布找到行与行之间的空隙切成一条条独立的行。每一行是一个独立的识别单元。第五步归一化并填充。把每一行公式图高度统一缩放两侧加一点空白防止字符贴边。这套流程从代码角度其实就是 OpenCV 基础操作但每一步的目的和参数选择直接影响后续识别质量。我调试时最常调的是自适应阈值的 blockSize 参数调大一点对粗线条更友好调小一点对细笔画更敏感需要根据实际拍照效果反复测试。4.2 模型推理与后处理前处理做完模型推理反而是最简单的部分了。加载训练好的权重把图片送进去解码方式用贪心搜索或 beam search 都行。实测中 beam search 的宽度设为 3 到 5 比较合适太大对效果提升微乎其微但推理时间会显著增加。解码完成后模型输出的是原始的 LaTeX token 序列。这里不要直接当成结果要做下面几件事检查括号是否闭合。模型偶尔会漏掉右括号用字符计数法检查括号配对不配对就尝试在末尾补全。检查反斜杠转义是否完整。比如 \frac 后面必须有左右两个花括号参数否则渲染不了。统一空格规则。LaTeX 里空格处理比较特殊半角空格会被忽略所以我直接把结果里的空格统一删掉或转成 \ 这种显式控制。这些后处理规则看起来零碎但非常提升最终结果的可用性。很多模型生成结果看着挺对实际粘贴到编译环境却报错就是在这些细节上出了问题。后处理完成后的一个重要动作把 LaTeX 重新渲染成图片和原始输入图片放在一起对比。这是我最常用的调试方法。文本指标会说“正确率 80%”但你看一眼渲染图和原图马上能发现是哪类结构识别错了。这比盯着 CER 数字猜原因高效得多。4.3 打包成可演示的完整接口毕设除了算法本身最好有一个能互动的演示界面答辩的时候效果会好很多。不必做得很复杂用轻量 Web 框架就能搞定比如用 FastAPI 暴露一个 /recognize 接口接收上传图片返回识别出的 LaTeX 代码和渲染图。再做一个极简的前端页面上传一张公式图片点击识别右侧显示 LaTeX 代码下方显示重新渲染出来的公式图片。这样一套整链路下来用户可以直接看到输入和输出答辩老师也能直观感受到“拍照到结果”的完整体验。这个接口的设计其实没有太多技术难点核心是让前端、后端、模型推理三部分解耦。模型加载一次常驻内存避免每次请求都要重新加载权重输入图片先走 OpenCV 预处理再进模型识别结果做后处理后再返回给前端。这套结构以后想扩展成支持摄像头拍摄、批量识别都只是加函数的事情。5. 常见问题与排查技巧实录5.1 高频踩坑速查表现象可能原因排查方法与解决方案识别结果一堆乱码输入图片有背景噪点检查预处理二值化加大形态学开运算核尺寸上标下标互相串位位置编码不合适或图像压缩过狠换二维位置编码固定高度动态宽度长公式后半段丢失beam search 提前终止增大 beam width检查最大序列长度设置训练 loss 一直不降学习率过大或数据顺序有偏缩小学习率开启 warmup打乱数据分式被拆成两个识别单元单行切分错误调大形态学闭运算的核宽度改进连通域合并真实照片识别率暴跌训练只有合成数据增加真实数据微调增强亮度扰动这个表里的每一项都是我在调试过程中真实碰到的。你如果真的自己走一遍大概率也会撞上其中一两个直接对照着排查就行。5.2 有时候问题根本不在模型有段时间模型效果一直上不去我疯狂调模型结构、换损失函数都没用。后来仔细看了输入样本才发现是打包数据的时候图片通道出了问题有一批图是三通道另一批是单通道模型特征提取阶段的数据分布被打乱性能当然上不去。这种事在毕设调试里很常见。当效果不行时先别急着怀疑模型按顺序检查训练集和测试集的图片预处理流程是否完全一致标签序列是否有额外空格、换行符数据读取时图片通道是否统一训练时是否开了数据增强测试时是否关了。我给出一个个人经验花在排查数据管线上的时间往往比花在模型调参上的时间更有价值。数据侧的 bug 通常是系统性的会让所有实验的效果都打折扣你模型调得再好都补不回来。5.3 一个小众但好用的调试习惯训练时除了打印 loss我还会定期把验证集的前 20 条公式渲染成图片单独存到一个文件夹里。每天训练结束后翻一翻能肉眼看到“昨天分式还识别错误今天好了很多”这种变化。这个习惯的实用之处在于它让我能直观感受到模型在哪些结构上进步了哪些一直没学会。如果连续十轮渲染结果都不见改善那基本就要考虑换训练策略或者补这部分的数据了。文本指标做不到这种细颗粒度的诊断但渲染图可以。6. 关于论文组织和答辩展示的经验6.1 论文主线怎么搭毕设论文的常见问题是“做成流水账”先写数据再写模型然后训练结果最后总结。这种结构虽然没错但很难拿高分。我建议你围绕两条主线组织内容一条主线是“困难与解法”。先说明公式识别的核心难点是二维结构理解再展开你是如何通过数据设计、位置编码、后处理规则来逐一化解这些难点的。这条线的逻辑是问题 → 方法 → 实验验证。另一条主线是“工程实现”。把你从拍照、预处理、模型推理到最终展示的完整链路写清楚重点突出每一环节的输入输出。这条线适合答辩演示时展示工作量。6.2 实验设计上怎么留对比实验部分不要只做一套方案跑一个最终结果。至少要设计两个对比一是不同预处理策略的效果对比。比如无预处理、全局二值化、自适应阈值三组实验直接展示 CER 的变化。这能证明你在 OpenCV 上做的工作是有效的。二是不同解码方式的对比。贪心搜索和 beam search 简单对比性能与耗时这是最稳妥的补充实验。有这两组对比论文的实验分析部分就已经很立体了。比单独堆一组“最终效果 98%”的单一结果要有说服力得多。6.3 答辩演示时的细节答辩现场演示最大的敌人不是算法不行而是环境问题。投影仪颜色偏差、现场光线、图片分辨率都会影响识别效果。我的经验是准备三个选择第一张演示图选最稳的合成图保底第二张选一张真实拍摄但质量尚可的图展示泛化能力第三张留一张比较难的图用于展示模型极限。现场系统会根据状态决定要不要展示第三张。这个领域做下来我最深的体会是公式识别的瓶颈从来不只是模型结构。大多数人觉得换个更强的网络效果就自然上去了但真正做完整个项目你会发现数据的平衡性、预处理的稳定性、后处理规则的完整性才是决定项目能走多远的关键。而且这些内容正好是可以写进论文的差异化工作。如果你是在准备毕设我甚至建议不要急着调模型先花两天时间把你手里的数据管线彻底打通把预处理和后处理做到位再回头看模型会惊喜地发现有些事情已经解决了。