简介面向图像检测方向的高校本科与硕士教研场景这个基于光流法的目标检测实现以 MATLAB 2019a 为运行环境代码中完整呈现了角点提取、光流计算与目标判别的处理链条适合需要将算法原理转化为可运行实验的读者。压缩包内共四个文件核心脚本负责算法流程配套数据文件供直接测试另有两张图片展示运行前后的画面效果整体大小约 11.87MB结构清爽、上手门槛低。目前已有近三百人进行学习下载可以作为课堂演示、课程设计或毕业设计前期验证的起点。通过实际操作读者不仅能观察到运动目标如何被标定还能对照图像结果理解光流场与目标检测之间的联系并在此基础上尝试调整参数、改进思路迁移到其他视觉任务中。1. 为什么目标检测还需要 Lucas-Kanade 光流当 YOLO、Transformer 目标检测模型已经能框出上千类物体时1981 年提出的 Lucas-Kanade 光流算法依旧大量出现在红外小目标检测、无人机运动目标分割和无 GPU 的边缘监控设备里。原因是这类任务里的目标往往没有可标注类别一个伪装目标、一个在停车场缓慢移动的黑色物体、一片在云层中移动的烟雾深度学习目标检测算法面对未知外观几乎没有输出。Lucas-Kanade 不识别目标长什么样它只估计像素在两帧之间的运动然后把“运动显著且一致”的区域从静止背景中切出来。这套思路不需要训练数据不要求目标有纹理和颜色只要它相对背景运动检测框就存在。下面直接从光流方程讲起给出一套在 MATLAB 中可运行的最小实现、参数设置和验证指标适合没有 GPU 又要做实时视频目标检测的工程师。2. Lucas-Kanade 光流方程与 3 个检测假设2.1 亮度恒常方程LK 到底在解什么假设前一帧在(x,y,t)的像素在tdt时刻移动到(xdx,ydy)并且移动前后亮度保持不变I(x,y,t)I(xdx,ydy,tdt)。对右边做一阶泰勒展开并忽略高阶项得到亮度恒常方程I_x*u I_y*v I_t 0其中udx/dtvdy/dtI_x和I_y是空间梯度I_t是时间梯度。一个像素只有一个方程却有两个未知数这就是光流问题的病态性。Lucas-Kanade 的做法是引入“空间一致”假设以目标点为中心的窗口内所有像素共享同一个(u,v)。窗口里有 N 个像素就得到 N 个方程再用最小二乘求解。下面是最原始的局部求解形式[Ix, Iy] gradient(double(Icurr)); % 当前帧空间梯度 It double(Icurr) - double(Iprev); % 时间梯度 patch 5; half floor(patch / 2); u zeros(size(Icurr)); v zeros(size(Icurr)); for r 1 half : size(Icurr,1) - half for c 1 half : size(Icurr,2) - half Ax Ix(r-half:rhalf, c-half:chalf); Ay Iy(r-half:rhalf, c-half:chalf); A [Ax(:), Ay(:)]; % 25 x 2 系数矩阵 b -It(r-half:rhalf, c-half:chalf); d A \ b(:); % 最小二乘解 u(r,c) d(1); v(r,c) d(2); end end这段代码把每个 5×5 邻域内的空间梯度拼成系数矩阵A时间梯度取负号作为bA\b就是最小二乘意义下的光流向量。实际工程不会用这种双层循环MATLAB 工具箱里的opticalFlowLK就是对这段逻辑的卷积化实现但理解这个方程才能理解后面的参数。2.2 小运动假设失效时金字塔与 NumLevels泰勒展开成立的前提是帧间位移足够小通常要小于一个像素的量级。低帧率视频里目标一帧移动 5 个像素时一阶近似的误差会非常大直接计算出来的(u,v)会偏向局部最小值。常见做法是金字塔先把图像逐层缩小让大位移在顶层变成亚像素运动在顶层估计出粗略运动后再逐层上采样、修正。MATLAB 里控制这个过程的参数就是NumLevels。假设失效场景调整方向小运动目标快速移动或视频帧率低增大NumLevels或先对图像做缩放空间一致目标边界、遮挡边界缩小窗口或用双向光流剔除边界点亮度恒定光照突变、目标灰度与背景接近输入前做高斯滤波、直方图均衡目标检测调参时先看目标的帧间位移位移超过 3 个像素就应当把NumLevels设为 3 或 4再看检测框边缘是否碎掉边缘碎通常是因为窗口跨过了前景和背景边界此时应该缩小窗口而不是增加迭代次数。2.3 稠密光流与稀疏光流目标检测选哪条路Lucas-Kanade 在实现上有两条路线。一条是稀疏跟踪先检测 Harris 角点或最小特征点再逐帧跟踪这些点适合“几个目标、点轨迹”的任务另一条是稠密光流对每个像素估计运动适合“把目标区域完整分割出来”的检测任务。% 稠密光流直接对灰度图循环计算 flow opticalFlowLK(NoiseThreshold, 0.0039, NumLevels, 3); estimateFlow(flow, frameGray); % 第一次调用只是缓存首帧 mag flow.Magnitude; % 第二帧起才有有效值 % 稀疏光流先提取特征点再逐帧跟踪 pts detectMinEigenFeatures(Igray, MinQuality, 0.01); tracker vision.PointTracker(MaxBidirectionalError, 1.5); initialize(tracker, pts.Location, Igray); [tracked, valid] tracker(Igray); % validfalse 的点被双向误差滤掉稠密光流把运动目标当成像素团块后续阈值分割更直接稀疏光流计算量小但一个目标上未必有足够的特征点红外小目标经常只有一两个点很难画出稳定检测框。所以后续实现以稠密光流为主稀疏点只用来做相机运动补偿。3. MATLAB 实现 Lucas-Kanade 目标检测的最小框架这一章给出一套可以直接跑的脚本读视频、算 LK 稠密光流、阈值生成运动掩膜、用连通域画框。只依赖 Computer Vision Toolbox 和 Image Processing Toolbox不需要任何深度学习工具箱。3.1 视频读取与预处理先做灰度、去噪、尺寸控制vidReader VideoReader(motion.mp4); flow opticalFlowLK(NoiseThreshold, 0.004, NumLevels, 3); frameRGB readFrame(vidReader); frameGray im2gray(frameRGB); frameGray imgaussfilt(frameGray, 1.2); % 抑制传感器噪声 estimateFlow(flow, frameGray); % 第一帧只缓存不计光流先把第一帧读出来并调用一次estimateFlow目的是让光流对象内部有时间基准。imgaussfilt的 sigma 取 1 到 1.5太小压不住噪声太大会把小目标一起抹平。分辨率不是越高越好监控视频 640×360 左右就够用4K 画面可以先缩放到一半再算。3.2 逐帧计算光流并生成运动目标候选框h figure; while hasFrame(vidReader) frameRGB readFrame(vidReader); frameGray im2gray(frameRGB); frameGray imgaussfilt(frameGray, 1.2); estimateFlow(flow, frameGray); mag flow.Magnitude; % 当前帧光流幅值 mask mag 1.2; % 幅值阈值 mask imopen(mask, strel(disk, 2)); % 去掉孤立噪点 mask imclose(mask, strel(square, 7)); % 填目标内部空洞 stats regionprops(mask, BoundingBox, Area); stats stats([stats.Area] 40); % 过滤碎片 imshow(frameRGB); hold on; for i 1 : numel(stats) rectangle(Position, stats(i).BoundingBox, ... EdgeColor, y, LineWidth, 1.5); end title(sprintf(LK detection | targets: %d, numel(stats))); drawnow; end代码逻辑是每一帧先做工频去噪再调用estimateFlow更新光流对象flow.Magnitude返回每个像素的光流幅值。mask mag 1.2把运动幅度超过 1.2 像素/帧的像素视为前景。imopen先腐蚀再膨胀用来消除单像素噪点imclose先膨胀再腐蚀用来填补目标内部的光流空洞。最后regionprops提取连通域的外接矩形和面积面积小于 40 的碎片直接丢掉。提示第一帧的mag是全零矩阵因为opticalFlowLK需要一帧作为基准属于正常现象。3.3 三个必调参数NoiseThreshold、NumLevels、输入分辨率参数控制什么调大的表现常见范围NoiseThreshold低纹理区域的最小特征值门槛噪声点变少弱目标也会被滤掉0.003~0.02NumLevels金字塔层数能跟踪快速目标但小目标变模糊2~4输入图像缩放实际参与计算的像素量分辨率越高目标越完整耗时线性上升0.5~1.0我一般会先把NoiseThreshold调到 0.01让背景先干净再慢慢降阈值找回目标。阈值降到底噪出现时回退到上一个可用值。NumLevels不要超过 4层数越多顶层图像越小小目标在金字塔高层被平滑得只剩半个像素反而检测不到。3.4 多目标场景连通域过滤的常见误用regionprops返回所有连通域但光流掩膜里经常混入车灯、投影和云层边缘。常见做法是叠加两个约束连通域面积下限以及掩膜与上一帧检测框的重叠率。面积下限用Area过滤即可重叠率可以用bboxOverlapRatio计算上一帧有检测框、当前帧没有重叠的区域直接丢弃能避免单帧噪点造成的闪烁框。4. 小目标、遮挡与相机运动LK 的检测边界与修正4.1 小目标检测Lucas-Kanade 为什么能检、什么时候失效小目标在深度学习目标检测算法里一直是难点因为骨干网络连续下采样后一个 8×8 的目标在特征图上只剩 1 个像素。LK 走的是时间维只要目标在帧间移动半个像素幅值图里就会有一小块显著区域。所以红外小目标检测场景里目标本身没有纹理和颜色很难凑齐深度学习的训练数据Lucas-Kanade 这类运动检测方法反而更常见。它的失效点在于亮度恒常假设当目标灰度与背景非常接近时时间梯度微弱最小二乘解不稳定。常见做法是先做背景抑制例如用中值滤波估计背景再相减bg medfilt2(frameGray, [15 15]); % 背景估计 I2 frameGray - bg; % 残差图像 estimateFlow(flow, I2); % 在残差上算光流中值滤波窗口取目标直径的 3~5 倍能显著提高目标与背景的信杂比但也会让目标边缘变平滑所以窗口不能太小。4.2 遮挡与特征点漂移双向误差剔除当目标从遮挡物后面出来、或多个目标交错时LK 窗口里同时包含前景和背景最小二乘解会被背景“带跑”跟踪点逐渐漂移。对稀疏点跟踪MATLAB 的vision.PointTracker提供了MaxBidirectionalError它分别计算当前帧往前一帧的正向光流、从前一帧往当前帧的反向光流两点之间距离超过阈值就认为不可靠。tracker vision.PointTracker(MaxBidirectionalError, 2.0); initialize(tracker, prevPts, Iprev); [currPts, valid] tracker(Icurr); reliablePts currPts(valid, :);valid输出为false的点不一定是被遮挡但遮挡边界上的点通常无法通过前后一致性检验。对稠密光流没有现成的双向误差开关常见做法是调高幅值阈值因为遮挡区域的光流方向往往混乱幅值也偏小。4.3 相机运动先把背景光流补偿掉再检测相机固定时背景光流接近零直接对幅值阈值即可。相机一旦平移、旋转或抖动背景也产生光流直接阈值会让整个画面变成检测框。常见做法是用稀疏角点估计帧间全局运动模型把前一帧变换到当前帧视角再在残差图上计算光流。% 用相邻两帧的稀疏点估计全局运动 [tform, inlierIdx] estimateGeometricTransform2D(... prevPts, currPts, similarity); % 把前一帧变换到当前帧视角做背景补偿 IprevWarped imwarp(Iprev, tform, OutputView, imref2d(size(Icurr))); diff Icurr - IprevWarped; % 残差图只剩独立运动目标 % 后续的 estimateFlow 调用全部改传 diff 序列 estimateFlow(flow, diff);inlierIdx是内点索引这些点满足全局运动模型属于背景落在运动目标上的外点被排除后全局变换不会偏向目标。注意残差图必须按序列连续送入光流对象不能隔着原始帧交替换用否则时间梯度没有意义。4.4 Lucas-Kanade 与 yolo 目标检测流程的分工yolo 目标检测流程通常是输入缩放、骨干网络提取特征、多尺度检测头回归、NMS 去重最后输出类别和框。它擅长告诉用户“这是车”但遇到没标注过的目标必须重新标数据、重新训练。LK 擅长告诉用户“这里有个东西在动”但不知道它是什么。对比项Lucas-Kanade 光流YOLO 目标检测流程目标类型任意运动目标已标注类别训练数据不需要需要大量标注静止目标检不出能检出红外小目标适合训练数据难获取这两者不是替代关系。目标静止不动时 LK 完全没有输出目标运动但无纹理时 YOLO 反而容易漏检。工程上常见做法是先跑 LK 做运动分割再把运动区域的裁剪图交给轻量分类器或按需触发 YOLO减少全图推理次数。5. 用评价指标验证 LK 检测结果与调试技巧5.1 用 Precision/Recall 判断阈值是否合适LK 输出的是矩形框调阈值前先把检测框和真值框做匹配统计 precision 和 recall 才有依据overlap bboxOverlapRatio(detBoxes, gtBoxes); matched any(overlap 0.3, 2); % 小目标用 0.3不用 0.5 precision sum(matched) / max(size(detBoxes,1), 1); recall sum(matched) / max(size(gtBoxes,1), 1);小目标只有几个像素时IoU 对 1 像素偏移都极其敏感0.5 会让所有框都匹配不上所以降到 0.3 或直接用中心距离小于 2 像素判匹配。调NoiseThreshold时观察两条曲线precision 和 recall 都稳定在高位时参数区间就是可用的。5.2 可视化调试把光流矢量叠加到画面上只画检测框看不到算法内部发生了什么。把光流矢量按步长叠加到当前帧能直接分辨是噪声还是真实运动imshow(frameRGB); hold on; s 8; % 每 8 像素出一个箭头 [m, n] size(frameGray); [X, Y] meshgrid(1:s:n, 1:s:m); quiver(X, Y, flow.Vx(1:s:m, 1:s:n), ... flow.Vy(1:s:m, 1:s:n), 0, y);箭头方向一致、集中在目标区域说明光流可靠箭头杂乱且覆盖整个画面说明NoiseThreshold太低或者相机运动没有补偿干净。这个技巧比任何指标都直观。5.3 一个提升稳定性的技巧先闭运算再开运算幅值阈值出来的掩膜边缘会碎、中间会有洞直接画框会让检测框在帧间跳动。一个稳定的处理顺序是先膨胀填补空洞、填洞、再腐蚀恢复边缘mask mag th; mask imdilate(mask, strel(disk, 3)); mask imfill(mask, holes); mask imerode(mask, strel(disk, 3));不要用方形结构元做这一步斜向运动时会把框拉宽。用disk结构元更接近目标形状结构元直径取目标在画面中直径的 1/3 左右多数场景一次就能拿到稳定的检测框。本文还有配套的精品资源点击获取