做视觉 token 剪枝pruning把图片切成的成百上千个小方块 token 删掉不重要的那些的人最近两年过得很顺每篇新论文的基准表都差不多——砍到四分之一甚至更少的视觉 token通用问答基准只掉一两个点「近乎无损」几乎是标配结论。省钱方案层出不穷选哪个都不亏。但这份乐观经不起一场更全面的考试。这篇论文把十种代表性剪枝方法放到三个主流多模态模型系列上按通用问答、推理、OCR 与文档理解、物体幻觉、视觉定位五个能力组、十几个基准重新实测画面立刻不一样了通用问答确实考不倒谁可一到 OCR 和视觉定位不少「优等生」直接交白卷——保留九成以上通用成绩的同时定位成绩只剩不到一成半。问题出在哪作者的答案不是「某个方法没调好」而是整个圈子共享的范式有两条结构性缺陷。顺着这个诊断他们提出了一个完全不用训练的混合粒度剪枝方法 Bifocal把这块短板几乎补平。这篇文章带你把「翻车现场」和「补救方案」都看明白。一句话总结视觉 token 剪枝圈的「无损」神话只对通用问答成立——单一重要性排序选出的证据是同质化的只留原生图块又破坏了图像的位置与内容完整性于是 OCR、视觉定位这些细活大面积翻车。Bifocal 把预算显式拆成「问题聚焦证据 图像自身证据 全图池化粗上下文」三份LLM 内外两阶段配合不训练在约四分之一 token 下让全部五个能力组保持 90% 以上成绩九个模型-预算组合平均成绩全部第一。想看原文和代码 论文arXiv 2610.18399 代码EIT-NLP/Bifocal痛点基准满分的剪枝一考细活就翻车先把翻车现场摆出来。下图 (a) 是十种方法在 LLaVA-1.5-7B 上的「通用成绩 × 定位成绩」散点横轴越靠右通用问答越好纵轴越高定位越准气泡大小代表用了多少 token。理想情况应该是所有气泡都贴着右上角的「不剪」基线实际却裂成了两片天。数字更扎心只砍掉三分之一的 token 时HiPrune、EADP、SID 三种方法的通用成绩还保留着不剪时的 93.9%–98.1%定位成绩却只剩 9.5%–14.0%——这不是「性能下降」是「功能消失」。OCR 同样遭殃Nüwa 方法的 OCRBench 分数从不剪的 314 一路掉到 64 token 档约 11%的 152直接腰斩再腰斩。为什么以前的论文没发现因为大家都拿通用问答验收而通用 VQA 是个「宽松考官」——论文里做了个对照哪怕随机保留 token、或者干脆全图平均池化通用问答也能保住大部分分数。用一门人人都能及格的科目验收自然测不出谁偏科。那细粒度任务为什么这么脆作者把矛头指向现有训练-free 方法共用的范式给每个视觉 token 打一个重要性分看图像自身的、看问题文本的、或两者混合然后把得分最高的原生图块留下来。这个范式有两条裂缝我们一条条看。裂缝一一个排序盖不住两种证据训练-free 剪枝在推理时能用的信息只有两样图像本身和问题文本。作者把这两个信息源各自变成一条选 token 的路线——图像路线按视觉编码器 CLS 注意力CLS token 相当于 ViT 里「看全局」的摘要位排序文本路线按问题词嵌入与图块特征的余弦相似度排序——然后在同样预算下对比两条路线各自选了什么。结论一目了然两条路线选的区域大面积不重叠而且偏好系统性分化——OCR、文档类任务偏心图像路线文字密集区图自己知道在哪视觉定位偏心文本路线问题里的人称、方位词才是线索。这不是哪条路线更聪明的问题而是两类任务需要的证据根本不同质。更有意思的是一个低成本发现把预算对半分给两条路线效果已经能贴住两条单路线曲线的「上包络」——也就是说光是把「证据构成」从一个排序的副产品变成显式的预算分配稳健性就上来了。这一下就把「发明更强的打分函数」这个内卷方向问出了破绽。裂缝二留下的图块再准也补不回完整性第二个裂缝更反直觉。既然定位塌得最狠那把预算全砸在「正确答案的物体」上总行了吧作者做了个极限实验直接把 token 预算全给真值框ground-truth box标注的标准答案区域内的图块——这相当于开卷作弊理论上该是最强选法。结果作弊都救不回来RefCOCO testA 上 Acc0.5预测框与真值框交并比过半的比例只有 39.1还不如两条路线混合选的 51.8。真正起作用的是另外两组对照——在真值框之外把 token 摆成铺满全图的均匀格点分数回升到 55.0格点内容再从「全图同一个平均值」换成「每个区域的池化摘要」冲到 63.0逼近不剪的 64.5。这说明子集式剪枝破坏了两个完整性一是位置完整性——稀稀拉拉的保留点打乱了原始网格的空间秩序二是内容完整性——被删掉的图块信息彻底蒸发。而两者都可以用一层「低分辨率的池化粗 token」同时修复粗 token 既是被删内容的低保真存档又天然铺满全图、撑起空间骨架。思路完全对应经典的图像金字塔——局部细节用原分辨率全局结构用低分辨率。️ 思路别问哪个 token 最重要先问该留几种证据两条裂缝指向同一个答案预算该怎么「分」比分数该怎么「打」更重要。于是有了混合粒度剪枝框架——把预算显式拆成三份问题聚焦证据问题指到的细节原生图块、图像自身证据替全图说话的代表图块原生图块、粗上下文全图池化 token。前两类是细粒度第三类是粗粒度故名混合粒度。Bifocal 是这个框架的训练-free 实例化分两阶段。先看整体管线问题聚焦证据这块做得最讲究。现有方法习惯把整个问题压成一个向量再去比对图块但池化方式不管是取最大还是取平均本质都是「或」逻辑——问「黄衣男子」图里别处一个红色消防栓也能因为「红色」匹配上高分。Bifocal 把问题拆成词级别的显著性图再修两个小毛病。第一个毛病是噪声逐词的余弦相似度图在同一个物体的相邻图块上抖得很厉害纯估计噪声而已。好在信号和噪声的空间尺度不同——物体横跨多个图块、空间上连贯噪声则逐块独立跳变所以一次简单的空间平滑低通滤波就能把噪声平均掉。第二个毛病是裁判不公要判断每个词的显著性图可不可信得有个「图像自己的」显著性图来投票。常规做法用 ViT 的 CLS 注意力但论文在附录里推导了一个漂亮的小结论CLS 注意力可以精确分解为「范数增益 × 内容分」两部分而所谓 attention sink少数范数异常大、常落在低信息背景上的图块吸走注意力正是范数项在作祟。Bifocal 用最小二乘把平滑后的 CLS 注意力对范数图做线性回归、逐点减掉拟合项得到干净的内容显著性图——让背景块没法冒充重点。有了干净的词图和图像图词权重按「词图与图像图的相关性」分配相关性为负的直接零票出局词与词之间用加权几何平均合成「软与」一个图块要几乎所有相关词都点头才能拿到高分。最后再叠上图像显著性图和一个「高范数≈背景」的惩罚项做几何平均问题聚焦分数就齐了。图像自身证据则回答另一个问题问题没问到的部分留谁能代表整张图度量叫「表示覆盖率」——已选集合对每个剩余图块的最好余弦相似度按 CLS 注意力加权求和。这个函数数学上是次模的submodular边际收益递减贪心逐个选就有近优保证实现也就是个带优先队列的循环。粗上下文把剩余图块按空间块做注意力加权平均池化位置落在块内注意力质心上。巧的是每个图块要么以原生身份入选、要么恰好进一个粗 token零冗余。默认分配上LLaVA-1.5 的 576 图块Stage 1 保留 224 个64 粗 80 图像 80 问题。Stage 2在 LLM 内部收尾进模型后视觉 token 依然冗余仿照 FastV 在中间层按「末位文本 token 对视觉 token 的注意力」保留 top-K。唯一改动是分数乘上一个局部密度先验——邻域里 Stage 1 幸存者多的 token 加分孤立幸存者的虚高注意力被压下去。被剪掉的图块没法直接投票只能通过拉低邻居的密度间接发言。 效果九个组合全第一定位甚至反超不剪回到考试本身。LLaVA-1.5-7B 上三个层平均预算192/128/64 token即全量 576 的 1/3、约 22%、1/9Bifocal 通用平均保留 98.5%、96.3%、90.6%三档全部第一而定位平均是111.0%、101.8%、66.7%——前两档不但没掉反而超过不剪的模型其中 RefCOCO testA 从 64.4 提到 71.4。猜测其原因是剪枝顺带滤掉了干扰注意力的背景 token相当于帮弱定位器去了噪论文未给此解释这是我的推测强定位器上见不到此溢价后文细说。对照组有多惨HiPrune、EADP、SID 即使在最宽的 192 档定位也只剩 9.5%–14.0%最狠的 64 档Bifocal 领先最强基线 Nüwa 11.8 个点——而 Nüwa 自己领先第三名 48.7 个点断层不在一个量级上。换更强的骨干 Qwen2.5-VL-7B本身定位三个数据集全在 80 分以上复测按 50%/25%/15% 三档压缩Bifocal 通用平均 98.4%/94.9%/89.0%定位平均 98.3%/90.2%/67.9%三档通用与定位双双第一。25% 档对比最直观最强基线 OCR 保留 89.2%、定位保留 85.4%Bifocal 是 92.3% 和 90.2%。15% 极限档更残酷——去重类方法 DART、VLM-Pruner 定位只剩 6.9%、9.5%另外三家在 40% 附近挣扎没有任何基线过 60%Bifocal 还有 67.9%。第三个骨干 LLaVA-NeXT-7B 上故事不变层平均约 640 token 时所有基线定位保留没一个超过 73%Bifocal 保住 90.7%。九个「模型 × 预算」组合通用与定位两个平均榜全部第一——这就是摘要里那句「唯一在所有能力组都保住 90% 以上」的底气。定性看一眼两类证据怎么分工。下图上排图像自身证据CLS 列铺满全图且不随问题变化问题聚焦证据则精准落在问到的物体上——问到 car、dining table 这种图里根本没有的词时散点无所适从侧面说明词级建模确实在起作用。下排是多人误认的甜甜圈定位案例Bifocal 的预测框明显比各路基线更贴合真值。框架本身的通用性也验了把 HiPrune、VisionZip、EADP 这些现成方法当作某一路证据的「选择器」塞进框架定位成绩在各数据集上提升 9.7 到 20.6 个点。消融实验则确认三份预算各有其用粗上下文配图像证据时把定位从 83.6% 抬到 89.0%配问题证据时从 97.0% 抬到 101.8%去掉图像证据幻觉防御 POPE 从 84.7 降到 83.2去掉问题证据定位直接从 102.7% 跌回 89.0%。64 粗 80 图像 80 问题的全配置是唯一在通用和定位两个平均上同时领先的分配。怎么用三件事现在就能搬走第一件也是最便宜的一件换掉你的验收单。如果你的团队正在选型或自研剪枝或任何视觉 token 压缩手段通用 VQA 榜单基本不提供信息——把 OCRBench、DocVQA、RefCOCO 这类细粒度探针加进回归测试是零成本防翻车。这篇论文的全部结论都建立在「通用分掩盖细粒度崩坏」这个评测盲区上先补评测再谈优化。第二件给现有方案套框架。如果你的管线已经跑了某个剪枝方法不必推倒重来——按论文的框架把它降级为「其中一路证据的选择器」补上另一路证据和一层池化粗 token就有 9.7 到 20.6 个点的定位提升可以白拿。改动的只是在 LLM 之前拼装 token 集合不动模型权重、不动推理管线。第三件直接用 Bifocal。训练-free、即插即用代码已开源。成本侧有个直观数字LLaVA-1.5-7B 在 128 token 档FLOPs 从 8.450T 降到 2.458T降幅约 71%首 token 延迟TTFT从 89.3ms 降到 70.6ms加速 1.27 倍峰值显存与不剪持平。注意这个加速比低于 VisionZip、HiPrune 的 1.37/1.38 倍——贪心选择和两阶段管线要吃掉一点时间这笔精度换开销的账要看你的业务更怕慢还是更怕错。落地节奏上建议先在离线评测里复现论文的 128 档约 22% token配置确认自家任务画像下五个能力组都在 90% 以上再考虑往 15% 这类极限压缩试探。文档理解、含文字截图问答这类 OCR 重度场景压缩率的红线应该卡得更紧。 泼冷水时间冷静看这篇论文有四处需要保留态度。其一评测全部基于 7B 级模型LLaVA-1.5、LLaVA-NeXT、Qwen2.5-VL更大规模或原生动态分辨率、训练时内建压缩的新模型上结论是否照搬论文没验别急着外推。其二「1/4 token 保 90%」是五个能力组平均意义上的说法。拆开单看LLaVA-1.5 的 64 档 OCRBench 仍只剩不剪的 80.9%254/314Qwen 15% 档 DocVQA 约 85.6%——极限压缩下细粒度损失依旧真实别把「组均 90%」读成「无损」。其三定位「反超不剪」只出现在定位能力偏弱的 LLaVA-1.5 上强定位器 Qwen 全程没有超过 100%最高 98.3%。把 Bifocal 套在自家模型上指望「又快又准还能白赚精度」大概率是 LLaVA-1.5 特有的惊喜不是普适规律。其四1.27 倍 TTFT 加速离「最快」差一口气对首 token 延迟卡到毫秒级的在线业务Speedup 更高的基线也许更合身。另外九个组合虽全第一但优势幅度在不同模型上差异不小具体收益仍要按自己的模型和预算实测。 理性看待把这篇论文的贡献拆到最简其实是两句话考卷错了所以答案也错了。圈子用一门宽松的科目验收剪枝自然全员的「无损」都水灵灵的换一套含 OCR 和定位的严格考卷单一重要性排序的范式立刻露出同质化证据和完整性缺损两个马脚。Bifocal 的答案也不玄乎——分预算、补一层低保真全图摘要——却把短板几乎补平还顺带证明这个框架能让老方法集体涨分。对做多模态推理成本优化的人真正值得带走的是方法论层面的警醒压缩手段的验收集决定你看到的世界。今天适用于视觉 token 剪枝的教训明天同样适用于 KV 缓存裁剪、量化、token 合并——任何「平均分很好看」的省算力方案都值得先拿细粒度探针捅一捅再决定要不要上车。