刚刷到 NAVSIM 双榜 SOTA 的消息时我第一反应是又有人在榜单上刷了个漂亮的数字。等我把这套 LaST-VLA 的技术思路完整看完才意识到这次不太一样——某高校和某科技企业的联合团队并没有简单去堆模型参数而是把自然语言模型里已经很成熟的思维链CoT机制改造成了一种长在连续特征空间里的潜在时空推理链再把这条推理链塞进 VLA视觉-语言-动作模型的决策主干中。一句话概括就是它让自动驾驶模型在输出转向、油门、刹车之前先在脑子里悄悄推演一遍接下来几秒这个场景会怎么演化再根据推演结果做动作。如果你正在做自动驾驶的端到端规划或者在做机械臂操作、移动机器人这类的 VLA 落地这条路线都值得认真研究。它解决的并不是单一 benchmark 上的拟合问题而是一个更本质的问题大模型感知能力已经很强但感知完就直接映射成动作的推理链路并不稳定遇到交互相场景容易翻车。缺少一个可受控的、连续空间的中间推理过程。下面我把这条技术路线从头拆一遍从动机、内部机制到 NAVSIM 双榜的含金量最后说几个我自己评估和复现这类模型时踩过的坑点。1. VLA推理为什么需要思维链这一步1.1 传统VLA的感知到动作是怎么做的传统 VLA 的做法用一个通俗例子就能说明白。输入是一张前视相机图像、一条导航指令比如前方路口左转可能还叠加一些历史速度、方向盘转角等信息。视觉编码器和语言编码器先把图像、指令变成高维特征再由一个大模型骨干网络把这两种特征融合最后通过一个动作解码头直接输出控制量方向盘转角、油门、刹车或者未来 3 到 5 秒的目标航点。整个过程看起来非常简洁训练时直接拿真值轨迹做监督让模型模仿专家司机的驾驶行为。这种端到端的设计有一个很自然的吸引力它绕过了传统自动驾驶里感知、预测、规划、控制各模块之间人工定义的接口避免了上游模块误差向下游累积。在环境相对简单的场景里这套东西确实能跑出不错的效果所以过去两年很多团队都在往这个方向卷。但问题也随之而来。直接把感知特征映射到动作的做法本质上把理解场景和决定动作这两件事强行揉在了一个高维映射里。模型确实学会了看到某种特征就输出某种动作但它并不知道自己为什么要这么做也没有一个可验证的中间步骤。你可以把这种模型理解成一个反应极快但很少动脑的司机路况一简单他开得很溜路况稍复杂他就容易凭感觉乱打方向。1.2 直接映射在复杂场景下的三类翻车第一类是连续决策中的一步错步步错。没有中间推理模型可能把目标车道前方有慢车和侧后方车辆正在加速这两组特征编码成一个模糊的需要变道信号但到底应该加速挤进去还是减速让行缺乏先判断旁车意图再决定是否行动的中间环节。一旦第一次动作判断失误后续观测到的场景会进一步偏离正常分布错误就被放大。第二类是长尾交互博弈。最典型的场景是无保护左转。车辆需要对向直行车在未来两三秒内的位置做预估再判断有没有足够的时间窗口。直接映射模型把预测和决策混在同一个网络里特征在多层变换中被平均化细微的时序关系很容易丢失。体现在评测结果上就是开环轨迹误差不错但放进闭环仿真里经常在路口犹豫不决或者贸然冲出去。第三类是工程排查困难。出了问题之后工程师只能对着 saliency map显著图猜测模型到底在关注哪里。说实话这种手段在真实事故分析里基本不够用你很难回答模型当时有没有意识到右侧有行人这类问题。不是因为模型没有能力意识到而是因为它没有产生一个可被检查的中间状态。1.3 文本CoT能救场但救不了驾驶场景既然缺少中间推理最自然的想法是模仿大语言模型里的思维链让 VLA 先生成一段文字比如我看到前方有行人所以我减速停车再基于这段文字输出动作。这个思路在桌面上听起来很优雅但放到自动驾驶场景里就会暴露出四个问题。首先是时延。文本 CoT 需要先自回归生成几十个甚至上百个 token然后才能给出动作对车辆控制来说这个延迟非常致命。高速公路上 100 毫秒的额外延迟意味着车已经多跑了接近 3 米。其次是信息损耗。自然语言本质上是一种离散化的接口把右侧 3.2 米处有个骑自行车的人正以每秒 1.4 米的速度靠近压缩成有人在我右边之后精确的几何信息已经丢了。如果动作解码器只能看到这句话它就无法做出精确避让。再次是幻觉风险。语言模型完全有可能生成一句我观察到前方没有障碍物的中间推理但实际上特征空间里已经存在强障碍物证据。语言生成有自己的概率分布它并不会天然服从视觉特征的真实状态。这种自我脑补的错误在端到端训练里会被放大。最后是标注成本。要给大量驾驶数据打上高质量推理过程的文本标签人工成本高到不太现实。即便用大模型自动生成标注质量也参差不齐。所以我看到 LaST-VLA 选择不做文本 CoT而是把推理链放到潜在空间里是在逻辑上非常自洽的。2. latent时空CoT到底在想什么2.1 从写在草稿纸上到在心里默算要理解潜在时空 CoT可以先做一个类比。文本 CoT 就像做数学题时把每一步都写在草稿纸上字迹必须清晰可读别人能看见。潜在时空 CoT 更像心算你在脑海里默默把几个数字加了一遍不需要把每一步念出来但你的确完成了一次中间推演而且是基于完整的数值精度完成的不会因为要说给人听而四舍五入。放在自动驾驶模型里这个心算的载体就是一组连续的特征向量或者特征图。模型不再生成前方有行人这样的离散文字而是在潜在空间里生成一组预测好的未来场景特征序列。这个序列就是思维链的每一环。和文本链相比它有三个结构性优势。第一信息无损。潜在特征本身是从高精度图像、点云、历史状态里编码出来的中间推理过程在同一个连续空间里做不会出现语言压缩几何信息的损耗问题。第二时延可控。潜在推理链不需要逐 token 生成文本可以通过有限步推演、并行化推理实现算力允许的情况下时延可以压得非常低。第三可微可训练。中间状态和最终动作放在一个网络里联合后向传播不需要额外的人工标注文本作为监督。2.2 空间和时间两个维度怎么组织推理链时空这个词值得拆开来看。空间维度解决的是场景里哪些东西在什么位置、彼此之间什么关系时间维度解决的是这些关系会如何随未来时刻演化。两者缺一不可。在空间维度常见做法是把多视角相机图像、点云、高精地图元素统一编码成带空间结构的特征图或鸟瞰视角表示。每一个空间位置对应着这里有什么、能不能走等信息。推理链里的每一环都保持这种空间结构而不是拍平成一段无结构向量——这样才能支持向左避让还是向右避让这类空间判断。在时间维度推理链会沿着时间轴逐步展开。模型从当前时刻的潜在场景状态出发预测下一时刻的状态再基于预测结果继续推演通常会覆盖未来 2 到 6 秒。这个时间跨度不是拍脑袋定的它需要覆盖常见交通博弈中最关键的决策窗口比如无保护左转需要覆盖对向车流的接近过程变道超车至少需要覆盖目标车道后车的跟车反应。这里的每一个中间状态既不是对某一帧传感器数据的简单编码也不是对整段未来轨迹的全局压缩而是在当前决策意图下未来场景可能呈现的状态。它天然带有条件性模型在考虑要左转和要直行时关注点和预测到的未来状态可能是不同的。这种有条件的推演比全局固定的轨迹预测更贴近真实驾驶决策过程。2.3 无保护左转场景下的完整推理链条拿最典型的无保护左转场景走一遍推理链条你会更直观地理解潜在时空 CoT 在做什么。第一步模型接收当前时刻的传感器输入和历史状态得到初始潜在场景特征这里面包含对向两辆车的位置、速度、自己的车头位置、路口宽度等信息。第二步模型沿着时间轴做潜力推演如果我现在保持当前速度蠕动到路口中间那么对向第一辆车在 t1 秒、t2 秒会不会已经逼近到冲突点第三辆车是否会因为前车减速而改变速度曲线第三步空间推理介入我的车头如果停在路口中心会不会阻挡对向车辆的正常通行右侧的行人通行空间是否被我侵占第四步综合这些潜在状态解码出动作先缓慢前进到等待位置确认对向车流出现足够间隙后再快速完成左转或者干脆停车等待。这个链条不长但每一步都发生在连续特征空间里没有一步是输出一句人话。工程师可以通过可视化这些中间潜在状态看到模型认为对向车未来会到哪个位置从而判断它的推理是否符合常识。这才是潜在时空 CoT 真正有价值的点它不是给模型编了一个解释给自己听的话术而是给了模型一个真正能用来做计划的内部沙盘。3. LaST-VLA的模型主干潜在推理链是怎么嵌进去的3.1 多模态输入先被压成统一特征空间模型输入并不只是单张图片加一句指令。实际驾驶场景里有用的信息分散在多个模态里前视和环视相机图像、激光雷达点云、自车历史速度与方向盘转角、导航路径规划指令、高精地图车道信息。LaST-VLA 这类模型的输入层核心任务是把这些异构数据统一编码成时间对齐的特征序列。视觉编码器负责把图像变成视觉 token点云如果使用的话也需要对应的稀疏编码器语言指令经过文本编码器映射到同一语义空间历史状态则通过一个状态编码器嵌入成连续向量。关键的工程细节是时间对齐相机图像每秒 30 帧点云可能 10 赫兹而导航指令只在几个语义节点上产生如果不把时间戳对齐干净后续的时空推演就会混乱。我自己的经验是这一层最容易出问题的地方往往不在于模型结构而在于数据预处理。很多复现实验做不出来检查到最后都是因为传感器时间戳没有对齐或者坐标系没有统一。VLA 模型对这类错误的容忍度非常低因为潜在推理链对时序关系极度敏感。3.2 潜在时空推理器状态序列、动力学与动作解码这一层是模型的核心。从公开技术思路来看主干 Transformer 在完成多模态特征融合之后会进入一个专门的潜在推理模块。这个模块维护一串推理状态向量或者特征图每个状态代表一个未来时刻的场景潜在理解。状态与状态之间的转换由一层可学习的时空动力学网络完成它学的是场景在时间上如何演变的通用规律。为了让这些潜在状态不脱离真实的物理世界中间监督是必要的。常见做法包括用未来时刻的真实观测特征作为目标让推理链上的状态去逼近它或者在这个潜在状态上加一个轻量的解码头输出未来轨迹坐标、占用率栅格、速度场等可验证的中间量。最后推理链的末端状态会交给动作解码器解码器可以直接输出控制量也可以输出未来 N 个航点交给下游控制器跟踪。这个设计的精妙之处在于潜在推理链可以视为可微的规划器它内部不是靠人工规则去规划路径而是通过可微的动力学变换在特征空间里走一条从当前状态到未来状态的路径。由于整个链条都是可微的动作的监督信号可以一路往回传不仅修正最终解码器还同时修正潜在推理器本身。3.3 训练目标与超参敏感性训练目标一般由几部分构成。最基础的是模仿学习损失让模型的输出动作和专家轨迹接近第二层是中间状态对齐损失约束推理链上的每个状态要和未来时刻的真实观测特征对齐第三层是语言指令一致性损失确保模型在接收到不同指令时切换自己的潜在推演方向。这三类损失在训练时会互相拉扯权重配比非常讲究。从大量 VLA 项目的实践来看有两个超参最敏感。第一个是潜在推理链的步数。步数太少模型只有短期反应没有足够的预判能力步数太多模型容易在特征空间里胡思乱想把不确定性一步步放大。第二个是中间监督权重。如果给潜在状态的对齐损失权重过大模型会把精力都放在预测未来特征上而忽略了最终动作精度如果权重过小潜在推理链容易退化成装饰性模块模型又会回到感知直接映射动作的老路。比较稳妥的做法是先做小规模消融固定训练步数把中间监督权重从 0.1 到 1.0 按对数间隔排列跑一组小模型观察最终动作误差的变化曲线。通常你会看到一条 U 形曲线最优点通常在 0.3 到 0.6 之间。这个区间在不同数据集上会浮动但一般不会偏离太多。3.4 消融与评测建议复现这类模型我建议一开始不要直接上几十亿参数的大模型先用一个中等规模的骨干网络把整条链路跑通。重点验证三个问题潜在推理链是否真的改变了中间特征的内容去掉推理链之后性能下降多少推理链在高难度交互相场景上的收益是否大于简单直行场景具体做法很简单对比三个变体。第一个是去掉潜在推理链直接从融合特征解码动作第二个是把潜在推理链步数设为 1相当于只向前看一步第三个是完整版本。看一下在长尾场景切片上的表现差异。如果第一个和第三个差距不大说明推理链没有真正发挥作用问题通常出在中间监督信号的设计上而不是模型结构上。另一个容易被忽略的细节是数据分布。潜在时空 CoT 的效果在交互相场景密集的数据集上特别明显但在高速公路巡航这种简单场景上它带来的提升非常有限反而会增加推理时延。所以千万不要因为某个 benchmark 效果好就无脑堆推理步数要回到自己的业务场景里去评估收益。4. NAVSIM双榜SOTA代表什么又可能隐藏什么4.1 开环与闭环两条评测线的本质区别NAVSIM 是一个面向自动驾驶规划任务的神经仿真评测环境。它给模型提供真实数据切片包括传感器数据、高精地图、历史状态让模型做出轨迹预测或者控制决策然后按照特定指标打分。但开环和闭环这两条评测线考察的能力实际上差别非常大。开环评测的核心逻辑是拟合。模型输出的未来轨迹会和数据集中真实司机的轨迹做误差比较同时也会检查轨迹是否偏离道路、是否与其他物体碰撞。它的优点是测评速度快、可重复性强缺点是它本质上是在模仿人类司机并不真正考察模型在动态交互中的应对能力。有些模型开环误差刷得很好但实际上只是记住了人类数据的统计分布遇到逻辑复杂的场景仍然会翻车。闭环评测的核心逻辑是应对。模型输出的轨迹不会直接拿去和真值比而是送入神经模拟器。模拟器里其他车辆、行人会根据模型的行为做出动态反应模型需要在这种动态变化的场景中完成驾驶目标。评测指标包括驾驶任务的完成率、碰撞率、是否违反交通规则、能否在合理时间内到达目标点等。闭环分数高说明模型具备一定的交互决策能力而不只是拟合能力。评测维度开环评测闭环评测核心问题模型预测的轨迹像不像专家模型能否在动态环境中安全完成任务动态交互基本不涉及核心考察点可重复性较高取决于神经模拟器的稳定性与真实路测距离较远相对更近最主要陷阱模仿分布而不理解场景模拟器过拟合与分布偏移4.2 双榜一起拿的含金量在哪里单榜 SOTA 和双榜 SOTA 之间隔着一条明显的鸿沟。常见的现象是某个方法在开环榜单上效果很好误差指标压得很低但一进闭环仿真就原形毕露频繁碰撞或者在路口犹豫。反过来也有方法在闭环里安全指标很出色但开环轨迹误差偏大因为它选择了更保守的驾驶策略轨迹和人类司机不完全重合。LaST-VLA 能够同时在两个榜上都拿到 SOTA至少说明一件事它在拟合人类示范和应对动态交互这两个方向之间找到了一个不错的平衡点。潜在时空 CoT 在其中扮演的角色可以理解为给模型加了一层内部预演开环评测里这层预演让模型输出的轨迹更贴近理解未来之后才做出的决策闭环评测里这层预演让模型面对其他车辆的动态反应时不会只是机械地重放训练数据里的轨迹而是能够根据未来场景的潜在状态调整当前动作。不过作为一个常年和各种榜单打交道的人我还是要泼一盆冷水NAVSIM 双榜 SOTA 是一个很强的信号但它不等于真实路测安全。神经模拟器本身的训练数据分布、物理简化程度、以及评测场景的覆盖率都会影响榜单分数的可信度。榜单数据适合用来横向对比算法思路但绝不能作为上车的唯一依据。4.3 复现评估时的避坑清单如果你准备在自己的项目里尝试 LaST-VLA 或者同类潜在推理方法下面几个坑我提前帮你踩过了。第一个坑是过度相信神经模拟器。很多团队在 NAVSIM 上刷到好成绩就把同样的模型直接搬到实车上结果发现实车场景中的传感器噪声、未建模的交通规则、人类驾驶者的不规则行为让模型的表现大打折扣。解决办法是在自己的数据集上重新闭环评测最好加上规则安全层做兜底不要把安全完全交给模型。第二个坑是忽视推理时延。潜在时空 CoT 的推理步数和车载算力之间需要做平衡。在高端 GPU 上训练时你可能感觉不到延迟但部署到车规级芯片上每一步推理都要多花时间。强烈建议在项目初期就设定时延预算比如推理链播完一遍不能超过 50 毫秒然后用这个约束反推合理的步数。第三个坑是可视化误导。潜在时空 CoT 的可解释性本质上是可调试性而不是人类可读性。你可以可视化中间状态看到模型认为未来会发生什么但这些状态不是规则也不代表因果解释。把它们当成调试线索可以当成系统设计依据会有风险。第四个坑是训练成本失控。潜在推理链增加了模型在训练时的计算量中间监督也会引入额外数据需求。如果一开始就上几十亿参数的大模型一次训练的成本可能让一个小团队直接陷入被动。我建议先在单机多卡环境下用小模型把机制跑通确认收益后再考虑扩大参数量和数据规模。最后说点个人体会真要说我对 LaST-VLA 这条路线最深的体会不是刷榜本身而是它把推理这件事做成了可微、可训练、可插拔的连续模块。它没有试图让模型用自然语言解释自己为什么刹车而是让模型用一组潜在时空特征把未来会发生什么这件事具象化。对工程师来说这种中间状态反而比一段漂亮的话术更容易定位问题。如果你也想在自己的 VLA 项目里尝试这个思路我的建议是先别急着上大模型和大数据先在一个小规模闭环仿真环境里把潜在推理链的步数、中间监督权重、时延预算这几个问题都调明白。否则一次大规模训练的成本足够让你把前面所有热情都赔进去。等这套机制在你的数据上真正产生了可验证的收益再去谈扩大规模也不迟。