note全模态结构化解析模型Youtu-Parsing-Omni-5B一个5B模型把文档、自然图像、音频、视频统一解析成 带空间/时间锚点的结构化JSON记录 定位是给LLM agent提供“感知层”让LLM读取、定位、引用多模态证据是个基础设施。这是一个趋势给Agent做基础设施。其真正主张是“解析即感知接口”多模态输入一次性转成带锚点的文本记录agent不需要反复重编码视觉/音频token且结论可通过bbox/时间戳回溯。这与RAG和computer-use agent的趋势直接对齐但是局限在于解析质量决定上限本模型的ASR弱项会直接传导给下游以及结构化记录会丢失原始信号中的长尾信息。跨模态联合感知 。现有全模态方案Qwen-Omni、Logics-Parsing-Omni都是双塔视觉ViT 音频AuT分别预训练在LLM里才汇合。三个后果感知阶段无跨模态融合LLM要从分离表征里自己推断跨模态关系两塔各自索引时间同一时刻的帧和声音在感知内部没有共享时间坐标每个新模态要再建一座塔。对caption/QA影响不大但对解析是硬伤结构化输出必须显式说清“什么内容和什么内容同时发生”。OSAD的本质是“带特权信息的自蒸馏周期性教师刷新”前提是有一个统一schema能定义token角色以及参考解析可以当特权信息用。文章目录note一、研究动机1. 大模型智能体正面对非文本信息的困境2. 解析Parsing的本质价值做智能体的感知层3. 现有方案的痛点碎片化、不统一二、论文核心两大设计原则核心架构解码器专用 LLM 单一感知编码器原则一One Encoder for Every Modality原则二One Schema for Every Task → OmniSchema三、实验结果四、深度分析1. 设计的本质把融合下沉到感知层2. 一编码一 Schema的复利效应3. OSAD 的巧妙之处自蒸馏 在线进化4. 对智能体生态的意义5. 值得继续观察的点Reference一、研究动机【多模态统一解析模型进展】5B 参数的全模态解析模型。输入文档页面、自然图像、图表/流程图、几何图形、音频或视频输出一个结构化 JSON同时覆盖 感知 布局、文本、表格、公式、bbox、时间戳、ASR/OCR、声学事件、镜头运动和 认知 标题、叙述、报告。链接https://github.com/TencentCloudADP/youtu-parsing/tree/main/youtu_parsing_omnihttps://huggingface.co/tencent/Youtu-Parsing-Omni。基于此可以完成一些场景比如其一RAG 知识库预处理最主流用法。企业里的 PDF、扫描件、PPT 截图要进知识库得先转成干净的 Markdown/JSON。它一个模型搞定版面分析 文字/表格/公式提取 阅读顺序还原对标 MinerU、PaddleOCR-VL 这类专用模型且 OmniDocBench 96.96 分排第一。这是文档型 agent 管线的地基。其二图表和流程图结构化包括图表截图 → Markdown 数据表做数据提取、报告数字化、流程图/架构图截图 → Mermaid 代码可二次编辑、可被 agent 理解、几何图形 → 点线关系和测量值教育、做题类应用其三音视频结构化包括会议录音 → 说话人分离 ASR 时间戳 声学事件、讲座/教程视频 → OCR幻灯片 ASR讲解 整段 Markdown 报告这是做视频问答、会议纪要 agent、内容审核检索的基础设施。其四垂直场景化学结构式识别ChemOCR、乐谱识别PDMX-Synth等。1. 大模型智能体正面对非文本信息的困境当前 LLM 智能体越来越依赖外部证据——检索、调用工具、操作电脑屏幕。但这些证据大量以文档、图片、音频、视频形式存在而非纯文本。若直接让驱动智能体的模型去硬吃这些输入有两个致命问题成本高每次智能体重访素材都要重新编码一长串视觉/声学 token不可审计从原始像素或波形里得出的答案无法自动指出哪段区域、哪个时间区间支撑了它。2. 解析Parsing的本质价值做智能体的感知层论文的核心洞察是——解析能同时解决成本和审计问题把每个输入一次性转换成含内容 含时空定位的结构化文本记录。任何 LLM包括纯文本模型都能读取这份记录并通过记录中的锚点anchor追溯到原始出处。也就是说解析是架在非文本输入和语言模型推理之间的一层感知基础设施。3. 现有方案的痛点碎片化、不统一维度现状问题文档解析在标准页面上很强化学式、乐谱等符号内容仍靠领域专用模型文档之外多为 captioning/问答缺乏有根据的结构化输出多模态模型视觉、音频各一个独立编码器双塔三宗罪见下现有双塔方案C1 挑战的三个缺陷模态各自为战感知阶段无跨模态融合语言模型得自己从两套表征里猜关系时间线各自独立同一瞬间的画面和声音在感知里不共享时间位置对齐被推给语言模型参数不共享每个新模态都要再造一座塔架构、训练目标、预训练全要重来。优化目标难统一C2 挑战十个解析任务的输出字段各异要同时优化内容准确率、时空定位、Schema 合法性。SFT 只在参考前缀上训练、学不到自己的错RLVR 只能给序列级标量奖励难定义且反馈粗糙。总结动机既然所有输入的最终目标都是带时空锚点的结构化记录那为何不为所有模态、所有任务造一个编码器 一个统一输出 Schema二、论文核心两大设计原则核心架构解码器专用 LLM 单一感知编码器模型是Decoder-only 语言模型接受文本、图片、音频、视频含音轨只输出文本。编码器负责把所有模态投影进统一的时空坐标空间。原则一One Encoder for Every ModalityYoutu-Omni-Encoder用共享权重的单一 Transformer 替代双塔关键设计组件作用模态专用 Stem图片/视频切成固定 patch → 线性映射音频 → log-mel 谱 → 步长卷积降采样 → 线性映射固定 token 率 rₐ/秒共享 Transformer标准 pre-norm 块双向注意力RM-SNorm SwiGLU 分组查询注意力 QK-NormToken Merger Projector帧内相邻视觉 token、相邻音频 token 沿特征轴合并 → RMSNorm 两层 MLP 投到解码器宽度Youtu-Omni-Encoder0.4B单塔其一共享Transformer28层hidden 1024从 Qwen3-0.6B-Base 初始化 去掉embedding和LM head而非ViT其动机在于解析本质是“读”预训练语言模型的权重已经会“把上下文映射到符号”直接复用这个能力。其二只有stem和projector是模态专属的3%参数。视觉stem就是一个16×16 patch的线性映射音频stem是3层stride-2卷积13 token/秒。其三轴分解RoPE 64个rotary slot切成三段T/H/W 21/21/22各段独立频率表归一化。视觉token写 (t帧号 h,wpatch位置)音频token写 (t时间偏移 hw0)两种模态写入同一个时间轴段帧和声音从此可比位置。其四稀疏融合 第13/14/27/28共4层做跨模态注意力。视频按“I帧其后音频chunk”切窗窗内帧和声音互相attend且按音频token速率共享时间尺度Δt_audio1/token。也就是说音画对齐在感知层内部完成只有跨窗依赖留给decoder。训练时fused路由概率0.8保证两条路由推理都可用。只有 Stem 和 Merger-Projector 是模态相关的绝大多数感知参数在模态间共享。两大关键技术统一位置编码Unified Positional Encoding把 RoPE 的频率槽预算分成 T、H、W 三段各轴用各自的反频率表。视觉 token 取t(帧索引) (h,w)(patch 位置)音频 token 取t(时间偏移) hw0。两模态写入同一个 T 段共享同一时间尺度。音视频融合Audio-Visual Fusion共享时间线只让位置可比融合层才让二者真正交互。在少数几层红色里让短音视频窗口内的画面和声音互相注意力——所以某页幻灯片出现时说了哪些话这种对应关系是在感知内部算出来的而不是让解码器事后重建。原则二One Schema for Every Task → OmniSchemaOmniSchema把十个解析任务的输出统一成同一种结构化记录格式。这带来的关键好处是可以用同一个训练目标跨任务优化——OmniSchema-Aware On-Policy Distillation (OSAD)。一个是跨任务联合优化。十个任务输出字段不同SFT只看参考前缀推理时是自己生成的前缀有exposure biasRLVR/GRPO只用序列级标量奖励异构指标格式正确性、grounding精度、内容准确率很难捏成一个reward。所以为了解决这个问题走了两个解法其一OmniSchema一个输出格式管十个任务使用 JSON三件套modality 单元列表图像用0-1000归一化bbox的elements音视频用HH:MM:SS时间戳的segments global_description。十个任务文档、化学SMILES、乐谱ABC、图表Markdown表、流程图Mermaid、几何、自然图像、音频、自然视频、富文本视频全部套这一个schema。每个token因此可以归类为结构tokenJSON语法或内容token字段值。其二OSAD自进化on-policy蒸馏使用三段后训练SFT16B token建立schema格式→ schema路由的GRPO0.6B序列级→ OSAD0.6Btoken级。OSAD的关键构造OSAD 是怎么工作的学生用LoRA在自身rollout上训练冻结的教师是 同一模型的副本但额外能看到参考解析 privileged information来自OPSD的思路对齐惩罚按token角色分配内容token用JS散度 有界允许多个合法续写 结构token用forward KL 要求覆盖教师对语法的预测再加一个全token的JS项最后每轮结束把adapter合并进base权重教师随之刷新教师和监督信号随学生共同进化不需要人工设计reward也不需要单独训练的教师共6轮。这个OSAD的本质是“带特权信息的自蒸馏周期性教师刷新”前提是有一个统一schema能定义token角色以及参考解析可以当特权信息用。三、实验结果单个 5B 参数的 checkpoint通吃全部十个解析任务。基准成绩对比/意义OmniDocBench v1.696.96OverallSOTA文档解析当前最优OmniParsingBench75.08Avg.领先最强开源 Logics-Parsing-Omni72.26优势集中在音频和视频图表解析95.02Overall 最高各领域基准领先化学结构识别Tani1.0 54.2超越 DeepSeek-OCR 249.6排印乐谱转录CER 22.73与专用模型 LEGATO23.30持平远超通用系统四、深度分析1. 设计的本质把融合下沉到感知层传统双塔把融合推给语言模型等于让解码器承担本该是感知的职责。Youtu 的做法是——在编码器内部就完成跨模态对齐和交互语言模型只负责把已经融合好的表征翻译成结构化文本。这是对感知层这一概念的彻底贯彻。2. 一编码一 Schema的复利效应参数复用新模态只需新增 Stem Projector不再重建整座塔监督共享统一 Schema 让 OSAD 能用同一套 token 级目标跨十个任务联合优化避免了多套独立目标互相割裂。3. OSAD 的巧妙之处自蒸馏 在线进化它绕开了 RLVR 的两大难题——难定义的奖励和只有序列级反馈。通过在模型自己的输出上、用带参考条件的自身副本当教师获得了token 级、与 Schema 角色对齐的精细监督且教师随学生一起进化形成闭环。4. 对智能体生态的意义这套系统最值得关注的不是单项 benchmark 的数字而是它降低了智能体使用多模态证据的门槛任何纯文本 LLM 都能消费它的输出每条结论都能通过 anchor 回溯到原始画面/时段一次解析、反复复用显著降低推理成本。5. 值得继续观察的点5B 参数单 checkpoint 在多模态长视频上的实际吞吐与延迟OSAD 在多轮自演化后是否会引入偏差累积化学、乐谱这类极端符号任务上通用架构与专用模型的差距是否会被彻底抹平。总结Youtu-Parsing-Omni 用一个编码器编码一切、一个 Schema 统一所有任务把跨模态融合从语言模型手里收回、下沉到感知层并用自演化的在线蒸馏实现跨任务精细监督——证明了通用架构在保持专用模型精度的同时也能支撑广泛的多模态解析。Reference[1] https://huggingface.co/tencent/Youtu-Parsing-Omni[2] 全模态结构化解析模型Youtu-Parsing-Omni-5B的用法及设计思路