browser-use全家桶成形操作完浏览器再操作视频Agent的下一个接管对象是【免费下载链接】video-useEdit videos with coding agents项目地址: https://gitcode.com/GitHub_Trending/vid/video-use过去一年AI Agent 的能力边界一直在操作层上扩张先是学会点鼠标——browser-use 让 LLM 通过结构化 DOM 驱动真实浏览器完成表单填写、数据抓取、多步任务编排随后这个能力开始向人类数字生活的其他领地蔓延。2026 年下半年browser-use 组织把触角伸向了视频编辑video-use 这个开源项目声称Drop raw footage in a folder, chat with Claude Code, get final.mp4 back把剪辑这件事从预设模板 菜单操作变成了自然语言对话。社区热度印证了这一点——在头条等平台关于video-use 1.2 万星用 Claude Code 剪视频的讨论正在发酵多家技术媒体将 browser-use 与 video-use 并列为AI Agent 从聊天到操作浏览器与视频的完整拼图。这篇文章不打算重复如何安装这类入门教程而是想回答三个更根本的问题browser-use 与 video-use 的版图拼合意味着什么video-use 在源码层面如何解决LLM 理解视频这个看似不可能的问题以及如果 Agent 已经接管了浏览器和视频下一个被接管的操作对象会是谁一、从 DOM 到时间轴browser-use 家族的版图拼合打开 video-use 的 README.md第一屏就是一行毫不掩饰的家族宣言Try video-use in Browser Use Cloud。仓库的安装指引更是直接把项目定位写进了克隆路径——git clone https://github.com/browser-use/video-use同属 browser-use 组织之下而 install.md 中注册 skill的流程则是把整个仓库以 symlink 方式挂进 Claude Code、Codex 等 coding agent 的 skills 目录。这个版图拼合不是简单的品牌延伸而是同一套哲学在不同操作对象上的复刻。README 里有一句话点破了这层关系Same idea as browser-use giving an LLM a structured DOM instead of a screenshot — but for video.browser-use 的核心理念是不要让 LLM 去看一屏像素截图token 消耗巨大且信息冗余而是把网页抽象成结构化、可寻址的 DOM 表示让模型在语义层面理解页面并下达动作。video-use 把这套逻辑平移到了视频领域不要让 LLM 去看几万帧画面而是把视频抽象成结构化文本与按需生成的视觉合成图。落地形态也一脉相承。browser-use 是运行在 agent 内的浏览器操作 skillvideo-use 则是运行在 Claude Code、Codex、Hermes、Openclaw 等任意具备 shell 权限的 agent 内的视频编辑 skill。用户把素材丢进文件夹在会话里说一句edit these into a launch videoagent 就自动完成盘点素材、转写、提策略、等待确认、执行剪辑、自检成片的全流程。它不做预设、不给菜单声称适用于 talking heads、montage、tutorial、travel、interview 等任何内容类型——Zero assumptions about content type. Look, ask, then edit.这套同一范式、不同操作对象的扩张正是 Agentic 版图拼合的典型路径先解决感知层的结构化抽象再复制到下一个领域。二、反直觉的核心设计让 LLM读视频而不是看视频video-use 最值得玩味的技术决策藏在 README 的一段对比里Naive approach: 30,000 frames × 1,500 tokens 45M tokens of noise. Video Use:12KB text a handful of PNGs.一部 10 分钟的 talking head 视频约 3 万帧如果逐帧喂给多模态 LLM按每帧 1500 token 估算要消耗 4500 万 token——这是典型的噪声淹没信号。video-use 的做法是两层感知架构全部在 SKILL.md 中定义Layer 1音频转写文本始终加载。每个素材源调用一次 ElevenLabs Scribe拿到词级时间戳word-level timestamps、说话人分离speaker diarization和音频事件标记(laughter)、(applause)、(sigh)。然后由 pack_transcripts.py 把原始 JSON 打包成一份约 12KB 的takes_packed.md——按静音 ≥0.5s 或说话人切换切分短语每行前缀[start-end]时间范围## C0103 (duration: 43.0s, 8 phrases) [002.52-005.36] S0 Ninety percent of what a web agent does is completely wasted. [006.08-006.74] S0 We fixed this.这份文件就是 LLM 的主要阅读视图primary reading view剪辑的切点、节奏、冗余全都藏在文本的时间轴里。Layer 2按需视觉合成图决策点才调用。timeline_view.py 对任意时间区间生成胶片条 波形 词级标注 静音区间阴影的合成 PNG且文档明确警告它不是扫描工具——只在模棱两可的停顿、重拍对比、切点校验这类决策时刻调用。SKILL.md 的对应插图直观展示了这种决策点下钻的形态由此形成了音频优先audio-first的剪辑方法论切点候选来自词边界与静音间隙≥400ms 静音是最干净的切点150–400ms 需视觉校验150ms 不安全笑声、掌声、强调节拍是必须保留的峰值。LLM 从不独立推理音轨与画面任何一刀都必须对两条轨道同时成立——这正是传统剪辑师的核心经验被编码成了可执行的规则。源码级流水线从素材到成片的六段链路在 SKILL.md 和 README.md 中管线被明确描述为Transcribe ── Pack ── LLM Reasons ── EDL ── Render ── Self-Eval │ └─ issue? fix re-render (max 3)逐段拆开看Transcribetranscribe.py 先用 ffmpeg 抽取单声道 16kHz WAV上传 Scribe 获取词级时间戳结果缓存到edit/transcripts/name.json除非源文件本身变化否则绝不重复转写transcribe_batch.py 用 4 个并行 worker 批量处理整目录素材。Pack把转录 JSON 折叠成短语级 markdown1 小时素材压到原始 JSON 的 1/10 token 量。LLM ReasonsLLM 依据takes_packed.md决策产出 EDL编辑决策列表 格式的edl.json——每条 range 包含源文件、起止秒数、beat 归属、引用台词与选取理由。EDL 是 AI 推理与 ffmpeg 执行的解耦层这是整个架构的支点模型只负责决策不负责手艺。Renderrender.py 按 EDL 逐段执行其中塞满了生产级正确性细节每段提取时内联色彩校正 30ms 音频淡入淡出防止切点爆音HDR 源iPhone 默认 HLG、相机 PQ自动做 tone-mapping 到 Rec.709 SDR逐段提取后用-c copy无损拼接避免二次编码叠加动画时用setptsPTS-STARTPTST/TB把动画帧 0 对齐到窗口起点字幕过滤链永远最后应用否则被叠层遮住最后两遍 loudnorm 归一化到社交平台标准 -14 LUFS / -1 dBTP / LRA 11。Self-Eval成片在交付用户前agent 先对渲染输出而非源素材的每个切点 ±1.5s 窗口跑timeline_view检查视觉跳变、波形爆音、字幕被遮挡、动画错位上限 3 轮修复仍不过则向用户如实标记问题。Persist每次会话追加一节到project.md——策略、决策、非显然选择的理由、遗留事项下次会话开头先总结上一次。协作机制与记忆Ask → Confirm → Execute → Self-Eval → PersistSKILL.md 把流程纪律写成了硬规则策略确认前绝不动刀。agent 先以 4–8 句话向用户描述素材形态、取景方案、剪法、动画计划、调色方向与字幕风格等待用户用自然语言确认后才执行。动画素材由 HyperFrames、Remotion、Manim、PIL 四套引擎按需选择每个动画 slot 由独立子 agent 并行构建总墙钟时间 ≈ 最慢的那一个。12 条硬规则管生产正确性字幕最后、切点必须落在词边界、切边填充 30–200ms 吸收 Scribe 时间戳漂移、词级 verbatim ASR 等其余全部让位给艺术自由——文档明确写道Every specific value, preset, font, color... is a worked example, not a mandate.三、Agentic OS 叙事操作层统一的真实意义browser-use 与 video-use 的拼合放到更大的叙事里看正是Agentic OS之争的一个缩影。社区对这一趋势的感知相当明确InfoQ 刊文讨论《下一层抽象从 UX 角度思考 Agentic OS 的样貌》投资界报道Claude 能直接操控你的电脑微信了华尔街见闻用GPT-6强拆App 的墙来形容模型对原生应用边界的穿透。这些讨论共享一个判断大模型的竞争焦点正在从会思考迁移到会操作——谁能把模型的自然语言指令稳定翻译成对真实环境的控制动作谁就掌握了新的平台层。video-use 的价值恰恰在于示范了操作层统一的一种实现路径不追求一个万能 agent 处理所有媒介而是为每种操作对象建立专门的感知-决策-执行闭环。browser-use 的感知层是 DOM 快照与可访问性树决策层是 LLM 的动作决策循环执行层是 Playwright 驱动的真实浏览器video-use 的感知层是词级转写文本 按需视觉合成决策层是 EDL 生成执行层是 ffmpeg 渲染管线。二者共用智能体闭环的逻辑骨架差异只在感知层的结构化抽象方式——正如多篇社区技术文章所指出的browser-use 与 video-use二者共用智能体闭环逻辑但感知层差异巨大。这种感知层差异化、执行层工具化、决策层模型化的三层解耦是 Agentic OS 得以成立的前提操作系统不该为每一种媒介内置一个 agent而应该提供统一的操作接口 工具链注册机制。video-use 的 skill 机制整个仓库 symlink 进 agent 的 skills 目录helpers 与 SKILL.md 作为兄弟文件同仓部署本身就是一种轻量级驱动安装——类比操作系统里为外设装驱动。四、同赛道竞品与后来者操作层战争的参与者video-use 并不孤独。把它放进竞品地图能看到操作层战争的完整光谱视频编辑方向传统剪辑软件的 AI 功能智能字幕、一键成片本质是预设模板 菜单操作而 video-use 声称no presets, no menus——模板是写死在代码里的video-use 的策略是让 LLM 每次根据素材本身和用户意图现场推演剪辑方案通过 EDL 与 ffmpeg 解耦实现任意内容类型的泛化。社区评价也捕捉到了这一差异需 Claude Code/Codex 等 Shell 级 Agent 环境无 GUI不适用于纯无人值守流水线——它刻意放弃了 GUI 和全自动换取的是可对话、可解释、可自检。浏览器自动化方向这是最拥挤的赛道。除了 browser-use 本身社区周报盘点了一众补件级工具——Chrome DevTools MCP、Page Agent、LocoAgent、BrowserAct以及各类针对特定平台的垂直 Agent如开源的小红书自动发帖 Agent RedBookC。而云厂商与模型厂商则从另一端杀入MiniMax 的AI 实习生、能直接操控桌面应用与微信的 Claude Computer Use都是把操作层收编进自家产品线的动作。这些后来者的共同策略是直接接管执行环境而非像 browser-use 这样开放协议让开发者自建。video-use 在这个格局里的独特身位是它证明了操作层可以脱离特定环境而独立存在——不依赖某家云厂商的沙箱不绑定某个 GUI只依赖 ffmpeg 转录 API 任意 shell 级 agent就能完成一个高难度操作对象视频的接管。这恰恰是全家桶最危险的地方当操作接口足够抽象它就能平移到任何环境。五、推演下一个被 Agent 接管的操作对象回顾这条扩张线浏览器结构化 DOM→ 视频结构化时间轴。两个案例共享同一个底层逻辑——把人类创造的非结构化媒体重编码成 LLM 可高效消费的结构化表示。浏览器之于网页、词级时间戳文本之于视频都是信息降维但语义保真的中间表示。顺着这条逻辑下一个被接管对象的候选需要满足三个条件信息量大但冗余度高、存在可自动生成的结构化中间表示、以及有明确的执行工具链。候选清单如下音频工程播客、录音、语音消息与视频共享音频优先的基础设施——Scribe 词级时间戳已经存在ffmpeg 具备全部音频处理能力而去口头禅、压静音、响度归一的规则与 video-use 的 cut craft 几乎一一对应。video-use 已经内置的 loudnorm-14 LUFS与 30ms fade 逻辑几乎可以直接复用到纯音频产品。这是最接近顺手就做的下一个对象。文档与版式PDF、幻灯片、长文排版是另一个高信息密度对象。PDF 有文本层类似 transcript版式有可解析的坐标体系类似 DOM执行工具链是成熟的排版引擎。LLM 已能读文本缺的只是按需视觉下钻PDF 局部渲染成图与结构化编辑指令类似 EDL 的版式决策列表。3D 与设计工程文件Blender、Figma 场景的节点图、层级树本身就是结构化数据理论上比视频更友好——难点在执行工具链的稳定性和预览成本但感知层抽象并不难做。操作系统桌面与原生 App 控件这是所有方向里价值最大、也最拥挤的——Claude Computer Use、GPT-6 拆 App 墙、微信操控等情报都指向这里。但它的中间表示可访问性树、截图结构化程度最低token 效率远不如视频的 12KB 文本方案反而可能是最后被优雅接管的对象。结论并不难下下一个被接管的对象大概率是与视频共享音频基础设施的音频编辑以及拥有原生文本层与坐标体系的文档版式——因为它们最适配文本优先 按需视觉这套已被 video-use 验证的范式。而 video-use 真正的遗产不是能剪视频而是证明了操作对象的结构化重编码这件事可以做得极省 token45M → 12KB并且值得为每个对象单独造一个 skill。当这种 skill 模式积累到一定数量browser-use 全家桶就不再是一个项目而是一套面向所有非结构化媒体的人工智能操作系统的雏形。到那时问题就不是Agent 下一个接管谁而是还有什么是不需要 Agent 接管的。【免费下载链接】video-useEdit videos with coding agents项目地址: https://gitcode.com/GitHub_Trending/vid/video-use创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考