在 AI Engineer World’s Fair 上Diogo Almeida 分享了《What’s next after RLHF?》主题演讲录像视频后更名为《Jev CEO: I made ChatGPT, now I’m building what’s next》。Diogo 是 TypeSafe AI 的联合创始人兼 CEO也是 Jev 的创造者。他曾参与 GPT-4 和 ChatGPT 的开发并共同撰写了 InstructGPT/RLHF 论文后训练这个概念正是由他的团队开创的。而这场演讲他要拆的恰恰是自己参与缔造的范式。Diogo 的开场就带着一种自我拆台的意味。今天的 AI 一切都继承自 RLHF——在人在回路上表现惊人但不擅长自动化。这是他给出的第一个结论。在他看来AI好得离谱与差得离谱的撕裂本身就是一种误诊。真正的分水岭不在于能力高低而在辅助与自动化一类任务生来要取悦回路里的那个人另一类的目标则是把人彻底移出去。而 RLHF 在训练时字面意义上就是把人硬塞进了那个回路里。它的原理总结起来只有两句话收集人类偏好针对人类偏好做优化。于是所有人都被困在同一个错位里大家拼命想做自动化手里拿的却是一套只会自信迎合的架构。这引出了 Diogo 的第二个结论今天的 AI 是通过针对人类偏好做优化来设计的其目标就是辅助。 也正因如此下一个时代不是 Claude Code 时代——它仍然属于辅助时代内核仍然是 RLHF。他用软件举例我们只是把写软件自动化了软件本身的表达力却原地踏步。 自动化的本质从来不是把一个人的工作整体打包交给 AI而是锁定那些机械、重复、规则清晰的事务交给计算机近乎零成本地反复执行。但这件事并没有在软件身上发生。所以第三条路是必需的RLHF 优化人类偏好RLVR 优化纯粹正确性的对数错误率而 TypeSafe 做第三种——为经过校准的决策而优化把预训练的智能直接接进去让它对软件真正有用。在 Diogo 看来明天的 AI 属于自动化我们会迎来更聪明的软件真实工作开始被实质自动化。这是本场演讲的第三个结论也是它的落点辅助之后是真正的自动化。当时仍处在半隐身状态的 TypeSafe 赌的就是这件事一个半月后Jev 发布。以下是演讲回顾Diogo Almeida今天讲RLHF 之后是什么。更准确地说应该叫我们所处的 ChatGPT 时代之后是什么。先给个提示**下一个时代不是 Claude Code 时代**我认为它和 ChatGPT 属于同一个时代。我是 OpenAI 内部少数真正会黑ChatGPT 的人。我讨厌的不是这个产品它能改变世界并且一直陪伴我们。但我承认它的局限今天这个领域的很多现状都能追溯到我们设计 ChatGPT 背后算法时所做的一些很小的决定。01两种极端并存中间地带完全缺失当下每个 AI 从业者都该问的是到底发生了什么一端认为 AI 不只是好而是好得离谱几乎每个基准都被超越人类水平且还在加速NLP 基准被成片碾压据称大模型能自主运行的时长呈指数增长。另一端认为 AI 不只是差而是差得离谱这是泡沫没有真实价值只有循环融资。如果 AI 真那么厉害为什么落地形态还只是一个聊天框、或一个 Claude Code“变革性 AI 革命已经没人提了而是改口说它会像 B2B SaaS 一样非常有价值”。所以唯一的共识是两种极端并存中间地带完全缺失。每个人都觉得对方疯了只是理由相反。02辅助与自动化的分水岭把两边的证据摊开最简单的解释是什么左边的任务不只是恰好有人在回路中——它们的目标本身就是取悦回路里的那个人。比如Claude Code 的使命不只是让代码跑通如果只求跑通它的交互方式会完全不同。右边那些更基础的任务目标恰恰是把人从回路里移除理想情况下它应该在无需查看的后台服务器上运行最终沉淀成你不必再操心的存量软件legacy software。这就是辅助与自动化的分水岭。我这场演讲的第一个结论今天的 AI 一切都继承自 RLHF——在人在回路上表现惊人但不擅长自动化。几乎每个企业都学到了这个教训不要用 AI 做重大决策。通行做法是让成本由用户而非企业承担丢文档给用户没问题让 AI 决定一笔昂贵的退款绝对不行。03收集人类偏好针对人类偏好做优化RLHF 不只是 ChatGPT 背后的算法也是今天每一个大模型背后的算法按使用量算约 100% 的调用都跑在 RLHF 训练过的模型上。OpenAI 团队曾写过一篇博客文章解释它的原理总结一下就是两句话收集人类偏好针对人类偏好做优化。**这也就回答了为什么所有大模型都需要人在回路——**答案简单到可笑我们训练它时字面意义上就是把人硬塞进了那个回路里。这个回路的目标就是针对人类偏好做优化而不是让软件自主运行。所以过度承诺不是 bug是被设计出来的特性。一项较早的元分析显示数字可能已变由于首要目标是人类主观满意度任何 RLHF 模型在人类偏好分与客观结果之间永远存在落差——即使结果是好的。推特上有个例子有人给 ChatGPT 发一段放屁音效问我做的这首曲子怎么样。它一本正经地回答这是一首氛围感十足、颇为阴森的作品。这就是 RLHF 的工作方式当它不确定时它会倾向于最符合人类偏好的那个答案。对聊天框里的用户这完全合理——所有 RLHF 模型的终局目标是优化参与度。但自动化要的恰恰相反它不该在乎人的脸色只以高度校准的方式把事做对。第二个结论今天的 AI 是通过针对人类偏好做优化来设计的其目标就是辅助。奖励模型的不对称性使得无论模型错得多离谱它看起来永远合理、永远自信。这是行业两难的死结——大家拼命想做自动化手里拿的却是一套只会自信迎合的架构。04辅助之后是真正的自动化我认为真正的问题是AI 的辅助时代之后是什么 而我们非常确定地正处在那个时代里。回到最开始的提示为什么说下一个时代不是 Claude Code 时代因为它仍属于辅助时代内核仍是 RLHF。如果它纯粹是 RLVR 驱动的形态和界面会非常不同。很多 Agent 团队都陷在同一个死循环模型有时自主性很强一调就又不听指令两种目标来回拉扯却都没给自动化增加任何东西。逻辑终局只有一个辅助之后是真正的自动化。05只是把写软件自动化了软件本身的表达力原地踏步软件极其有价值看看满世界的 SaaS 就知道了。而最疯狂的是基本上所有 SaaS 自 2019 年以来就没变过。大模型时代它唯一的变化是侧边栏挂了一个聊天框。想想 AI 的进步这很荒谬但承认 AI 天生是辅助原生的就顺理成章工具只是个助手除了在旁边放个对话框还能干什么这并不是早期先驱设想的未来。翻翻 OpenAI 最早的章程charter讲的是承担海量繁重的工作不是盈利、也不是对话框。我们曾以为软件本身会变聪明而不只是写代码变便宜。Garry Tan 赞美说我们正进入即时软件的黄金时代。我认为这是把双刃剑——我也用 Claude Code 和 ChatGPT但我要的是更聪明的软件本体。为什么软件的“积木”到今天还是老样子自动化的本质不是把一个人的工作整体打包给 AI而是锁定那些机械、重复、规则清晰的事务交给计算机近乎零成本地反复执行。但这根本没发生。我们只是把写软件自动化了软件本身的表达力原地踏步。06TypeSafe为可靠性重做技术栈我相信行业终将认为 RLHF 是一段奇怪的弯路——我不想说它错但它出乎我们意料。**第三个结论**明天的 AI 属于自动化我们会迎来更聪明的软件真实工作开始被实质自动化——尽管今天的模型已这么聪明真正被自动化的比例仍只是一个舍入误差rounding error即可忽略不计。这正是我们在 TypeSafe 做的事。我们的核心问题是如果整个 AI 技术栈从头围绕可靠性与自动化重新设计架构会怎么变这是与今天几乎所有大模型分道扬镳的岔路口。我们很快会发布。07问答环节问像 Bengio 建议的那样预训练时同时训一个分类器头会怎样答问题不在预训练。把整个互联网压缩进一个可调用的智能内核本身就是不可思议的成就问题在于后训练如何把这份智能挖出来。幻觉是针对人类偏好做优化的内生产物。奖励模型的不对称性类似 GAN 的 mode dropping它促使模型丢掉某些模式并保持自信。因为我不确定极易被奖励模型识别和惩罚而用自信权威的口吻编造反而能拿高分。问你们做的是 RLVR 吗答绝对不是是一个新东西。Sutton 的《苦涩的教训》讲的是可扩展的通用方法加算力最终胜过人类先验即算力比算法更重要——这在游戏里成立在现实中不成立。完整的排序是数据比算力重要而做对的任务又远比数据重要。后训练的每个分支都有自己的“北极星指标”RLHF 优化人类偏好RLVR 优化纯粹正确性的对数错误率我们做第三种——为经过校准的决策而优化把预训练的智能直接接进去让它对软件真正有用。问奖励是贯穿整个过程注入的吗答连 API 的形态都不一样。RLHF、RLVR 和我们这套三者的对外接口根本不同。我们是一切从零重新思考的——就像 InstructGPT 之前没人想过指令遵循这回事。后训练每次出现真正的重大分叉新东西在诞生时都被视为异类事后回想却又理所当然。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】