Havenlon | 杂谈:不要只问 AI 有多聪明,要问它被放在了哪里

📅 发布时间:2026/8/12 18:44:52
Havenlon | 杂谈:不要只问 AI 有多聪明,要问它被放在了哪里
引子一条鱼的四种身份同样一条鱼放在佛堂里它是生命放在厨房里它是食物放在市场里它是商品放在水边它是风景如果被写进某种财富叙事它甚至可以变成资本与预期。鱼本身从未改变改变的只是它所处的位置。这看似是一则关于视角的寓言但把它放进今天的人工智能产业它触及的是一个比视角更硬的商业与工程问题我们习惯于追问一样东西是什么却很少追问它究竟被放在了哪里。过去两年围绕 AI 的绝大多数讨论都收敛于同一个坐标它到底有多聪明。参数规模、推理深度、代码能力、数学表现、长上下文、工具调用、自主规划——整个行业都在为智能打分。但当模型真正开始进入企业的真实系统另一个更具决定性的问题正在浮出水面决定一个 AI 的风险与价值的往往不是它有多聪明而是它被放在了执行链的哪一格。一、同样的准确率在不同位置是完全不同的东西设想一个准确率 99% 的模型。它被放在聊天框里偶尔答错用户至多觉得它不够可靠它被放进内部知识库答错一次可能让员工带着错误信息去开会它被接入客服系统错误开始触碰客户关系它被授权修改生产数据库错误的性质随之改变而当它能够操作资金、账户、设备与工业系统时同样的 1%含义已经彻底不同。在这个过程中模型没有任何变化。变化的是它与现实之间的距离。AI 离现实越近它每一次判断所承担的后果就越重。这也解释了为什么许多关于 AI 安全的争论容易失焦。人们反复追问幻觉率还能降多少什么时候能到 99.9%这些当然重要但企业真正需要先回答的是另一组问题——它现在站在哪里它只是提出建议还是可以发起动作它发起的动作由谁确认它能否直接改写数据、划转资金、关停设备它能否让一个数字世界里的判断径直变成物理世界里的结果这几个问题的答案通常比任何一张跑分表更能预测风险。二、能力决定上限位置决定后果我们习惯用能力理解技术。更快的计算机意味着更高的性能更强的模型意味着更好的智能。在软件时代这套逻辑基本成立因为软件长期承担的主要是计算、信息处理与辅助决策——它告诉你应该做什么最终按下按钮的仍然是人。AI 正在改变这个前提。它不再只是计算而是逐步获得了行动能力。今天的智能体已经可以读取邮件、整理文件、调用 API、创建工单、提交代码、操作 SaaS再往前一步它可以发起付款、修改权限、控制机器、调度机器人。当一种技术从告诉你应该做什么变成替你去做评价体系必须随之改变。因为能力决定一个系统能做什么位置决定它做错之后会发生什么。这两件事从来不是一回事。一个非常聪明却没有任何执行权的 AI风险边界是有限的一个并不算特别出色、却握有极高执行权限的 AI反而可能更值得担心。这与真实组织中的权力结构高度相似。一名普通员工判断失误影响通常止于局部一位握有最终审批权的人做出同样的误判结果可能完全不同。不是因为后者更不明智而是因为他的判断离结果更近。位置本身就是风险的一部分。三、一个需要被拆开的等式可信不等于应当放权观察今天多数 AI 产品的演进路径会发现一条几乎一致的逻辑链模型越来越强于是系统给它更多权限模型越来越稳定于是流程减少人工确认模型表现越来越好于是执行链越来越自动化。这条链条看上去顺理成章但其中隐含着一个值得拆解的等式越可信就越应该拥有更多权力。问题在于可信与可控制从未是同一个概念。一个系统可以非常优秀依然会出错一个模型可以在 99.99% 的情况下正确但只要剩下的 0.01% 能够触及足够大的现实后果它就仍然需要边界。成熟行业早已明白这一点。飞行员足够专业航空业并未因此取消检查单银行员工值得信任银行也从未因此废除交易限额、双人复核与事后审计。优秀不会自动取消边界恰恰相反一个主体的执行权越大对它的约束通常越应该严格。而在 AI 领域我们正在做一件方向相反的事把模型能力提升顺手翻译成系统可以把更多事情交给它。这值得警惕。因为智能增长的是判断能力而执行权改变的是风险结构。判断能力的提升是渐进的风险结构的改变却是跳跃的。二者不该被简单绑定。四、真正的问题不是会不会出错而是错误能走多远任何系统都会出错。人会失误程序会有缺陷网络会中断传感器会失效模型会产生幻觉。因此一个成熟系统要解决的从来不是如何保证永不出错而是当错误发生时它究竟能走多远。如果错误只停留在文本框里它的影响半径很小如果它进入工作流波及范围扩大如果它能直接调用外部系统风险再上一级如果它最终改变了现实那么问题的性质已经从模型问题变成了系统控制问题。这正是未来 AI 架构需要重建的一种意识——距离意识。不是所有 AI 都应该站在执行链的最后一步不是所有判断都应该自动转化为现实动作更不能因为一个模型过去表现良好就允许它绕过最后一道控制边界。真正成熟的自动化不是让 AI 一路向前而是清楚地知道它必须在哪里停下来。五、从功能设计走向位置设计过去的软件设计主要围绕功能与权限谁能访问谁能调用谁能修改谁被授权。AI 时代需要增加一个维度这个智能体应该被放在执行链的哪一格。它可以感知、可以分析、可以推理、可以给出建议、可以规划步骤、可以准备执行——但这些能力是否天然等于它可以最终执行答案显然是否定的。一个设计良好的系统不会只问AI 能不能完成这件事而会继续追问它应该完成到哪一步哪一步必须由独立规则验证哪一步需要现实状态重新确认哪一步不能依赖 AI 自己证明自己正确哪一步必须保留独立的否决权这意味着 AI 系统设计正在从功能设计进入位置设计。一个系统是否安全很大程度上不取决于智能被放大到什么程度而取决于权力在哪里被切断。六、位置不仅决定风险也决定商业模式同样的逻辑也适用于商业。今天大量 AI 产品在功能上高度相似写文案、总结信息、分析数据、调用工具、自动完成任务。但为什么有些只能停留为一个功能有些却可能长成基础设施区别常常不在模型能力而在它进入了什么位置。一个始终停留在用户可以随时关闭的对话框里的 AI本质上是一个工具当它嵌入企业每天必经的工作流它开始成为系统的一部分当它位于多个系统之间的关键节点它有机会成为平台当所有关键执行都必须经过它它才可能成为基础设施。因此商业世界值得追问的不只是这个产品有什么能力还有它占据了什么位置。许多团队持续为产品叠加功能却很少思考产品在整个产业关系中站在哪里。功能决定别人用不用得上位置决定别人离不离得开。这大概是 AI 时代一条被显著低估的商业规律估值最终不由智能水平定价而由不可替代的位置定价。七、下一代评价标准从 IQ 到权力半径今天我们习惯比较模型的智力谁推理更强谁代码更好谁的多模态更完整。但当 AI 真正进入现实系统企业会越来越关心另一组指标它能接触到什么它能改变什么它可以独立执行到哪一步它的错误最大能波及多大范围是否存在独立于它之外的系统能够阻止它一次异常行为能否被迅速终止这些问题共同衡量的是一个 AI 的权力半径。一个 AI 可以非常聪明但它的权力半径应该被精确设计。它能看见很多东西不代表它可以改变所有东西它能理解一个动作不代表它应当拥有执行该动作的最终权力它能生成一份计划也不代表计划天然获得执行资格。这可能是 AI 从工具走向基础设施过程中最重要的一次认知转变我们不应该因为 AI 更聪明就自动允许它站得离现实更近。八、成熟的系统从不把聪明当作安全工业社会用了很长时间才学会一件事一个系统的可靠性不能建立在某个主体永远不会犯错之上。于是有了保险丝、断路器、刹车、限位器、安全阀、双人复核与熔断机制。这些设计的存在并非源于对操作者的不信任而是源于一个更朴素的判断——成熟系统不会把安全寄托在任何一方永远正确之上。AI 不应例外甚至更需如此。因为 AI 比人执行得更快、更持续、也更具规模。一个人出错可能只错一次一个自动化智能体出错可能在几十秒内重复数千次。人类的错误是点状的自动化的错误是链式的。所以真正的问题从来不是AI 足够聪明之后我们是否可以完全信任它而是无论它有多聪明我们是否仍然保留了阻止错误变成现实的能力。这才是系统成熟与否的分界线。结语需要被设计的不只是智能那条鱼始终没有改变。佛堂里的鱼、厨房里的鱼、市场里的鱼、水中的鱼本质上仍是同一条鱼但位置不同意义完全不同。AI 也是如此。今天我们太习惯讨论模型本身——它有多少参数能完成多少任务推理能力有多强。而未来更关键的问题很可能是我们究竟把它放在了什么位置。因为智能决定能力位置决定权力而权力决定后果。当一项技术已经能够影响现实世界成熟的系统设计就不能只追求让它更聪明还必须回答另一个问题它可以走到哪里又必须在哪里停下。AI 时代真正需要被设计的从来不只是智能本身还有智能与现实之间的那段距离。