2026年9月美国参议员 Bernie Sanders 与众议员 Greg Casar 对外披露了一项名为《Ban Artificial Superintelligence Act》的立法计划。按照目前公开的信息这仍是一份宣布中的立法主张而非已经生效的法律它试图永久禁止人工超级智能的开发与部署并在联邦层面建立起相应安全规则之前暂停部分先进人工智能的进一步开发。这显然是一项政治提案它能否进入正式程序、超级智能究竟该如何定义每个环节都存在争议。反对声音并不只来自产业界——一些长期呼吁强化 AI 安全监管的研究者同样认为直接宣布永久禁止过于激进等于用法律封存一个科学界尚未稳定定义的对象而支持者的理由同样成立如果人类真的造出了自己无法控制的系统那时再讨论治理可能已经失去了讨论的资格。但如果把政治立场放到一边这项提案真正值得被记住的地方也许不是它想禁止什么而是它无意之间暴露出的空缺。当人工智能开始从回答问题走向完成任务从生成文本走向调用接口、改变状态一个过去不必回答的问题被推到了台面上我们究竟应该控制“智能”还是控制“执行”这两个问题看上去几乎相同实际上分属两种治理哲学。前者关心一个系统能想到什么后者关心它能让什么真正发生。一、过去十年的 AI 安全主要在问机器会不会想错过去十年关于人工智能风险的讨论几乎都围绕同一个对象展开——模型。模型是否携带偏见是否产生幻觉是否泄露隐私是否会被越狱绕过限制是否在误解指令后输出危险内容。再往深处走是 Alignment机器的目标是否与人的目标一致如果有一天出现比人类更聪明的系统它是否仍然愿意服从人类。这些问题都极其重要。但把它们放在一起观察会发现它们共享着一个未被言明的前提风险主要来自机器如何思考。既然风险源自思考治理自然落在思考本身——训练数据、参数规模、能力评估、安全对齐、推理过程、能力上限。整个安全议程被组织成了一套围绕脑的工程。禁止超级智能仍站在这条延长线上推理相当自然如果一个系统强大到我们无法保证它始终可控那么最稳妥的办法就是不要让这种能力出现。作为预防原则这并不荒谬。问题在于它可能只触及了风险的一半。因为把风险真正带进现实世界的从来不是智能本身而是智能获得了执行能力。一个系统想错了什么和一个系统做成了什么中间隔着一道被长期忽视的门。二、一个错误答案与一次错误转账不是同一种风险设想两个人工智能系统。第一个非常聪明能读遍全球市场数据、解析财报、预测价格每天生成上千条交易建议却没有任何账户权限不能下单不能转账不能调用银行接口。即使它判断错误风险链条上仍然存在一道天然断点——人必须决定是否执行。第二个也许没那么聪明甚至偶尔会理解错指令但它能够直接登录交易系统、调用支付接口、操作云基础设施、修改生产数据库、控制设备状态。到这里问题的性质已经改变。危险不再取决于它到底聪明到什么程度而取决于它能够让什么事情真正发生。我们习惯用能力衡量机器的危险程度但现实系统的风险结构更接近另一个式子风险等于智能能力、执行权限、自主程度、作用规模与作用速度的乘积。任何一个变量抬升都会改变整个风险轮廓而把一次错误从信息变成事故的是执行。模型可以生成一万次错误答案只要没有执行能力它们始终只是错误信息而一个能力平平的模型只需在生产环境里执行一次错误的删除命令就足以造成不可逆的损失。危险程度并不与智能水平完全同构。这意味着一件反直觉的事远低于超级智能门槛的系统完全可能拥有远高于其智力水平的执行风险。如果治理只盯着能力的天花板就会系统性地漏掉今天正在发生的大多数事故。三、我们可能正在用“限制大脑”的方式解决“限制手脚”的问题正因如此这场讨论最值得深思的地方不在结论而在本能。当一个系统可能失控时人们第一反应总是不要让它那么聪明。于是路径顺理成章地指向降低模型能力、限制训练、限制算力、限制参数规模。这些方法有其价值但本质上都是在限制脑。现实世界一直存在另一条路线即使一个系统非常聪明也不意味着它必须拥有无限执行权。人类社会对此并不陌生。我们不会因为一名员工足够聪明就允许他独自调走一家银行的全部资金不会因为一位工程师技术出色就允许他毫无边界地改写整个生产系统也不会因为 CEO 是最高负责人就让重大资金、审计与法律程序对他完全失效。现代组织治理的成熟之处恰恰在于把两件事拆开能力与权力必须分离。一个人能够做出正确判断并不等于他应该拥有让所有判断直接成为现实的权力。这不是对个人的不信任而是对系统的负责。但在人工智能的工程实践里我们正把这两个概念重新混合一边训练越来越强大的智能一边把 API Key、数据库权限、云控制台权限、资金与设备控制权限不断交到它手里然后通过提示词、策略文件或对齐训练告诉它——请正确地使用这些权力。这是一种脆弱的安全结构因为它隐含着一个危险假设只要智能足够可靠执行就可以被信任。而人类几百年的制度设计恰恰建立在相反的假设之上无论一个主体多么优秀都不应该拥有不受约束的最终执行权。四、真正成熟的系统不应该要求“永远正确”工程世界对此有更朴素的表述可靠系统从不建立在组件永远不会失败的假设上。飞机不会因为飞行员受过严格训练就取消冗余数据中心不会因为服务器优良就取消备份金融机构不会因为员工通过背景调查就取消审计核电站更不会因为控制软件测试充分就假设它永远不会异常。成熟工程的基本逻辑始终是失败一定会发生。因此真正的问题不是如何保证永远不失败而是失败发生时系统如何阻止它演变成灾难。今天的 AI 安全讨论正缓慢逼近同一个问题。一个具备自主规划能力的 Agent可能在数百个连续步骤中完成任务第 1 步正确第 2 步正确第 37 步出现偏差第 38 步基于错误状态继续推理第 39 步调用真实接口第 40 步改变现实世界。链条越长某一步偏离就越接近必然。于是我们要解决的已经不只是让第 37 步不要犯错——对任何复杂系统而言这几乎无法长期保证。更现实的问题是在第 39 步发生之前系统是否还存在一道独立于模型判断之外的边界。这道边界之所以必须独立是因为它一旦依附于模型自身的判断就与错误共享了同一个源头。一个由犯错者自己看守的关口等于没有关口。五、未来 AI 治理的核心也许不是“机器能不能想”而是“机器能不能做”顺着这条线索AI 治理需要完成一次重心迁移。过去我们习惯问这个模型有没有危险能力。未来必须继续追问它即使拥有危险能力能够把这种能力转化成什么现实动作。模型可以规划一笔支付和模型可以完成一笔支付不是一回事模型可以生成删除数据库的命令和数据库真的被删除不是一回事模型可以设计一次网络攻击和它获得凭证、建立连接、真正改写目标系统同样不是一回事。这三组对照之间横着一个长期被软件世界忽视的层从 Intent 到 Execution。意图不是执行判断不是执行甚至授权本身也不等于执行。真正改变现实状态的永远是最后那个瞬间——钱被转走服务器被关闭权限被修改设备开始运动代码进入生产环境交易被广播。现实世界的安全最终都收敛到这个瞬间。一旦承认这一点就会得到一套截然不同的安全哲学不必首先证明机器永远不会想错但必须保证想错的东西不能自动变成现实。前一种逻辑要求我们赢下一场可能没有终点的认知战争后一种逻辑只要求守住一道可以被工程实现的关口。差别不在严格程度而在可行性。六、智能边界越来越难定义执行边界反而可以非常具体可行性正是两条路线最关键的分野。超级智能最大的治理难题之一是定义本身什么时候算 AGI什么时候算 ASI超过人类平均水平算不算超过最优秀的专家呢是在所有领域超过还是部分领域超过现有 Benchmark 又是否真能稳定衡量这种能力。这也是反对相关立法者的核心质疑——如果监管对象无法被稳定定义法律边界就很难被真正执行。执行边界则完全相反它天然是具体的。一笔支付最高允许多少金额一天累计允许转移多少资产哪些账户可以接收资金哪个生产环境允许被修改什么设备在什么状态下才可以启动哪些动作需要第二主体共同确认哪些命令超过时间窗口自动失效哪些操作无论 AI 如何判断都不能完成。这些问题不需要回答 AI 到底有没有意识不需要回答它是不是超级智能甚至不需要理解模型内部究竟如何思考。它只需要回答一件事这个动作此刻能不能发生。我们也许无法定义智能的边界但完全可以定义执行的边界。这可能是执行边界最重要的价值它把一个高度抽象、甚至可能长期无解的哲学问题转化成了可以被工程化、被审计、被验证的问题。我们不知道未来的 AI 会聪明到什么程度但完全可以规定——无论它有多聪明这笔钱不能这样转。七、“关闭 AI”与“拒绝一次执行”是两个完全不同的治理尺度具体与抽象之外两条路线还有一个常被忽略的差别治理的颗粒度。如果治理对象是模型可用的措施往往巨大而笨重——禁止训练禁止部署关闭系统限制算力暂停研发。它们要么不启动要么代价高昂中间几乎没有过渡态。而如果治理对象变成执行控制就可以细化到每一个具体动作。真正的边界不该是AI 可以运行与AI 不可以运行之间的二选一。AI 可以分析可以规划可以建议可以形成完整的 Intent甚至自由调用大量低风险工具但当它走到真正的高风险执行点时系统必须要求重新证明这个主体是谁这个动作是什么目标对象是什么当前状态是什么证据是否完整是否落在预设边界之内以及最终要执行的动作是否仍与最初意图一致。换句话说未来真正成熟的 AI 治理可能不是一个巨大的总开关而是无数个极小的执行闸门。这个差别至关重要因为文明极少通过全面禁止一种能力获得长期安全。更多时候我们做的是另一件事允许能力存在但把权力关进结构。电力、汽车、金融、航空、化工无一不是沿这条路径被驯服的。我们没有禁止它们变强只是让它们的每一次作用都必须穿过被设计过的关口。八、我们真正缺少的也许不是更听话的机器而是“不需要机器永远听话”的系统把权力关进结构意味着安全不能再依赖对某个主体的信任。这恰恰是过去几十年计算机安全最重要的一次觉醒逐渐放弃对可信主体的迷信。Zero Trust 的核心并不是认定所有人都是坏人而是不再把这个人应该可信当作安全机制本身。信任可以是一种判断但不能是一道防线。同样的道理会延伸到人工智能。未来 AI 安全真正成熟的标志也许不是我们终于造出了一个百分之百确信永远服从、永远正确、永远善意的系统。这个目标值得追求但一个成熟的社会系统不能把自身安全押在它之上——因为一旦押错就没有第二次机会。真正强大的系统应该能够容纳一个更现实、也更谦逊的假设AI 会理解错误会产生幻觉会被攻击策略会写错SaaS 会失陷管理员会犯错人类也会错误批准甚至未来某一天机器可能真的聪明到我们无法完全理解它在做什么。而即使以上全部发生一个错误仍然不能因此自动获得改变现实的最终权力。这才是边界存在的意义。它保护的不是我们对机器的怀疑而是判断失效之后仍然可以重来的余地。从可信的人走向可信的结构是所有成熟制度走过的同一条路人工智能不会是例外。九、超级智能也许是未来问题执行失控却已经是现在的问题《Ban Artificial Superintelligence Act》最终会走向何处现在远没有答案。截至目前它仍是 Sanders 与 Casar 宣布准备推动的立法方案而不是已经生效的美国法律围绕它的争论也必然继续。有人认为这是面对潜在文明级风险时必须采取的预防原则有人认为它会扼杀创新、削弱竞争力并试图用法律定义一个科学界尚未清晰定义的对象。这些争论都有其合理之处短期内也不会有共识。但也许还有第三个问题值得被放到同一张桌子上如果我们暂时无法决定智能的终点在哪里至少应该开始决定执行的边界在哪里。超级智能可能还在未来Agent 执行却已经发生在今天。AI 正在接触代码仓库、账户体系、云平台、支付系统、企业流程以及越来越多的现实基础设施。我们不能等到某个系统被正式定义为超级智能之后才第一次认真追问它究竟拥有什么权力。因为真正决定危险程度的从来不只是一个系统知道多少、理解多少、能够推理多远而是它最终能够让什么事情发生。人类文明用了几百年时间才逐渐学会一件事不要把无限权力交给任何一个主体。无论它是国王、政府、企业、个人还是未来某个比我们更聪明的机器。这条经验并非来自对人性的悲观而是来自对复杂系统的诚实——判断会错制度必须承接错误。所以 AI 时代真正重要的安全问题最终也许并不是我们能不能制造出一个永远不会犯错的智能。而是当智能犯错时我们有没有能力让现实拒绝它。