AI 真正危险的地方,不是它会思考,而是它能“动手“

📅2026/7/11 17:11:25 👁️次浏览
AI 真正危险的地方,不是它会思考,而是它能“动手“
一提到 AI 的风险很多人第一反应是软件开始拥有执行能力了。这个说法听起来对其实站不住脚。软件从来就会执行。银行核心系统能划转资金交易程序能自动下单运维脚本能改配置、重启服务工业控制系统能驱动设备智能合约能在条件满足时改变资产状态——它们早就在真实世界里动手而且动了几十年。所以把 AI 时代概括成软件学会了执行是找错了变量。真正变的是执行背后的权力结构。过去理解一个人想要什么判断该不该做决定调哪个接口最终按下执行键这几件事是被拆开的——分散在人、业务系统、规则引擎、审批流程和执行程序之间彼此制衡。而现在一个 AI Agent 可以把它们全部收进同一个软件闭环理解目标、读取上下文、制定计划、选择工具、生成参数、调用接口、处理结果再根据结果决定下一步。一句自然语言进去一连串真实动作出来。过去要好几个角色、好几套系统、好几次人工确认才能走完的链路如今被压缩成一次连续的软件循环。于是问题不再是软件能不能执行而是一个更尖锐的问题理解意图、作出判断、触发执行还应不应该由同一个软件主体一口气完成这正是最近一年 Agent 安全研究反复绕回的地方。这些论文未必都用执行权这个词但它们讨论的委托授权、工具授权、执行前裁决、执行溯源本质上是同一件事的不同切面。2026 年 7 月的一篇执行安全综述把 2023 到 2026 年间的 39 篇研究归为隔离、访问控制、策略执行、TOCTOU、身份委托、执行溯源等 17 类。这个信号本身就值得注意执行层是否安全正在从笼统的AI 安全里独立出来成为一个专门的问题。一、变的不是能不能执行而是执行权集中到了什么程度传统自动化也执行但它跑在确定的轨道上。输入是什么、什么条件触发、调哪个接口、参数怎么生成基本在写代码时就定死了。系统能自动运行但决策空间有限。Agent 完全不是这个玩法。它接到的往往不是一条结构化命令而是一句模糊的目标帮我处理今天所有需要退款的订单检查服务器异常并完成修复读一下这些邮件该处理的都处理掉。为了完成这种目标Agent 必须自己解释任务、补全信息、拆解步骤、挑选工具还要在运行中不断调整计划。它的输出不再只是给人看的最终结果而可能直接变成后续调用的中间指令。2026 年有研究把这个转变概括为从 AI-generated content 走向 agentic action原本为输入—输出系统设计的防御根本没法平移到一个真会动手的环境里。另一篇提出 Agentic Risk Capability Framework 的论文更直接——它不按模型类型划分风险而是按能力看 Agent能不能执行代码、能不能联网、能不能改文件。风险不只来自模型本身更来自你最终开放给 Agent 的那些能力。结论是同一个AI 时代的风险不光取决于模型会不会犯错更取决于错误的输出能沿着多短的路径变成真实动作。当理解、规划、调用挤在同一个闭环里判断权和执行权之间原本存在的那段安全距离正在被抹平。所谓安全核心就是把这段距离重新造出来。二、有权限不等于这一次该执行传统访问控制只回答一个问题这个账号、这个令牌有没有权限调用某项能力这必要但对 Agent 远远不够。因为 Agent 拿到的往往是一组长期存在、相对宽泛的权限而用户当下的任务可能非常窄。一个财务 Agent 同时握着查询、导出、修改权限但用户这次只要它汇总本周交易一个运维 Agent 有改配置和重启服务的权限但此刻只要它分析异常原因。这些场景里一次工具调用完全可能符合静态权限却不符合用户当下的真实意图——批量导出没超权但用户根本没要它导出。2025 年的《Authenticated Delegation and Authorized AI Agents》提出要建立可认证、可授权、可审计的委托体系让外部系统能确认这个 Agent 到底代表谁、被授了哪些权、责任链怎么追。它解决了Agent 凭什么代表用户行动但上面还得追问下一层即便委托合法这一次具体动作是否仍落在当前委托范围内授权解决能力从哪来执行控制解决这一次能力释放合不合理——两者不是一回事。2026 年 6 月的《Intent-Governed Tool Authorization for AI Agents》把这层说得最透并立下一条硬规矩当前意图只能缩小原有权限不能扩大原有权限。静态权限规定系统一般能干什么当前任务意图只能从这堆能力里继续减掉用不上的部分绝不能因为模型觉得任务需要就自动加出新作用域、跨过原有的租户边界或审核要求。更要害的是这篇论文把模型和规划器明确定义为不可信的建议者模型可以提议调用规划器可以生成参数但它们谁都不能当信任根。真正有约束力的是坐在服务端的策略层——它核对意图、工具类型、Payload 和预期效果对不对得上一旦出现冲突、低置信度或高风险动作就走向澄清、草稿、人工复核或直接拒绝而不是立刻执行。三、真正的边界必须落在工具调用之前今天很多 Agent 安全方案主要靠两招一是给模型做安全训练指望它别生成危险动作二是执行完查日志看有没有越权。两招都有用但有同一个致命短板没法确定性地拦住某一次具体动作。模型对齐本质上是概率的——大概率不犯错但保证不了这一次日志审计本质上是事后的——动作一旦执行审计只能告诉你发生了什么却没法让已经转出去的钱、已经删掉的数据自动复原。《Before the Tool Call: Deterministic Pre-Action Authorization for Autonomous AI Agents》把这个缺口叫作执行前授权问题在工具调用真正抵达执行接口之前同步拦下请求按声明式策略判断该动作允不允许并生成带密码学签名的审计记录。它把三种机制掰开——模型筛查负责降低模型犯错的概率沙箱负责限制动作波及的范围执行前授权负责决定动作够不够资格真正发生。三者互补谁也替代不了谁。作者的对抗测试里有个数字值得琢磨限制性执行策略下879 次攻击尝试全部未授权动作都被拦住了。这个结果来自特定系统不能外推到所有 Agent但它戳中一个常被忽略的区别——让模型学会说不和让系统具备拒绝执行的能力是两码事。只要最终的工具还无条件接受模型给出的调用模型就是事实上的执行授权者。要注意的是加一道人工审批并不等于分离了执行权。审批只能证明某人在某时看到了某些信息并点了同意它不天然保证审批时看到的对象就是最终执行对象、批完之后 Payload 没被改过、这次批准没被拿去重放。审批必须和最终动作牢牢绑定——用户批的是一份摘要执行系统收到的却是另一份 Payload那有审批记录根本证明不了安全。同样把系统拆成一堆微服务也不等于分离。如果 Agent 服务、策略服务、执行服务由同一个管理员控制、跑在同一个信任域、共用同一组高权限凭证那它们在架构图上是三个框实际上仍属于同一个失效域一处被攻破三处一起沦陷。新一代执行环境因此换了个思路不指望 Agent 永远可靠而是在它之外造一个绕不过去的约束环境。《An AI Agent Execution Environment to Safeguard User Data》提出的 GAAP 就是例子——它不把保护隐私数据的责任交给 Agent而是由执行环境确定性地执行用户定下的规则。原则很关键安全保证应该来自 Agent 绕不过去的执行环境而不是来自对它行为的一厢情愿。四、一套完整的执行权分离至少要五层分离不等于所有操作都得人工审批也不等于 AI 只能出主意。它的真正含义是从意图到现实结果之间不能只剩一个能一路畅通的软件主体。至少要拆成五层。意图提出层表达希望系统做什么描述目标但不直接握有执行能力。规划与建议层里AI 解释任务、拆步骤、选工具、生成候选参数——它可以很聪明但吐出来的应该是候选动作而非不可撤销的命令。授权与治理层确认 Agent 代表谁、权限还有没有效、能不能再往下委托2026 年关于智能委托的研究提出高风险场景不能只靠长期静态凭证而要用跟任务时长绑定的即时权限、权限衰减和严格的子任务作用域Agent 往下委托时不该把完整权限原样传给下游。执行裁决层在动作发生前核对当前意图允不允许、有没有超作用域、Payload 和批准内容一不一致、有没有超过金额和频次边界——它必须拥有独立的拒绝能力且结果不能只由模型输出说了算。执行与证据层只接受满足全部约束的动作并记录真实发生的对象、参数、授权来源和结果。这里的证据不能只是普通应用日志。因为在复杂 Agent 系统里执行的因果关系和授权的关系可能对不上。《Observability for Delegated Execution in Agentic AI Systems》指出一次委托可能派生出多个因果上并不连续的并行调用、异步重试和多 Agent 子任务普通 Trace 只能说清哪个调用触发了哪个却未必说得清每个动作凭哪一份授权发生。所以授权结构必须和因果结构分开记录、执行时绑定不能事后靠时间窗口硬凑。未来的执行证据必须同时回答两个问题事情是怎么发生的事情凭什么被允许发生还有一个常被忽略的坑检查完之后状态可能变了。审批时查的是一个文件执行时文件已被替换确认时看的是一个账户调接口时收款方变了预览时生成的是一组参数提交时用的是另一组。这类问题归在 TOCTOU——检查那一刻和使用那一刻之间状态发生变化。真正的执行边界不能只查有没有审批它必须把审批、状态和最终 Payload 绑在一起关键参数一旦变化原授权就该立即失效、重新裁决。五、这从来不只是 AI 的问题Agent 让这个问题变得紧迫但执行权集中并非 Agent 独有。传统自动化流程可能同时掌握规则判断和接口调用企业 SaaS 可能同时负责审批、策略和最终提交支付系统可能同时完成风控评分、额度判断和资金划转。AI 的作用是把这种权力聚合推向了更高的速度、更大的范围、更复杂的上下文——过去一条固定脚本的路径还容易枚举而 Agent 会动态选工具、生成参数、重试、调子 Agent在多轮反馈里改掉原方案。所以一个合理的推断是AI Agent 只是最先暴露问题的场景执行权分离最终会成为整个自动化系统的基础要求。未来需要被保护的不是某个模型也不是某个接口而是从意图进入系统、到现实动作真正发生的那整条路径。这里说的彻底分离不是把 AI 和执行完全隔开——AI 要是永远不能执行也就没了自动化的价值。它真正的意思是任何单一软件主体都不该独自走完从解释意图到造成高后果结果的全过程。AI 可以生成计划但不能自行扩权策略可以给出判断但不能是唯一事实来源审批人可以同意但同意的内容必须和最终动作绑定执行系统可以完成动作但不能自己去解释业务意图。对低风险、可逆的操作靠短期权限、沙箱和独立策略网关就够了但对资金转移、关键配置、敏感数据导出、权限变更这类高后果操作就需要更强的独立执行域、更严的状态绑定以及一个普通业务流程轻易绕不过去的最终裁决点。执行权分离不是在给自动化降速恰恰相反它是让高等级自动化敢于进入真实业务的前提。六、结语AI 时代真正该警惕的不是软件突然学会了执行——软件早就在执行。真正的变化是AI 正把意图理解、决策判断、任务编排、工具选择和动作触发聚合进同一个连续闭环。当这些权力集中在一个软件主体上模型的一次误解、一次上下文污染、一次权限滥用、一次状态变化都可能沿着极短的路径变成无法撤回的现实结果。最近这一年的研究正从不同方向逼近同一个结论AI 可以提出动作但不该独自拥有让动作成真的最终权力。未来成熟的 AI 系统不会只用模型能力来衡量。它还得答得上这样一串问题谁提出了意图谁授予了权限谁批准了具体动作谁验证了最终 Payload谁握着最后的拒绝权谁能证明到底发生了什么当这些问题被真正拆开执行控制就不再只是一个功能模块——它会成为 AI Agent、自动化系统、数字基础设施和所有高后果业务共同需要的新一层安全基础设施。