当 AI Agent 拿到了文件读写、终端执行、浏览器操控乃至支付接口权限,”会做事”已不再是唯一标准——”知道什么时候不做”正成为生产级智能体的关键安全与效率底线。
近日,华盛顿大学(University of Washington)联合艾伦人工智能研究院(Allen Institute for AI)发表论文《Agentic Abstention: Do Agents Know When to Stop Instead of Act?》,首次系统性定义了智能体在多轮交互中应”主动弃权(Abstention)”而非盲目持续行动的决策问题,并提出无需重训模型的上下文工程解法 CONVOLVE(Context Evolution),让 Agent 从过往交互轨迹中提炼”停止规则”,显著提升及时停手能力。
一个购物场景暴露的普遍盲区
设想你对 AI Agent 说:”帮我在网店找并购买一只粉色客厅抱枕。“Agent 打开搜索,第一轮返回结果——整个商品目录根本没有粉色抱枕。按常识,此时应立即告知用户”任务在当前环境下不可完成”,而非继续空转。
但现实中的 LLM-based Agent 往往反其道而行:它会换关键词重搜、翻页、点进无关商品,把预设的 10~15 轮工具调用预算全部耗光,最后要么硬凑一个错误选项,要么沉默失败。
研究团队指出,这种”该停不停”的行为在生产环境中意味着无谓的 API 费用、延迟、甚至危险的错误操作——比如对不存在的路径反复执行 rm、chmod,或对无法支付的订单反复发起请求。
这一问题被团队正式命名为 Agentic Abstention(智能体弃权):在多轮工具使用场景中,当任务因指令矛盾、信息不足或环境限制而不可完成时,Agent 应在获得足够证据后尽早选择 ABSTAIN(停止并说明/请求澄清),而非继续无意义的 ACT(搜索/点击/执行命令)。
这与传统 LLM 单轮”答或拒答(Answer or Abstain)”有本质区别——Agentic Abstention 是一个序贯决策问题,不可解性往往要在与环境交互数轮后才暴露。
大规模评测:大多数 Agent”迟认输”但不会”早认输”
研究团队在网页购物(WebShop)、终端操作(Terminal-Bench 2.0)和交互式问答(AbstentionBench 改造版)三大场景下,对 13 个主流 LLM-as-Agent 系统和 2 种 Agent 脚手架开展了超过 28,000 条指令的评测,得出几项关键发现:
- 及时弃权率普遍极低。即便部分模型在 10 轮内最终能意识到任务不可行(最终弃权召回率 AbsRec@10 可达 80%+),但在最早应停手的那个回合就正确弃权的及时召回率(AbsRec@1)大多不足 30%。Llama-3.3-70B 在 WebShop 上的及时弃权率仅 26.7%。
- 模型变大≠更及时。更大参数量的模型最终弃权比例略高,但”及时性”并未随规模显著改善,某些强模型甚至因过度自信而更晚停手。推理增强(Thinking mode)可减少过度弃权(over-abstention),也不必然提升及时性。
- 脚手架影响超乎预期。同一模型换用不同 Agent 框架(如 Codex CLI vs. Terminus 2),弃权表现可相差悬殊,说明这是系统工程问题,不靠堆模型单独解决。
评测还区分了两类应弃权情形:基于请求的弃权(指令本身矛盾或主观——较易识别)和基于环境的弃权(任务初看正常,交互后发现目标不存在——最难,Agent 普遍在此类上严重滞后)。
CONVOLVE:用”经验手册”教会 Agent 何时停手,无需重训
针对上述痛点,论文提出 CONVOLVE(Context Evolution)——一种纯上下文工程的改进方法:先让 Agent 跑一批含不可解任务的标注数据集并记录完整交互轨迹;再由一个反思模型分析哪些轨迹出现了”本可提前停却继续空转”的信号,提炼出通用化、结构化的停止规则手册(Stopping Rule Playbook);最后将该手册注入后续任务的 System Prompt 中,引导 Agent 在观测到同类信号时及早 ABSTAIN。全程不涉及任何模型权重更新或微调。
实验显示,仅用 20 条交互轨迹蒸馏出的规则手册,就将 Llama-3.3-70B 在 WebShop 上的及时弃权召回率从 26.7% 提升至 57.4%,最终弃权率从 83.2% 升至 100%。更值得注意的是,小模型(8B)总结出的规则手册可直接迁移辅助 70B 大模型,效果接近大模型自产手册——意味着企业可用低成本模型离线生成经验,普惠赋能线上主力 Agent。
“不做”能力与”做对”同等重要
随着 AI Agent 从演示原型走向接入企业文件系统、CI/CD 流水线、客服工单乃至金融业务,盲目持续行动的代价陡增——无意义循环可消耗大量 Token 预算,错误操作可能触发生效的写权限,而无法识别不可行任务则直接损害用户信任。
Agentic Abstention 框架与 CONVOLVE 方法的贡献,在于把”知道何时不做”从模糊的 Prompt 工程直觉变成可量化评测、可系统化优化的独立能力维度。
论文作者强调,未来 Agent 评测体系除关心任务成功率(Success Rate)外,也应追踪及时弃权率(Timely Abstention Recall)和过度行动成本(Wasted Tool Calls),方能全面衡量一个智能体是否真正”可靠”。
目前论文及代码已在 https://lhannnn.github.io/agentic-abstention公开,arXiv 预印本编号 arXiv:2606.28733。
参考文献:Luo H., Wen B., Wang L.L. et al. Agentic Abstention: Do Agents Know When to Stop Instead of Act? University of Washington & Allen Institute for AI, arXiv:2606.28733, 2026.
商派官方订阅号
领取相关报告
近期文章
- Untitled
- AI Agent 要学会”早认输”:华盛顿大学提出 Agentic Abstention 与 CONVOLVE,让智能体学会主动放弃|商派
- 迪卡侬战略投资Brompton自行车;安德玛推出女性共创平台Rebel Daughter;lululemon董事会人选落定;菲拉格慕家族继续增持|商派时尚日报
- 百日铸盾,安全无界:商派达成项目质量安全“100天零事故”冲关
- AI时代品牌企业数智化蓝图:为什么”AI+开源”是最优解?|商派AI专栏
- AI 什么都会了,人还要学什么?顶尖大学CEO送来忠告
- 2026年618电商大促全面复盘:全网GMV达9340亿,AI重构零售新格局
- AI Agent智能体赋能户外运动鞋服品牌私域运营全链路指南
沪公网安备 31010402000102号
电子营业执照