实践中测量 AI Agent 自主性

概述

Anthropic 研究人员分析了 Claude Code 和公共 API 中数百万次人机交互,以了解 AI agent 在实际场景中的部署方式。该研究考察了自主性水平、用户体验影响、风险概况和监督机制。

自主运行时间持续增长 三个月内,Claude Code 会话的最长持续时间几乎翻倍,99.9 百分位数从不到 25 分钟增长到超过 45 分钟。这种跨模型版本的稳步增长表明用户随时间推移赋予了更多自主权,而不仅仅是能力提升。

监督模式转变 随着用户经验增长,"约 20% 的会话使用全自动批准模式,而经验丰富的用户中这一比例增长到 40% 以上。"矛盾的是,中断率也从 5% 上升到 9% 的轮次——经验用户从逐个批准每个操作转变为按需监督和介入。

Agent 自我监督 Claude Code 请求澄清的频率高于人类中断它的频率,尤其是在复杂任务上。这种主动发起的监督通过主动暴露不确定性来补充外部安全机制。

风险分布 大多数 agent 操作仍保持低风险和可逆性。软件工程占公共 API 上 agent 活动的近 50%,在医疗、金融和网络安全领域有新兴但有限的应用。仅 0.8% 的操作看似不可逆。

团队采用两个互补的数据源:

两者都使用隐私保护基础设施来维护用户机密性,同时支持实证观察。

模型开发者应投资部署后监控基础设施,并训练系统识别自身的不确定性。产品开发者应设计支持有效用户监督的界面,通过可见性和干预机制,而不是强制要求特定的批准模式。

研究强调,有效的 agent 监督源于模型设计、用户行为和产品架构之间的相互作用——这些因素在部署前测试中是不可见的。