主要内容
Deloitte最新报告警告，企业部署AI代理的速度已远超安全协议更新速度，引发安全、数据隐私及问责制领域的广泛担忧。当前仅21%的组织对AI代理实施严格治理，但这一技术的采用率正快速攀升——目前23%的企业已在使用，预计未来两年将增至74%，未采用该技术的企业占比将从25%降至5%。
报告指出，风险并非源于AI代理本身的固有缺陷，而是治理不足导致的系统不透明。缺乏明确边界的AI代理决策和行为易陷入“黑箱”状态，缺乏治理时难以管理，更无法对错误进行保险覆盖。Kovant CEO Ali Sarrafi提出“受治理的自主性”解决方案：设计清晰边界、政策和行为定义，像管理企业员工一样规范代理，使其在风险阈值内自主处理低风险任务，高风险行为自动升级至人类决策。
为何AI代理需要严格护栏？现实商业场景中系统碎片化、数据不一致，AI代理易出现“幻觉”和不可预测行为。生产级系统需限制决策范围，将任务分解为单个代理的专注工作，提升可预测性与可控性，便于早期发现故障并及时升级，避免连锁错误。
详细的行为日志与人类监督是实现AI代理可保险性的关键。每一项操作被记录后，代理行为变得透明可评估，便于保险公司精准评估风险。结合高风险行为的人类监督与可审计工作流，企业可构建更易管理的风险评估系统。
AAIF（智能体AI基金会）正在开发的共享标准为企业整合不同代理系统提供初步框架，但当前标准化侧重简单构建而非安全运营需求。Sarrafi强调，企业需更全面的标准，涵盖权限管理、高风险行为审批流程及可审计日志等，以实现代理系统的安全可控。