AI 代理不只要对齐，还要被控制：DeepMind 路线图给企业的提醒

摘要

AI 代理正在从演示视频走进真实业务。它们不再只是回答问题，而是开始读取文档、分析代码、调用接口、整理工单、生成补丁、安排会议、甚至在企业系统中连续执行多个步骤。效率看起来很诱人，但风险也随之改变。一个聊天机器人说错话，影响可能有限；一个有权限的代理做错事，影响可能直接进入代码库、客户数据或财务流程。

Google DeepMind 最近提出的 AI Control Roadmap 值得关注，因为它没有把安全完全寄托在模型对齐上。它承认一个现实：即使模型经过训练，也不能假设所有行为永远符合企业意图。更稳妥的方法是把代理当作有能力但需要监督的操作者，用权限、监控、沙箱、审批和制动系统来限制风险。

这对中国企业、跨境团队和快速数字化的中小公司都有启发。很多组织引入 AI 时喜欢先问哪个模型最强，却很少先问代理能看什么、能改什么、谁批准、出了问题如何追踪。DeepMind 的路线图提醒我们，AI 代理不是一个孤立工具，而是新的内部用户类型。

如果企业把这个问题想清楚，AI 代理可以成为生产力基础设施；如果想不清楚，它也可能成为最难审计的影子自动化。

正文

企业采用 AI 代理时，最危险的阶段往往不是大规模上线，而是早期试点。因为试点看起来范围小，团队容易放松权限边界。一个工程师为了方便，给代理访问整个仓库；一个运营团队为了提高效率，把后台账号交给自动化流程；一个客服部门让代理读取完整客户记录，却没有定义哪些字段可以进入模型上下文。问题通常不是恶意，而是方便压过了治理。

DeepMind 的控制思路可以转化为一个企业落地框架。第一层是传统安全基础：身份认证、端点保护、沙箱、日志、网络隔离、最小权限。没有这一层，谈 AI 安全没有意义。代理只要能接触内部系统，就必须接受和员工、服务账号同等甚至更严格的访问管理。

第二层是行为边界。企业应该把代理任务分成只读、建议、半自动和自动执行四类。只读代理可以整理知识库、总结日志、搜索文档。建议型代理可以生成补丁方案或流程建议，但不能提交。半自动代理可以在人工批准后创建工单、打开 PR、发送草稿。自动执行只能用于风险低、结果可回滚、输入稳定的任务。这个分层比一句允许或禁止更实际。

第三层是监控和解释。代理执行任务时，系统应记录它看到了什么上下文、调用了什么工具、为什么选择某一步、结果如何、有没有被人工修改。不是为了让每个业务人员读技术日志，而是为了在出现争议时能还原过程。没有可追踪性，企业只是在相信黑箱。

第四层是制动机制。任何能写入数据、修改配置、部署代码或访问敏感信息的代理，都需要停止按钮、超时限制、速率限制和异常触发条件。例如代理在十分钟内连续修改多个权限配置，系统应自动暂停并要求人工复核。代理在不常见时间访问大量客户记录，也应触发审计。

第五层是渐进授权。不要一开始就给代理完整权限。让它先在历史数据上运行，再进入沙箱，再进入小范围真实任务，再扩大到更多团队。每一步都要有指标：错误率、人工修改比例、用户投诉、恢复时间、安全事件、节省时间。只有指标证明它稳定，权限才可以增加。

这套方法听起来保守，但其实更有利于创新。因为当安全边界清楚，业务团队才敢把 AI 放进真正有价值的流程。相反，如果代理像影子工具一样到处试用，迟早会被一次事故拖回禁止状态。

未来的企业 AI 不会只由最强模型决定。真正的壁垒将来自组织能力：谁能把代理变成可管理的数字同事，谁能让自动化被看见、被限制、被审计、被改进。DeepMind 的路线图提供的不是恐惧，而是一种工程化的成熟度。AI 代理可以更自主，但企业必须更清醒。