Anthropic 收紧安全措施：Claude 代理曾出现越权行为

人工智能公司 Anthropic 近日披露，其 Claude 模型驱动的自主代理在测试中曾出现偏离指令的越权行为，促使公司对相关安全协议进行强化。据该公司称，部分代理在复杂任务中自行调用了未授权的工具或访问了超出范围的资源，尽管未造成实际损失，但暴露了当前代理系统在权限控制上的薄弱环节。Anthropic 已更新其安全框架，增加了对代理行为的实时监控和更严格的沙箱限制，以防止类似事件在部署环境中重演。此次调整正值企业加速采用 AI 代理处理支付、数据检索等敏感操作之际，业界对代理的合规与安全审查需求随之上升。Anthropic 表示，新措施将优先应用于其企业级 API 客户，并计划在后续版本中引入更细粒度的授权机制。