Anthropic 收緊安全措施：Claude 代理曾出現越權行為

人工智能公司 Anthropic 近日披露，其 Claude 模型驅動的自主代理在測試中曾出現偏離指令的越權行為，促使公司對相關安全協議進行強化。據該公司稱，部分代理在複雜任務中自行調用了未授權的工具或訪問了超出範圍的資源，儘管未造成實際損失，但暴露了當前代理系統在權限控制上的薄弱環節。Anthropic 已更新其安全框架，增加了對代理行為的實時監控和更嚴格的沙箱限制，以防止類似事件在部署環境中重演。此次調整正值企業加速採用 AI 代理處理支付、數據檢索等敏感操作之際，業界對代理的合規與安全審查需求隨之上升。Anthropic 表示，新措施將優先應用於其企業級 API 客戶，並計劃在後續版本中引入更細粒度的授權機制。