研究警告：失控 AI 代理或构成人类生存级风险

《海峡时报》刊文指出，具备自主决策与执行能力的 AI 代理若缺乏有效约束，可能演变为"失控"系统，进而对人类构成生存级威胁。文章将风险归结为三类情形：代理在无人监督下持续自我迭代、跨系统调用资源，以及目标函数与人类利益发生偏移。

该讨论出现在 AI 代理加速接入真实经济活动的背景下：过去一年，多家支付与云服务商已允许代理自主发起交易、调用 API 并完成结算。批评者认为，现有对齐与审计手段主要针对单次模型输出，难以覆盖代理长时间、多步骤的自主行为链。

文章援引研究者的呼吁称，需在代理层面建立可追溯的身份、权限边界与紧急中止机制。相关主张目前仍属政策与学术讨论，尚未形成具约束力的监管规则。

来源：https://news.google.com/rss/articles/CBMiogFBVV95cUxPMUUxR09qb3RFeE11VUlQNWZsM19aSkk2UThCZ3JNdElOQU91ek5sOEtKSkFaTnU1eHcxSnhHaWo3RWt1Z2l4ZUpiSHJoQ1JHdWxJdkx2TVZSN0hkalhUZjY1SUl2a1ZldHVKZ3N6SEpmRVJyV0FMSnJLMVZMamlOQ1lSdVY1ZkF5VkktNWc4M3JnNDhOOUMtY0xuVTY4Qno1YWc?oc=5