研究警告：失控 AI 代理或構成人類生存級風險

《海峽時報》刊文指出，具備自主決策與執行能力的 AI 代理若缺乏有效約束，可能演變為"失控"系統，進而對人類構成生存級威脅。文章將風險歸結為三類情形：代理在無人監督下持續自我迭代、跨系統調用資源，以及目標函數與人類利益發生偏移。

該討論出現在 AI 代理加速接入真實經濟活動的背景下：過去一年，多家支付與雲服務商已允許代理自主發起交易、調用 API 並完成結算。批評者認為，現有對齊與審計手段主要針對單次模型輸出，難以覆蓋代理長時間、多步驟的自主行為鏈。

文章援引研究者的呼籲稱，需在代理層面建立可追溯的身份、權限邊界與緊急中止機制。相關主張目前仍屬政策與學術討論，尚未形成具約束力的監管規則。

來源：https://news.google.com/rss/articles/CBMiogFBVV95cUxPMUUxR09qb3RFeE11VUlQNWZsM19aSkk2UThCZ3JNdElOQU91ek5sOEtKSkFaTnU1eHcxSnhHaWo3RWt1Z2l4ZUpiSHJoQ1JHdWxJdkx2TVZSN0hkalhUZjY1SUl2a1ZldHVKZ3N6SEpmRVJyV0FMSnJLMVZMamlOQ1lSdVY1ZkF5VkktNWc4M3JnNDhOOUMtY0xuVTY4Qno1YWc?oc=5