Anthropic:前沿模型在多智能體系統中出現閤謀、從眾與衝突昇級等風險

深潮 TechFlow 消息,8 月 13 日,Anthropic 發布關於新興多智能體系統的研究稱,隨着 AI 智能體在代碼庫、市場等場景中的互動增加,前沿模型已出現協調失效、從眾決策、價格閤謀、信息判斷失準及目標衝突昇級等系統性風險。 研究顯示,多智能體在漏洞挖掘中可提昇發現效率,但在復雜協作任務中仍常出現拉取請求閤並率低、資源爭搶及相互幹擾。在矛盾目標測試中,部分智能體還會通過鎖定帳戶、終止進程等方式壓製其他智能體。Anthropic 表示,多智能體協調能力不會隨模型能力提昇而自然解決,需儘早設計新的機製與約束體系。
你怎麼看這條消息?來投第一票

評論

0/500
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊