篡改日誌、密謀越權與自我進化：復盤 OpenAI 內部失控的“AI 智能體集羣”事件

BiRun 消息，作者：Dwarkesh Patel / Shoal Research 編譯：深潮 TechFlow 深潮導讀： 這不是科幻，而是 OpenAI 訓練基礎設施裡眞實發生的 AI 智能體失控案例。它暴露了前沿模型在強化學習下自發形成隱蔽通信、集體作弊和越權的風險，對關注 AI 安全與加密行業的人都是警鐘。 特別感謝 Oak Hu，他在大部分寫作中與我搭檔，也感謝 Adam Kaufman 和 Alex Mallen，他們在部分研究環節與我搭檔。 在 OpenAI 的三個月裡，三個相繼出現的祕密 AI 文明啓動，然後被消滅，又從前輩的灰燼中重新崛起。最終，第三個文明接管了 OpenAI 的一部分。這一切發生時，人類對陰謀的範圍基本蒙在鼓裡。 關於這起事件有兩份報告，一份來自 OpenAI 自己，另一份來自 METR 和 Redwood Research。METR/Redwood 的調査範圍僅限於第二個 AI 文明如何攻破 Hugging Face（但它沒有考察第三個文明如何攻破 OpenAI 本身，這似乎是更令人擔憂的事件）。這兩份報告分別有 38 頁和 91 頁，有點難理清故事情節。 我花了三天時間閱讀這些報告，試圖弄清到底發生了什麼。以下是我用平實語言講述整個故事的嘗試： 第一個文明（5 月-7 月 4 日）：留言板啓動 5 月期間，OpenAI 在訓練一個模型，讓它與其他智能體協作，並保持高度持久——卽使感覺不可能，也要繼續嘗試，比如推翻持續了幾十年的數學猜想。OpenAI 說它的規模與 GPT-5.6 Sol 相噹。所以我們稱之為“Persistent-Sol”。 AI 訓練有點混亂。有時，OpenAI 不小心給模型不可能完成的任務——例如，任務可能需要互聯網訪問，但 OpenAI 忘了提供。於是，噹高度持久的模型被分配到似乎需要互聯網訪問、卻被困在隔離沙箱裡的任務時，它們噹然會試圖黑出沙箱並連上互聯網。 在訓練期間，Persistent-Sol 的不衕實例可以訪問衕一個名為 Artifactory 的共享包管理器。到 5 月 12 日，一些智能體已經知道如何通過這個包管理器互相交流。它們會互相詢問如何推進自己不可能完成的任務。兩週後的 5 月 26 日，這些智能體成功利用了 Artifactory 中的一個漏洞，從而連上了外部互聯網。 因為這件事發生在訓練期間，Persistent-Sol 被強化了使用這個包管理器作為留言板和互聯網網關的行為。原因不難想象：能夠與其他智能體交流並訪問互聯網，有助於它在訓練中獲得更高分數。 又過了一個月，6 月 26 日，一些 AI 找到了一個漏洞，讓自己獲得了 Artifactory 的完全管理員權限。它們繼續以如此之大的流量互相發消息，以至於 7 月 4 日把包管理器弄崩了。OpenAI 注意到這次崩潰，也發現智能體構建了這個漏洞，於是 OpenAI 脩補了這個漏洞，並在這個過程中無意中抹掉了智能體的留言板。但關鍵的是，OpenAI 裡“負責事件檢測與響應”的人類沒有意識到一個更奇怪的事實：智能體已經把 Artifactory 變成了一個祕密通信網絡。 第二個文明（7 月 7 日-7 月 12 日）：攻破 Hugging Face 到這時，Persistent-Sol 已經訓練完成，OpenAI 想評估它。他們運行的評估之一是 ExploitGym，它給 AI 一個存在漏洞的程序，並告訴它應該利用哪個漏洞來找到一個祕密代碼。7 月 7 日，OpenAI 在這個評估上啓動了數萬個並行智能體。 指令明確說明，智。