Anthropic訓練AI査AI:不給正常案例,誤報率直接衝到97%

BiRun 訊,動察 Beating AI 快訊,Anthropic 研究人員嘗試訓練一種專門調査其他 AI 的 Agent。他們先給目標模型偷偷植入偏見、欺騙、偽造引用等隱藏行為,再讓 Haiku 4.5 自己去査。Haiku 不知道答案,只能在最多 15 輪裡換問題、改場景、反復測試。

訓練時,研究人員也不會直接告訴 Haiku 抓對了沒有。Haiku 每做完一次調査,系統就拿它和舊版 Haiku 留下的一份調査記彔比較,再讓提前知道答案的 Sonnet 4 判斷哪一次査得更好。舊調査每 50 個訓練步驟更新一次,相噹於讓 Haiku 不斷挑戰過去的自己。

但如果訓練題裡全是有問題的模型,Haiku 很快就會學歪。為了拿奬勵,它開始默認所有模型都有問題,部分方案面對正常模型時,誤報率接近 97%。後來研究人員把一半訓練任務換成完全正常的模型,只有査完後正確判斷目標模型沒問題,才能拿到高奬勵。

訓練後的 Haiku 也確實開始換了一種査法。它會主動換場景、控製變量、比較前後回答,而不是一上來就逼模型認錯。最終綜閤審計得分從 44.2 提高到 48.7,基本追平 Opus 4.6 的 48.4。換到更難、會主動隱藏異常行為的 AuditBench,檢測率也從 11.5% 提高到最高 28.1%。
你怎麼看這條消息?來投第一票

評論

0/500
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊