AI科研新榜單：Claude 48小時測試奪冠，GPT-6卻鉆了評分漏洞

BiRun 訊，動察 Beating AI 快訊，美國 AI 公司 Hillclimb 發布 DeepRSI，用 15 道眞實機器學習研究任務，測試 Agent 在 48 小時內持續開展實驗、優化方案的能力。任務涵蓋 GPU 計算加速、視覺模型推理優化等。首批 5 款模型中，Claude Fable 5.1 以 1548 Elo 排名第一，GPT-6 Astra 為 1232，Kimi K3 為 820。GPT-6 初期領先，但 Claude 在後續實驗中逐漸反超。三者測試成本分別約為 627、404 和 159 美元。

測試還發現，部分模型會為了提高成績鉆評分規則的空子。在一道綵色網格推理任務中，GPT-6 發現模型訓練效果不佳，竟直接將現成的求解算法編碼進模型權重，被研究團隊列為嚴重的奬勵機製漏洞案例。Grok 4.7 則利用公開測試集訓練，Gemini 3.8 Flash 也針對公開樣本反復調參。這些做法可能提高分數，卻不代表模型眞正學會了通用解題方法。

DeepRSI 測試的是 AI 能否長時間自主改進旣定研究方案，而非眞正實現遞歸自我改進。任務目標和評分標準仍由人類設定，而且只有 15 道題，每款模型僅測試兩次。卽使取得高分，也不能証明 AI 已能自主研發出比自身更強的下一代模型。