小米MiMo公開RL停了:兩條訓練燒掉347萬美元

BiRun 訊,小米 MiMo 公開直播的兩條強化學習訓練目前均已停止。Pro 和 Flash 最後完整完成的都是 30 個訓練 step,兩條 run 閤計花費 347.47 萬美元。其中 Pro 花費 262.07 萬美元,Flash 花費 85.40 萬美元。

砸錢換來的提昇很明顯。DeepSWE v1.1 上,Pro 從第 1 步的 58.41 提昇到 72.57,漲了 14.16 分;Flash 從 48.67 提昇到 65.68,漲了 17.01 分。但兩條曲綫中間都有明顯回落,並非訓練越久分數就一路上漲。

另外兩個看板評測也在漲。Pro 的內部代碼評測從 57.54 昇至 65.43,AutomationBench 從 45.2 昇至 53.1。

訓練過程也沒那麼順利。Pro 因專家負載不均觸發過 GPU OOM,訓練集羣和評分器也斷連重啓過;Flash 因基礎設施錯誤從 step 15 重跑。後期小米還過濾了對 Pro 已經過於簡單的任務,並把出現異常 rollout 模式的 cyber 數據集從 Pro 後續訓練中移除。

信源

動察 Beating 頻道 · 動察 Beating 交流羣。
利多 査看原文
你怎麼看這條消息?來投第一票

評論

0/500
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊