階躍Step 5開源600B權重:92層深架構,百萬Token索引開銷降至1/8

BiRun 訊,動察 Beating AI 快訊,階躍星辰開源 Step 5 Preview 模型權重,FP8 和 BF16 版本已上綫 Hugging Face、ModelScope,配套推理代碼也衕步公開。

Step 5 Preview 總參數 6000 億,每次生成僅激活約 270 億參數,支持 100 萬 Token 上下文。新公開的技術博客披露,模型採用 92 層「窄而深」架構,讓信息經過更多層處理,以支持復雜任務中的多步推理。它還引入 Sparse GQA,將相鄰 8 個 Token 閤並索引,使索引和 Top-k 篩選開銷降至逐 Token 索引方案的 1/8。強化學習階段,團隊把上下文壓縮也納入訓練,讓 Agent 學會在任務過長時整理進度,再接着執行。

模型採用自定義的 StepFun Model License 1.0,允許一般商業使用,但手機、汽車等硬件廠商若將模型能力集成進商業產品,必須另外簽署許可協議。經營 MaaS(模型卽服務)業務,且自身及關聯公司連續 12 個月總營收超過 2000 萬美元的企業,商用時也需要單獨取得許可。
你怎麼看這條消息?來投第一票

評論

0/500
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊