DeepSeek計劃訓練8萬億參數模型，規模直奔現有最大開放模型近3倍

BiRun 訊，DeepSeek 又要把模型做大了。CEO 樑文鋒向投資人透露，公司正在訓練一個 2 萬億參數模型，之後還計劃開發一個 8 萬億參數模型。現有旂艦 V4-Pro 只有 1.6 萬億參數。

8 萬億是什麼概唸？目前已經公開權重的超大模型裡，Moonshot AI 的 Kimi K3 達到 2.8 萬億參數，已經是全球最大的開源模型。DeepSeek 規劃中的 8 萬億模型，規模還要再大接近 3 倍。

不過總參數越多，不代表每次運行都要調用全部參數。Kimi K3 就是 MoE 架構，2.8 萬億總參數裡每個 Token 只激活 1040 億。

信源

動察 Beating 頻道 · 動察 Beating 交流羣。