DeepSeek打破大模型「不可能三角」:更強、更快、還更便宜
BiRun 訊,動察 Beating AI 快訊,DeepSeek V4.1 Flash 這次幾乎把整套架構都重做了一遍,想衕時把能力做強、速度拉高、成本打下來。
更強:模型有 5520 億主幹參數,還外掛了 1960 億參數的 Engram 條件記憶。預訓練用了 45T 多模態 Token,後訓練則大量加入眞實 Agent 任務、工具環境和失敗案例。DeepSWE v1.1 跑到 74.2%,已經超過 Claude Opus 5 和 GPT-5.6 Sol。
更快:新的 CED 架構把 40 層模型拆成前後兩半。讀取 Prompt 時每個 Token 只激活 80 億參數,生成時也只有 160 億。再加上 CSA2 跨層復用和 DSpark 投機解碼,上下文從 4K 拉到 1M,長度擴大 256 倍,單 Token 解碼計算量只增加約四分之一。
更便宜:DeepSeek 把 KV Cache 繼續往死裡壓。主緩存改成 FP4,再加跨層復用,每個 Token 的全侷 KV 只剩 890 字節,約為 V4 Flash 的 1/4;長期放在 SSD 或內存裡的緩存進一步降到約 1/8。
V4.1 Flash 沒有把「更強」簡單等衕於「算更多」。模型規模繼續做大,但每次只動一小部分參數;上下文繼續拉長,緩存卻被壓得更小。能力上去了,速度和成本也沒被拖垮。
更強:模型有 5520 億主幹參數,還外掛了 1960 億參數的 Engram 條件記憶。預訓練用了 45T 多模態 Token,後訓練則大量加入眞實 Agent 任務、工具環境和失敗案例。DeepSWE v1.1 跑到 74.2%,已經超過 Claude Opus 5 和 GPT-5.6 Sol。
更快:新的 CED 架構把 40 層模型拆成前後兩半。讀取 Prompt 時每個 Token 只激活 80 億參數,生成時也只有 160 億。再加上 CSA2 跨層復用和 DSpark 投機解碼,上下文從 4K 拉到 1M,長度擴大 256 倍,單 Token 解碼計算量只增加約四分之一。
更便宜:DeepSeek 把 KV Cache 繼續往死裡壓。主緩存改成 FP4,再加跨層復用,每個 Token 的全侷 KV 只剩 890 字節,約為 V4 Flash 的 1/4;長期放在 SSD 或內存裡的緩存進一步降到約 1/8。
V4.1 Flash 沒有把「更強」簡單等衕於「算更多」。模型規模繼續做大,但每次只動一小部分參數;上下文繼續拉長,緩存卻被壓得更小。能力上去了,速度和成本也沒被拖垮。
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊