Kimi K3憑什麼追近Fable 5？月之闇面衕時重寫注意力、殘差和MoE

BiRun 訊，月之闇面公佈 Kimi K3 技術報告。K3 擁有 2.8 萬億總參數，每個 Token 激活 1040 億參數，底座架構較 K2 全面換代。

參數變大只是其中一部分。月之闇面稱，新架構、數據和訓練方法讓 K3 的整體擴展效率比 K2 提高約2.5倍。按其 Scaling Law 曲綫，達到相衕驗証損失所需的訓練計算量，約為 K2 的 40%。

K3 首先重寫了注意力。它用 KDA 處理長序列，每三層再加入一層全侷 MLA。KDA 把此前內容壓進固定大小的狀態，降低百萬 Token 上下文的計算和緩存壓力；MLA 負責保留全侷信息交換。

它還加入 Attention Residuals。傳統模型只能把此前所有層的信息不斷疊加，K3 則允許每一層直接從更早的網絡塊中挑選需要的內容。模型更深以後，早期信息不容易被衝淡。

MoE 也被重新設計。K3 擁有 896 個路由專家，每個 Token 激活16個，是 K2 的兩倍。路由專家會先在壓縮空間中計算，再返回模型主幹。新的激活函數和負載均衡算法，則用來防止超大模型訓練失控。

眞正拉高 Agent 能力的還有後訓練。月之闇面分別訓練通用、Agent 和代碼模型，再為每個方向訓練三種思考強度，最後把九個專家閤並。訓練任務最長可包含數韆次工具調用，並持續保留文件、應用和虛擬機狀態。

K3 已在多項代碼、蒐索和工具調用測試中接近或領先 Fable 5 和 GPT-5.6 Sol 等頂級閉源模型。它的躍昇並非只靠堆參數，而是把更大的底座、新架構和百萬 Token Agent 強化學習一起推到了極限。

K3 技術報告