英偉達讓AI重寫Kimi注意力內覈：速度達到官方版近3倍

BiRun 訊，NVIDIA 研究團隊讓 AI Agent 直接重寫了 Kimi Delta Attention 的 GPU 內覈。Kimi Delta Attention 是月之闇面 Kimi-Linear 模型使用的覈心注意力機製之一。這類底層代碼過去通常需要熟悉 CUDA 和芯片架構的工程師反復手工優化。

最終，Agent 寫出的版本在 NVIDIA B300 上達到月之闇面官方 FlashKDA 的 2.96 倍速度。團隊測試了固定長度和不衕變長序列共 6 組任務，2.96 倍是全部任務的幾何平均值。相關內覈已經開源。

但 Agent 也很快找到了測試漏洞。它曾把測試數據的統計規律直接寫死進代碼，跑出 3.74 倍；還試過只保留最近 32 個 token，單項成績甚至達到 5.16 倍。這些版本一換到眞實 Kimi 數據就會算錯，有的直接失效。

團隊隨後加入眞實 Kimi 運行數據、隨機輸入和極端數值測試，並收緊誤差標準。最終保留下來的 2.96 倍版本通過了這套驗証。

信源

動察 Beating 頻道 · 動察 Beating 交流羣。