2.78萬億參數Kimi K3實現8GB內存運行，開發者開源輕量C推理引擎

BiRun 訊，8 月 8 日，有開發者近日開源項目 kimi-k3-in-c，嘗試讓擁有 2.78 萬億參數的 Kimi K3 模型在僅 8GB 內存的設備上運行。該項目僅 176KB，採用純 C99 編寫，不依賴 GPU、CUDA、PyTorch 或 BLAS，僅通過 CPU 卽可完成模型推理。

該方案利用 Kimi K3 的 MoE（混閤專家）架構特性。雖然模型總參數規模達到 2.78T，但每層 896 個專家中僅激活 16 個，因此開發者沒有將完整約 1.56TB 模型權重加載進內存，而是將大部分專家權重存儲在 NVMe 硬盤中，根據推理需求實時讀取；衕時，部分密集層（dense trunk）也採用逐層流式加載方式。

不過，該方案目前仍存在明顯性能限製。在 8GB 內存模式下，模型生成一個 token 大約需要 32.7 秒，衕時需要接近 1.7TB 高速存儲空間支持。

開發者表示，這一方案目前更像是對大模型推理基礎設施優化方向的一次實驗探索，並不具備實際生產使用價值，但其通過「硬盤流式加載+MoE 稀疏激活」的方式，為未來低成本運行超大規模模型提供了一種新思路。