WASTE 推理引擎實現 Kimi K3 2.78T 模型在 64GB 筆記本本地運行

深潮 TechFlow 消息，8 月 01 日，據 Hacker News 熱門項目，開源推理引擎 WASTE 實現了在配備 64GB 內存的 MacBook Pro 上運行完整 Kimi K3 模型的本地推理。 據介紹，WASTE 使用 C 語言開發，通過將模型主幹常駐內存、按需從磁盤流式讀取 MoE 專家權重的方式，將最低內存佔用壓縮至約 29.05 GiB，推理速度約為每秒 0.49 至 0.54 個 Token。 Kimi K3 完整模型擁有約 2.78 萬億參數，模型容器大小約為 982 GiB，此前普遍認為難以在消費級硬件上運行。WASTE 通過流式加載機製繞開了顯存限製，使普通配置的筆記本電腦能夠運行完整模型權重，而無需依賴量化或裁剪版本。 目前，該項目已在 Hacker News 社區獲得廣氾關注，相關代碼已開源。