推理引擎WASTE開源：把Kimi K3完整跑進64GB MacBook

BiRun 訊，邊緣數據庫公司 SQLite AI 開源推理引擎 WASTE。它讓保留全部層和專家的 Kimi K3，能在一台 64GB MacBook Pro 上運行。轉換後的模型約佔 1TB，速度為每秒 0.49 至 0.54 個 Token。

WASTE 把約 27GB 的模型主幹留在內存。8 萬多個專家放在內置 SSD。每生成一個 Token，只從硬盤讀取噹前調用的專家。

這個版本沒有蒸餾、裁剪或刪除專家。WASTE 將原本採用 MXFP4 的專家權重重新量化到 3-bit，並把模型主幹壓成 4-bit 和 8-bit。

GitHub 倉庫