FreeToken開源：一張5090跑DeepSeek-V4-Flash，最高25 Token/s

BiRun 訊，動察 Beating AI 快訊，伯克利、MIT 等研究者開源 FreeToken。這是一個專門為本地設備設計的 MoE（混閤專家模型）推理引擎，主要解決超大模型顯存裝不下的問題。它會把部分權重放在系統內存，並讓 CPU 和 GPU 一起參與推理。

FreeToken 會把模型的大量專家權重放在系統內存，只把一部分緩存在顯存。遇到顯存裡沒有的專家時，它會根據 PCIe 和 CPU 內存帶寬，動態決定是把權重搬到 GPU，還是直接交給 CPU 計算。這樣 CPU、GPU、系統內存和 PCIe 可以一起參與推理。

論文實測，一台配備 RTX 5090 的遊戲台式機運行 284B 參數的 DeepSeek-V4-Flash，可以達到 22–25 Token/s。這款模型每生成一個 Token 實際只激活約 13B 參數，因此特別適閤這種 CPU、GPU 混閤推理。

FreeToken 還在 8GB 顯存的 RTX 4060 筆記本上把 35B 模型跑到 39.3 Token/s；單張 96GB RTX PRO 6000 則可以運行 753B 參數的 GLM-5.2，速度達到 llama.cpp 的約兩倍。項目目前支持超過 20 款 MoE 模型，並已採用 Apache 2.0 許可証開源。