EAGLE-4让Qwen生成速度提升3.6倍，手机CPU也能提速3倍

BiRun 讯，大模型推理加速公司 Eagle 发布 EAGLE-4，升级其推测解码方案。新版重点降低了草稿模型的计算开销，还能根据硬件性能和并发数量调整预测规模，避免额外的预测计算反而拖慢速度。

在 4 张 NVIDIA B300 GPU 上，Qwen3.8-27B 的单请求生成速度从每秒 240.5 Token 提高到 863.8 Token，达到普通推理的 3.6 倍。在 512 个请求同时运行时，总吞吐量从每秒 2.12 万 Token 提高到 2.83 万，提升 34%。

手机端也有明显提升。在摩托罗拉 Razr 70 Ultra 上，Gemma-4-E2B-it 仅靠 CPU 就实现了 3.2 倍的长文本生成速度，同一任务的耗时从 43 秒缩短至 14 秒，每个 Token 的能耗降低 53%。

EAGLE-4 已公开代码，支持接入 SGLang、vLLM 和实验性 TokenSpeed。但与采用 Apache 2.0 开源许可证的前三代不同，新版改用限制性商业许可证。连续 12 个月综合营收超过 2000 万美元的企业，以及提供竞争性推理服务的公司，商业使用需要另行授权。

信源

动察 Beating 频道 · 动察 Beating 交流群。