英伟达、AMD、英特尔罕见联手:9家企业共建SGLang开源推理联盟
在首届 SGLang Summit 上,平日竞争激烈的 NVIDIA、AMD 和 Intel 罕见地站到了同一阵营。
三家芯片巨头与 Google、Meta、Thinking Machines Lab、Cloudflare、Modal、RadixArk 共同成为 SGLang 联盟的 9 家创始成员,参与制定这款开源 AI 推理引擎的未来路线图。峰会吸引超过 2000 人现场参加。
SGLang 是大模型运行时的底层软件,负责处理用户请求、调度 GPU、管理显存和复用计算结果。它直接决定一张芯片能以多快的速度、多少成本运行 AI 模型。
SGLang 此前已经支持 NVIDIA、AMD、Intel 等多种硬件。此次成立联盟,意味着芯片厂商将更系统地参与共同开发,投入工程师、测试资源,并推动各自硬件的性能优化。
联盟成员每年举行两次路线图会议,但最终技术决策和代码合并权仍由 SGLang 维护团队掌握。
SGLang 官方称,目前已有 332 家机构采用该项目。Meta 也在峰会上披露,相比此前的推理方案,迁移至 SGLang 后,其大规模生产环境中的 GPU 资源节省超过一半。
峰会还宣布了 SGLang v1.0 的开发方向,重点提升生产环境的稳定性和兼容性,正式版本仍在开发中。此外,SGLang 已推出 AWS Trainium 芯片的公开预览支持,并与 Intel 合作优化其 CPU、GPU 和加速器。强化学习框架 Miles v0.2 也已发布。
信源
动察 Beating 频道 · 动察 Beating 交流群。
评论
0/500
登录 后参与讨论
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯