美国开源模型第一正式落地:Inkling 2 Small开源,运行至少需要500GB显存

BiRun 讯,OpenAI 前 CTO Mira Murati 创办的 Thinking Machines 正式开放 Inkling 2 Small 模型权重。模型现已上架 Hugging Face,采用 Apache 2.0 许可证,允许下载、微调和商用。

Inkling 2 Small 上周发布,Artificial Analysis 综合评分达到 31 分,是目前中国以外得分最高的开源模型。它拥有 5940 亿总参数,每次推理激活 170 亿,支持图像输入和最高 100 万 Token 上下文。

虽然叫 Small,但运行门槛相当高。官方提供两种权重版本:NVFP4 版本至少需要 500GB GPU 显存,相当于 2 张 NVIDIA B300 或 4 张 H200;MXFP8 版本则至少需要 800GB 显存,评测成绩只比前者高 1 至 2 个百分点。

目前,模型已支持 vLLM、SGLang、Unsloth 等推理框架,也可以通过 NVIDIA、Fireworks、Together、Cloudflare 等平台调用 API。

信源

动察 Beating 频道 · 动察 Beating 交流群。
利多 查看原文
你怎么看这条消息?来投第一票

评论

0/500
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯