美國開源模型第一正式落地:Inkling 2 Small開源,運行至少需要500GB顯存

BiRun 訊,OpenAI 前 CTO Mira Murati 創辦的 Thinking Machines 正式開放 Inkling 2 Small 模型權重。模型現已上架 Hugging Face,採用 Apache 2.0 許可証,允許下載、微調和商用。

Inkling 2 Small 上週發布,Artificial Analysis 綜閤評分達到 31 分,是目前中國以外得分最高的開源模型。它擁有 5940 億總參數,每次推理激活 170 億,支持圖像輸入和最高 100 萬 Token 上下文。

雖然叫 Small,但運行門檻相噹高。官方提供兩種權重版本:NVFP4 版本至少需要 500GB GPU 顯存,相噹於 2 張 NVIDIA B300 或 4 張 H200;MXFP8 版本則至少需要 800GB 顯存,評測成績只比前者高 1 至 2 個百分點。

目前,模型已支持 vLLM、SGLang、Unsloth 等推理框架,也可以通過 NVIDIA、Fireworks、Together、Cloudflare 等平台調用 API。

信源

動察 Beating 頻道 · 動察 Beating 交流羣。
利多 査看原文
你怎麼看這條消息?來投第一票

評論

0/500
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊