美國開源模型第一正式落地:Inkling 2 Small開源,運行至少需要500GB顯存
BiRun 訊,OpenAI 前 CTO Mira Murati 創辦的 Thinking Machines 正式開放 Inkling 2 Small 模型權重。模型現已上架 Hugging Face,採用 Apache 2.0 許可証,允許下載、微調和商用。
Inkling 2 Small 上週發布,Artificial Analysis 綜閤評分達到 31 分,是目前中國以外得分最高的開源模型。它擁有 5940 億總參數,每次推理激活 170 億,支持圖像輸入和最高 100 萬 Token 上下文。
雖然叫 Small,但運行門檻相噹高。官方提供兩種權重版本:NVFP4 版本至少需要 500GB GPU 顯存,相噹於 2 張 NVIDIA B300 或 4 張 H200;MXFP8 版本則至少需要 800GB 顯存,評測成績只比前者高 1 至 2 個百分點。
目前,模型已支持 vLLM、SGLang、Unsloth 等推理框架,也可以通過 NVIDIA、Fireworks、Together、Cloudflare 等平台調用 API。
信源
動察 Beating 頻道 · 動察 Beating 交流羣。
Inkling 2 Small 上週發布,Artificial Analysis 綜閤評分達到 31 分,是目前中國以外得分最高的開源模型。它擁有 5940 億總參數,每次推理激活 170 億,支持圖像輸入和最高 100 萬 Token 上下文。
雖然叫 Small,但運行門檻相噹高。官方提供兩種權重版本:NVFP4 版本至少需要 500GB GPU 顯存,相噹於 2 張 NVIDIA B300 或 4 張 H200;MXFP8 版本則至少需要 800GB 顯存,評測成績只比前者高 1 至 2 個百分點。
目前,模型已支持 vLLM、SGLang、Unsloth 等推理框架,也可以通過 NVIDIA、Fireworks、Together、Cloudflare 等平台調用 API。
信源
動察 Beating 頻道 · 動察 Beating 交流羣。
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊