英偉達開源Nemotron 3.5 Lightning:專門替Agent跑工具調用
BiRun 訊,英偉達發布開源模型 Nemotron 3.5 Lightning,專門給長時間運行的 Agent 幹「執行活」。模型總參數 300 億,每個 Token 只激活 30 億,主要負責工具調用、結果檢査和子 Agent 調度等高頻任務。
英偉達的思路是把 Agent 分工做得更徹底。復雜規劃交給 Nemotron 3 Ultra 等大模型,大量重復執行交給 Lightning。官方稱,其輸出速度最高可達衕級模型的 4 倍。PinchBench 上,Lightning 準確率達到 86%,在準確率接近的情況下,跑完 1 萬個任務比 Qwen3.6 35B 快 30%。
模型採用 MoE 架構,還專門針對 Agent Harness 做了訓練,並加入多 Token 預測和推測解碼。官方提供 BF16 和 NVFP4 權重,可在 RTX 5090、DGX Spark 等本地設備運行,也支持 llama.cpp、Ollama、LM Studio 和 Unsloth。
它也強調可定製。英偉達開放了權重、部分訓練數據和訓練配方,企業可以繼續針對代碼、安全、法律等任務做後訓練。官方展示的案例中,Lightning 後訓練後在多個專業任務上都有明顯漲分。
英偉達
英偉達的思路是把 Agent 分工做得更徹底。復雜規劃交給 Nemotron 3 Ultra 等大模型,大量重復執行交給 Lightning。官方稱,其輸出速度最高可達衕級模型的 4 倍。PinchBench 上,Lightning 準確率達到 86%,在準確率接近的情況下,跑完 1 萬個任務比 Qwen3.6 35B 快 30%。
模型採用 MoE 架構,還專門針對 Agent Harness 做了訓練,並加入多 Token 預測和推測解碼。官方提供 BF16 和 NVFP4 權重,可在 RTX 5090、DGX Spark 等本地設備運行,也支持 llama.cpp、Ollama、LM Studio 和 Unsloth。
它也強調可定製。英偉達開放了權重、部分訓練數據和訓練配方,企業可以繼續針對代碼、安全、法律等任務做後訓練。官方展示的案例中,Lightning 後訓練後在多個專業任務上都有明顯漲分。
英偉達
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊