《绝地求生》厂商开源30B模型:修Bug接近Meta,底层用上Kimi和DeepSeek技术
BiRun 讯,韩国游戏巨头 KRAFTON 发布 Raon-1 mini 预览版。这是一款从零训练的 MoE 语言模型,总参数量约 288 亿,每次推理仅激活 43 亿,重点优化韩语对话、编程和 Agent 能力,支持 26 万 Token 上下文。
虽然是从零训练,但底层技术也有中国厂商的影子。它采用混合注意力架构,25 层网络中有 18 层使用改进自 Kimi Delta Attention 的线性注意力机制。另外,团队还简化了 DeepSeek 的 mHC 超连接技术,降低训练计算开销。
KRAFTON 公布的测试显示,Raon-1 mini 在 SWE-Verified 代码修复测试中取得 70.8%,超过 Qwen3.6-35B-A3B 的 63.2%,接近 Meta Muse Glimmer 的 72.0%。但在 Terminal-Bench Lite 终端操作测试中,它只有 47.0%,明显落后于 Qwen3.6-35B-A3B 的 63.3% 和 Muse Glimmer 的 70.7%。指令遵循测试 IFBench 则达到 84.2%,高于上述两款模型。
模型权重已经按 Apache 2.0 协议开放,提供 GGUF、MLX 等版本,支持 Mac 本地运行。NVFP4 量化版可以部署在单张 RTX 5090 上。团队还提供 DFlash2 推测解码模型,在单张 NVIDIA B300 的测试中,相比普通解码最高提升 2.18 倍输出吞吐量。
信源
动察 Beating 频道 · 动察 Beating 交流群。
虽然是从零训练,但底层技术也有中国厂商的影子。它采用混合注意力架构,25 层网络中有 18 层使用改进自 Kimi Delta Attention 的线性注意力机制。另外,团队还简化了 DeepSeek 的 mHC 超连接技术,降低训练计算开销。
KRAFTON 公布的测试显示,Raon-1 mini 在 SWE-Verified 代码修复测试中取得 70.8%,超过 Qwen3.6-35B-A3B 的 63.2%,接近 Meta Muse Glimmer 的 72.0%。但在 Terminal-Bench Lite 终端操作测试中,它只有 47.0%,明显落后于 Qwen3.6-35B-A3B 的 63.3% 和 Muse Glimmer 的 70.7%。指令遵循测试 IFBench 则达到 84.2%,高于上述两款模型。
模型权重已经按 Apache 2.0 协议开放,提供 GGUF、MLX 等版本,支持 Mac 本地运行。NVFP4 量化版可以部署在单张 RTX 5090 上。团队还提供 DFlash2 推测解码模型,在单张 NVIDIA B300 的测试中,相比普通解码最高提升 2.18 倍输出吞吐量。
信源
动察 Beating 频道 · 动察 Beating 交流群。
评论
0/500
登录 后参与讨论
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯