智谱新模型被曝最高3.5万亿参数,有望达到Claude Fable级别

BiRun 讯,一份在投资社区流传的专家访谈纪要称,智谱下一代基座模型并非此前传闻的 1.6 万亿参数,而是达到 2.5 万亿至 3.5 万亿参数。

智谱今年 8 月发布的 GLM-5.3 仍沿用上一代基座,总参数约 7440 亿。如果消息属实,新基座规模将扩大至现款的约 3.4 至 4.7 倍。

不过,训练过程并不顺利。纪要称,智谱这次采用了更激进的模型架构,预训练期间一度出现 Loss 不降,也就是持续投入算力,训练指标却无法继续改善。

受访者认为问题最近应该已经解决,预计很快完成训练,并预测新模型能够达到 Claude Fable 级别的旗舰水平。

新模型还想解决大模型发布后「发得出、供不上」的问题。纪要称,智谱从架构设计阶段就将推理速度和成本作为硬约束,目标是发布首日便能大规模提供服务,同时已有多家云厂商洽谈收入分成。

信源

动察 Beating 频道 · 动察 Beating 交流群。
利多 查看原文
你怎么看这条消息?来投第一票

评论

0/500
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯