时隔16个月,百度再次亮出大模型家底:2800亿参数文心5.5 Flash开源
BiRun 讯,动察 Beating AI 快讯,百度开源文心 ERNIE-5.5-Flash-Base 模型权重。继 2025 年 6 月文心 4.5 系列之后,百度时隔约 16 个月,再次开源千亿参数级大模型。中间发布的文心 5.0 和 5.1 均未开源。
文心 5.5 Flash 主打推理效率,总参数 2800 亿,每生成一个 Token 仅激活 140 亿参数。模型使用 33.5 万亿 Token 从零预训练,支持最高 100 万 Token 推理上下文。
百度还重新设计了长文本处理机制。43 层网络中,37 层将每 128 个历史 Token 压缩成一条缓存记录,另外 6 层保留对原始内容的精细检索能力,以降低长文本处理的显存和计算开销。
官方将其与 DeepSeek-V4-Flash-Base、腾讯 Hy3-preview-Base、小米 MiMo-V2.5-Base 进行统一评测,30 项基准测试中有 24 项排名第一。
本次开放的是未经中训练和后训练的纯文本 Base 模型,主要供开发者继续进行领域微调、指令训练和强化学习。百度表示,经过后训练的文心 5.5 Flash 将随后推出。
许可证比上一代更严格。文心 4.5 采用 Apache 2.0 协议,5.5 Flash 改用自定义许可证,不授权在欧盟、英国和韩国使用。相关产品或服务过去连续 12 个月营收超过 5000 万美元,商用前必须另行获得百度书面授权。
文心 5.5 Flash 主打推理效率,总参数 2800 亿,每生成一个 Token 仅激活 140 亿参数。模型使用 33.5 万亿 Token 从零预训练,支持最高 100 万 Token 推理上下文。
百度还重新设计了长文本处理机制。43 层网络中,37 层将每 128 个历史 Token 压缩成一条缓存记录,另外 6 层保留对原始内容的精细检索能力,以降低长文本处理的显存和计算开销。
官方将其与 DeepSeek-V4-Flash-Base、腾讯 Hy3-preview-Base、小米 MiMo-V2.5-Base 进行统一评测,30 项基准测试中有 24 项排名第一。
本次开放的是未经中训练和后训练的纯文本 Base 模型,主要供开发者继续进行领域微调、指令训练和强化学习。百度表示,经过后训练的文心 5.5 Flash 将随后推出。
许可证比上一代更严格。文心 4.5 采用 Apache 2.0 协议,5.5 Flash 改用自定义许可证,不授权在欧盟、英国和韩国使用。相关产品或服务过去连续 12 个月营收超过 5000 万美元,商用前必须另行获得百度书面授权。
评论
0/500
登录 后参与讨论
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯