時隔16個月,百度再次亮出大模型家底:2800億參數文心5.5 Flash開源
BiRun 訊,動察 Beating AI 快訊,百度開源文心 ERNIE-5.5-Flash-Base 模型權重。繼 2025 年 6 月文心 4.5 系列之後,百度時隔約 16 個月,再次開源韆億參數級大模型。中間發布的文心 5.0 和 5.1 均未開源。
文心 5.5 Flash 主打推理效率,總參數 2800 億,每生成一個 Token 僅激活 140 億參數。模型使用 33.5 萬億 Token 從零預訓練,支持最高 100 萬 Token 推理上下文。
百度還重新設計了長文本處理機製。43 層網絡中,37 層將每 128 個歷史 Token 壓縮成一條緩存記彔,另外 6 層保留對原始內容的精細檢索能力,以降低長文本處理的顯存和計算開銷。
官方將其與 DeepSeek-V4-Flash-Base、騰訊 Hy3-preview-Base、小米 MiMo-V2.5-Base 進行統一評測,30 項基準測試中有 24 項排名第一。
本次開放的是未經中訓練和後訓練的純文本 Base 模型,主要供開發者繼續進行領域微調、指令訓練和強化學習。百度表示,經過後訓練的文心 5.5 Flash 將隨後推出。
許可証比上一代更嚴格。文心 4.5 採用 Apache 2.0 協議,5.5 Flash 改用自定義許可証,不授權在歐盟、英國和韓國使用。相關產品或服務過去連續 12 個月營收超過 5000 萬美元,商用前必須另行獲得百度書面授權。
文心 5.5 Flash 主打推理效率,總參數 2800 億,每生成一個 Token 僅激活 140 億參數。模型使用 33.5 萬億 Token 從零預訓練,支持最高 100 萬 Token 推理上下文。
百度還重新設計了長文本處理機製。43 層網絡中,37 層將每 128 個歷史 Token 壓縮成一條緩存記彔,另外 6 層保留對原始內容的精細檢索能力,以降低長文本處理的顯存和計算開銷。
官方將其與 DeepSeek-V4-Flash-Base、騰訊 Hy3-preview-Base、小米 MiMo-V2.5-Base 進行統一評測,30 項基準測試中有 24 項排名第一。
本次開放的是未經中訓練和後訓練的純文本 Base 模型,主要供開發者繼續進行領域微調、指令訓練和強化學習。百度表示,經過後訓練的文心 5.5 Flash 將隨後推出。
許可証比上一代更嚴格。文心 4.5 採用 Apache 2.0 協議,5.5 Flash 改用自定義許可証,不授權在歐盟、英國和韓國使用。相關產品或服務過去連續 12 個月營收超過 5000 萬美元,商用前必須另行獲得百度書面授權。
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊