豆包音視頻通話模型開放API:AI能邊看邊聽邊說,還會主動開口

火山引擎正式開放豆包實時音視頻模型 SeedRealtime 1.0 的 API。該模型今年 8 月就已在豆包 App 上綫,如今第三方開發者也能將這套實時視頻通話能力接入自己的產品。

SeedRealtime 將攝像頭畫面、聲音和時間順序放進衕一個端到端模型。AI 可以一邊觀察、一邊聽用戶說話,衕時判斷該什麼時候開口,減少傳統語音識別、視覺理解、語音閤成等多個模塊串聯帶來的延遲和信息損失。

官方演示中,用戶把整顆咖啡豆倒進咖啡機的萃取手柄,AI 不等提問就主動提醒先研磨。逛博物舘時,用戶只需提前交代要找哪件文物,模型便能持續觀察鏡頭,在目標出現時主動提醒。它還能分辨多人對話,在嘈雜環境中避免被旁人的閑聊誤觸發。

字節跳動今年 8 月公佈的人工評測顯示,相比多個模型串聯的方案,SeedRealtime 的音視頻對話節奏問題減少約一半,搶話、回應遲緩和背景譟聲誤觸發等現象明顯減少。

信源

動察 Beating 頻道 · 動察 Beating 交流羣。

問幣潤 AI:這條消息對行情有什麼影響?
你怎麼看這條消息?來投第一票

評論

0/500
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊