Mistral发布Voxtral 3:把语音识别、推理和工具调用接成实时Agent
BiRun 讯,法国 AI 公司 Mistral 发布 Voxtral 3,包括三款语音转录模型、一款语音合成模型,以及完整的 Voice Agent SDK。
官方演示中,一名用户用英语要求预约皮肤科医生。AI 读取法语转诊信,调用系统查询空闲时段,完成预约后再用英语确认。整个过程通过实时语音对话完成。
Voxtral 3 并不是一款包办所有任务的端到端语音大模型。它采用模块化设计:转录模型负责识别语音、判断用户何时说完,Mistral Small 等通用大模型负责推理和调用工具,语音合成模型负责回答。基于 LiveKit 的 SDK 将这些环节串成实时流水线,支持电话和网页通话,也允许用户随时打断。Mistral 宣称单轮交互延迟不到 1 秒。开发者还能单独替换推理模型或语音模型。
转录支持的语言从上一代 13 种扩展至 50 多种,语音合成支持 35 种以上语言和 50 多种方言。在 Artificial Analysis 的独立非实时转录测试中,Voxtral Small Transcribe 3 词错误率为 2.1%,排名第三,仅次于阿里巴巴和微软的模型。语音合成则排名第 13。
API 实时转录每分钟收费 0.008 美元,语音合成每百万字符 13 美元。企业还可联系 Mistral,在自有服务器或私有云中部署。
信源
动察 Beating 频道 · 动察 Beating 交流群。
官方演示中,一名用户用英语要求预约皮肤科医生。AI 读取法语转诊信,调用系统查询空闲时段,完成预约后再用英语确认。整个过程通过实时语音对话完成。
Voxtral 3 并不是一款包办所有任务的端到端语音大模型。它采用模块化设计:转录模型负责识别语音、判断用户何时说完,Mistral Small 等通用大模型负责推理和调用工具,语音合成模型负责回答。基于 LiveKit 的 SDK 将这些环节串成实时流水线,支持电话和网页通话,也允许用户随时打断。Mistral 宣称单轮交互延迟不到 1 秒。开发者还能单独替换推理模型或语音模型。
转录支持的语言从上一代 13 种扩展至 50 多种,语音合成支持 35 种以上语言和 50 多种方言。在 Artificial Analysis 的独立非实时转录测试中,Voxtral Small Transcribe 3 词错误率为 2.1%,排名第三,仅次于阿里巴巴和微软的模型。语音合成则排名第 13。
API 实时转录每分钟收费 0.008 美元,语音合成每百万字符 13 美元。企业还可联系 Mistral,在自有服务器或私有云中部署。
信源
动察 Beating 频道 · 动察 Beating 交流群。
评论
0/500
登录 后参与讨论
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯