快讯2026-11-13 · 智涌AI

ZONOS3-Mini 开源:1 亿激活参数实时克隆语音

ZONOS3-Mini 快讯头图:左侧大字 ZONOS3-Mini 与 1 亿激活参数、43 种语言、457 倍实时数据卡;右侧柱状图对比 Pixel 9 浏览器、M3 MacBook Air、单张 H100 的首段音频延迟

语音模型公司 Zyphra 11 月 12 日在 Hugging Face 发布 ZONOS3-Mini:一个支持零样本声音克隆的开源文本转语音(TTS)模型,激活参数只有 1 亿(总参数 8 亿),权重用 Apache 2.0 许可。官方给的数字是在 M3 MacBook Air 上首段音频延迟不到 150 毫秒,在 Pixel 9 手机的浏览器里不到 570 毫秒。做语音 Agent、想把 TTS 放到本地或端侧的开发者,可以直接拿来试。

小模型能跑实时,靠的是重做了音频编码

上一代 ZONOS2 用 8B 参数的主干去建模 86 Hz 的音频编码,质量好但很难放到本地。ZONOS3-Mini 换了三处:自研的 ZAC-1 编解码器把帧率降到 15 Hz(输出 44.1 kHz 音频),主干改成 Gated DeltaNet 与注意力混合的稀疏 MoE,说话人编码器换成 MECT-B2 声纹模型。帧率从 86 降到 15,意味着同样一秒语音,模型要生成的步数少了很多,我们估计这是它能在笔记本和手机上实时出声的主要原因。

Zyphra 称,在同样的数据条件下,用 ZAC-1 训练的 TTS 模型词错率比用 DAC 编码器低一个数量级(10 倍)。整个模型在 112 张 H100 上训练了 2.5 天。

项目ZONOS2ZONOS3-Mini
主干参数8B激活 1 亿 / 总 8 亿(MoE)
音频编码帧率86 Hz15 Hz(ZAC-1)
端侧部署受限浏览器、手机、笔记本

官方给出的速度和质量数字

对本地语音 Agent 来说,1 亿激活参数、笔记本上 150 毫秒内出声,TTS 这一步可以先放在本机试。

它还支持「激活引导」:不重新训练,直接调内部方向来控制说话方式,比如 projection 控制从轻声到隔空喊话,lively 控制从平淡到活泼。博客里给了对应的试听样例。

谁该关心,怎么试

在做语音助手、实时配音、端侧 Agent 的团队可以重点看,特别是之前因为成本或隐私只能用云端 TTS 的场景。截至 2026-11-13,Hugging Face 模型页显示约 8,543 次下载、227 个赞。

零安装的试法是在官方 Hugging Face Space 里直接试零样本克隆;想接到自己的服务里,官方给的起服务命令是:

sgl-omni serve --model-path Zyphra/ZONOS3-Mini --port 8000
curl -X POST http://localhost:8000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{"input": "Hello from ZONOS3-Mini on Hugging Face!"}' \
  --output output.wav

Mac 用户可以走 MLX,没有独显的机器可以用 C++/ggml 加载 GGUF 量化权重。站内也写过 Mistral 的语音 Agent 方案,可以对照 Voxtral 3 快讯。

注意:延迟、吞吐和排名都是 Zyphra 自报,基准也是它自己设计的。零样本克隆只要一段参考音频就能模仿一个人的声音,Zyphra 的发布博客没有写水印或使用限制,上线到产品里时,取得声音授权、标注合成语音这些事要自己做。

最后

手上有语音功能的,先用 Hugging Face Space 拿自己的中文参考音频试一段,听完再决定要不要本地部署。

关注公众号「智涌AI速递」

每天的 AI 快讯、实用教程和 AI项目实测,也会同步发到微信公众号。在微信里搜索「智涌AI速递」就能关注;不用微信的话,可以用 RSS 订阅本站。