NVIDIA 模型卡记录 MagpieTTS Multilingual 357M v2607 于 2026 年 7 月 21 日发布。NVIDIA 团队在 8 月 10 日发布介绍文章。v2607 支持 12 种语言，新增现代标准阿拉伯语、韩语和巴西葡萄牙语。Speech NIM 26.07.0 对应的 Magpie TTS Multilingual 容器版本是 1.9.0。
如果团队已经决定把 TTS（text-to-speech，文本转语音）拆成独立组件，并准备在自有基础设施部署开放模型检查点或 NVIDIA NIM（NVIDIA Inference Microservices），就按这份清单验收。如果产品目标是端到端实时对话，而且还没有确认是否需要独立 TTS 层，应先完成实时音频与级联架构选型。
两条路径使用同一模型。开放模型检查点需要团队自己做服务化和性能优化，NIM 则把这些能力封装在优化后的容器中。先固定版本并确认资源与模型边界，再测试语言质量、首段音频延迟、并发和打断恢复，最后核对数据驻留。目标语言不在 12 种范围内、需要零样本声音克隆，或任一性能与质量门槛未达到时，都应停止上线。
先选开放模型检查点还是 NIM
需要修改模型、微调声音或自行控制推理栈时选开放模型检查点；要直接使用 NVIDIA 优化过的服务容器并复现官方 GPU（图形处理器）基准时选自托管 NIM。
| 路径 | 适合任务 | 团队需要负责 | 不能直接假设 |
|---|---|---|---|
| Hugging Face 模型检查点 | 本地推理、研究、离线生成、改发音、微调声音或领域数据 | 推理引擎、流式输出、批处理、扩缩容和监控 | 下载权重后就能达到 NIM 延迟 |
| 自托管 Magpie TTS NIM | 在 NVIDIA GPU 上部署低延迟服务，复现官方服务基线 | 容器运行、容量规划、接口集成和版本验证 | 官方平均值就是自己的 p95 性能目标 |
| NVIDIA Hosted API 或在线演示 | 无 GPU 时跑通接口、试听音色和检查基本发音 | 准备代表性文本并记录当前声音目录 | 托管延迟、配额或音质代表自托管环境 |
模型卡将开放模型检查点列为可商用，但使用、修改和再分发仍受 NVIDIA Open Model License约束。开放模型检查点也能用于生产，但团队要自己完成服务化和性能优化；NIM 已封装官方优化的服务层，并提供可对照的基准配置。
先确认版本、显存和模型硬限制
截至 2026-08-11，自托管验收应以这组版本与资源条件为基线；数值来自 Speech NIM 26.07.0 发行说明和 TTS NIM 支持矩阵：
| 对象 | 固定值或最低条件 |
|---|---|
| 开放模型 | nvidia/magpie_tts_multilingual_357m v2607；生产下载固定 tag 或 commit，不跟随 main 漂移 |
| NIM | Speech NIM 26.07.0；magpie-tts-multilingual:1.9.0 |
| GPU 与系统 | NVIDIA GPU 计算能力不低于 8.0，至少 16 GB 显存；Linux，NVIDIA 驱动不低于 535 |
| NIM 模型配置档（profile） | batch_size=8 约 12.58 GiB；batch_size=32 约 41.46 GiB；batch_size=64 约 74.74 GiB 显存 |
v2607 模型卡还规定了三条生成边界：
- 标准模式单次最多生成约 20 秒音频；长文本要走长音频模式，并使用清楚的标点和大小写分句
- 输入必须做文本归一化，尤其要覆盖数字、缩写和特殊字符
- 本次发布已移除零样本声音克隆；需要该能力时应改用其他模型或服务
from_pretrained() 默认读取仓库 main 上的最新检查点。生产部署要下载固定 tag 或 commit，并把版本标识与容器版本一起记录。无法固定版本、目标配置档超出可用显存，或业务必须使用零样本声音克隆时，停止部署并改用其他模型或服务。
确认 12 种语言覆盖真实流量
截至 2026-08-11，模型卡和 NIM 支持矩阵列出的语言是英语、西班牙语、法语、德语、意大利语、越南语、普通话、印地语、日语、现代标准阿拉伯语、韩语和巴西葡萄牙语。8 月 10 日的官方文章称每种语言都有男声和女声。实际可用的说话人与情绪变体会因语种和地区而异，上线时以 NIM 当前声音目录为准。
每种目标语言都要从真实流量中抽取四类样例：
- 客户姓名、公司名、产品名、地名等专有名词
- 日期、金额与百分比、电话号码或订单号等结构化内容
- 缩写、版本号、网址或邮箱、代码片段
- 疑问或确认、拒绝与紧急提示、业务长短句
Speech NIM 26.07.0 发行说明只确认印地语和日语文本可内嵌英语；其中英语内容的归一化目前只覆盖数字、度量单位、货币和核心数学或尺寸符号。模型卡另有 IPA（国际音标）字典与英语转片假名说明，但这些能力不能外推到中英或任意语言组合。未被官方范围覆盖的混读一律按未支持处理，除非自己的固定测试集全部通过。
语言放行条件是数字无歧义、专有名词可维护、同一词在多轮对话中读法稳定，且关键提醒不会因停顿或重音改变含义。仅仅能发声不算通过。
把 TTFA 与端到端延迟分开测
TTFA（Time to First Audio，首段音频延迟）是 TTS 请求提交后到收到第一段音频的时间。它只反映合成服务的启动延迟，不能代表用户说完话到听见回复的完整等待时间。
NVIDIA 的 Speech NIM 26.07.0 性能文档使用 LJSpeech 的 10 条输入，每个并发流运行 20 次；下表取三次试验的平均值。测试对象是自托管 NIM 和对应官方硬件，不是开放模型检查点，也不包含客户端网络传输与播放、ASR（automatic speech recognition，自动语音识别）或 LLM（large language model，大语言模型）时间。
| GPU | 平均单流 TTFA | 单流 RTFX | 平均 64 流 TTFA | 64 流 RTFX |
|---|---|---|---|---|
| B200 | 32 ms | 12.1x | 239 ms | 319.81x |
| H100 | 47 ms | 14.7x | 275 ms | 290.79x |
| DGX Spark | 53 ms | 9.8x | 962 ms | 75.88x |
| A100 | 79 ms | 12.2x | 395 ms | 197x |
RTFX（相对实时生成倍数）表示生成音频时长相对于生成耗时的倍数。例如，10 秒音频用 1 秒生成，RTFX 为 10x。它用来估算吞吐，不能说明首段音频要等多久。
压测时记录以下时间点：
t0 用户停止说话
t1 ASR 最终文本完成
t2 LLM 开始生成
t3 第一段可送入 TTS 的文本完成
t4 TTS 收到生成请求
t5 第一段音频返回
t6 客户端开始播放
t7 完整音频生成结束
用 t5 - t4 计算 TTS TTFA，用 t6 - t0 计算用户实际感知的首音频延迟。若只优化 t5 - t4，瓶颈仍可能在其他环节，例如 ASR 定稿、LLM 首个词元、文本分块、网络缓冲或播放器启动。
按真实并发建立性能基线
官方平均值不是容量承诺。至少在单流、日常并发和峰值并发三档下分别测试冷启动与预热状态，并报告 p50、p95 和 p99 分位数，不能只记录平均值。
测试矩阵至少包含以下维度：
| 维度 | 最小分组 |
|---|---|
| 文本长度 | 短确认句、普通回复、长解释 |
| 语言 | 每种上线语言，不能只用英语 |
| 字符类型 | 普通文本、数字、缩写、混合语言 |
| 并发 | 1、常态并发、预计峰值、超载档 |
| 缓存状态 | 冷容器、模型已加载、持续请求 |
| 输出 | TTFA、完整生成耗时、RTFX、显存、错误率 |
官方性能文档提醒，高负载下服务可能先完成当前请求以释放推理槽位，等待中的请求可能超时。超载测试要确认系统会排队、降级还是拒绝请求；达到产品延迟预算或最大队列长度后，应立即返回明确的繁忙响应，而不是无限排队。
同一轮测试要固定模型与容器版本、硬件（GPU 型号和驱动）与精度、文本集和压测工具，并记录模型配置档。缺少任一条件，数字都不能用于比较下一次升级。
把官方推理参数当成起点
NVIDIA 在 2026-08-10 的介绍文章中给出的起始配置是：
cfg_scale = 2.5
temperature = 0.6
top_k = 80
apply_attention_prior = True
prior_epsilon = 0.1
调参时一次只改变一个变量，并记录：
- 文本忠实度，包括数字、否定词和专有名词
- 音色、语速、停顿和情绪的跨句稳定性
- TTFA、完整生成耗时和显存变化
- 固定输入与随机种子下的差异，以及关键话术的多次采样结果
提高 cfg_scale 可能增强文本约束，但音质与延迟仍要用自己的样例复测；temperature 和 top_k 会改变生成随机性。验证码、金额或医疗提示要优先保证可懂度与一致性，不能为了语气变化放宽放行门槛。
分开设置文本与音质门槛
v2607 模型卡同时报告 CER（Character Error Rate，字符错误率，越低越好）与 SSIM（说话人相似度指标，越高越好）。法语 CER 从 2.70% 降到 1.54%，SSIM 从 0.703 升到 0.747。西班牙语 CER 从 1.14% 降到 0.60%，SSIM 从 0.715 升到 0.793。德语 CER 从 0.66% 升到 0.80%，但 SSIM 从 0.626 升到 0.742。
上线时分别为以下结果设置门槛：
- 文本正确率：漏字或错字、数字、否定词和缩写
- 说话人一致性与自然度：长会话音色、重音与停顿、韵律和情绪
- 业务可懂度：噪声环境、手机扬声器和电话带宽
- 分块连续性：流式音频边界的爆音、重复或断裂
现代标准阿拉伯语、韩语和巴西葡萄牙语的官方 CER 基线分别是 1.62%、2.69% 和 2.91%。这些数字只来自官方测试集，不能代表团队自己的口音、领域词汇或录音链路。上线前还要用真实业务文本重新测试，并让目标用户或语言评审者试听。
接入语音 Agent 时验证打断与恢复
打断验收要同时检查播放控制、服务端生成、会话状态和音频流隔离，不能只测客户端暂停。Magpie TTS 只负责语音合成；完整级联 Agent 还包括 ASR、LLM、检索或工具调用，以及音频传输与播放。Nemotron Voice Agent 参考实现展示了这类可打断级联管线。
按以下控制路径测试：
- 用户开始插话后，播放器立即停止旧音频。
- 服务端取消尚未播放的 TTS 生成，释放 GPU 资源。
- 对话状态不把未播放完的回复标成已交付。
- 新一轮回复不会收到旧请求残留的音频块。
为 ASR、LLM 和 TTS 分别记录请求 ID，并用同一条会话追踪链路串起来。出现延迟或串音时，这条链路必须能区分文本分块、TTS 排队、网络和客户端缓冲问题。
上线前核对数据与许可边界
自托管只有在日志、监控、错误上报和备份也留在批准环境中时，才能满足数据驻留目标。对客服、医疗或企业内部助手，要记录所有语音和文本产物的保存位置与保留周期，包括原始音频、ASR 文本、LLM 提示词、合成文本和生成音频。
模型卡指定使用 NVIDIA Open Model License。许可证正文允许在遵守条款的前提下商用和分发衍生模型，也规定了安全护栏、合规和再分发条件。项目负责人应在正式使用、微调或再分发前核对当前许可证版本和业务用途。
Magpie TTS 上线检查表
版本与部署方式
- 已选择固定版本标识的开放模型检查点或 Speech NIM 26.07.0 / 容器 1.9.0
- GPU、驱动和 NIM 模型配置档满足最低条件，显存留有运行余量
- 目标任务不依赖 12 种语言以外的合成或零样本声音克隆
语言与质量
- 每种上线语言都有专有名词、数字、缩写和混读样例
- 文本归一化、20 秒标准模式边界和长文本模式已单独验证
- CER、说话人一致性、主观自然度和业务可懂度均有放行门槛
性能与恢复
- TTS TTFA 与用户感知的端到端首音频延迟已分开记录
- 单流、常态并发、峰值和超载档都有 p50、p95、p99
- 用户打断会停止播放、取消生成、修正状态并隔离旧音频块
治理与可观测性
- 容量指标（GPU 显存和队列长度）、错误率与请求/会话链路均可观测
- 音频、文本、日志和备份满足数据驻留与保留要求
- 负责人已核对当前模型许可证，并演练回退路径
检查表中的所有门槛都通过后，固定版本才能接入正式流量；任何一项失败，都应留在测试环境。