TTS 模型评估指南：3 个可落地的指标，判断你的语音合成模型到底好不好

TTS 模型评估指南：3 个可落地的指标，判断你的语音合成模型到底好不好

【免费下载链接】TTS:robot: :speech_balloon: Deep learning for Text to Speech (Discussion forum: https://discourse.mozilla.org/c/tts)项目地址: https://gitcode.com/gh_mirrors/tts/TTS

训练一个 TTS 模型花掉几个星期之后，最尴尬的问题往往不是"能不能出声音"，而是"怎么知道它做得好不好"。Mozilla 的开源项目 TTS 把 Tacotron2、Glow-TTS、SpeedySpeech 等模型的训练、推理代码整理在一起，同时自带了一套可运行的评估手段：注意力对齐打分、梅尔谱往返重建校验、SSIM 谱相似度损失，再加上现成的测试配置。本文按"看架构 → 算对齐 → 查音质 → 听 MOS → 跑脚本"的顺序，把这套评估方法讲清楚。

先搞清楚模型在学什么，再谈怎么评

TTS 的主流路线分两段：文本转梅尔频谱（acoustic model），再用声码器把频谱还原成波形。第一段的核心是编码器、注意力机制和解码器的配合，以 Tacotron2 为例：

评估工作对应到这个结构上就是三件事：

• 对齐：注意力矩阵有没有沿对角线走，决定文本和语音是否对得上；
• 频谱质量：解码器预测的梅尔谱和真值差多少；
• 波形质量：声码器还原出来的声音听感如何，这一层只能靠人耳。

把评估拆成这三层，后面每个指标就知道自己负责哪一段了。

用对齐对角线分数量化"读字顺序对不对"

Tacotron 类模型最常见的失败方式是注意力"跑飞"：重复某个音、漏读或提前跳到 。项目里用一个很直观的指标来捕捉这个问题，实现在 measures.py：

maxs = alignments.max(dim=1)[0] return maxs.mean(dim=1).mean(dim=0).item()

alignment_diagonal_score的做法是：对每个解码步取注意力最大的位置，再按编码器步长统计"对角线上命中率"。分数越接近 1，说明对齐越规整。它同时被 Tacotron、Glow-TTS、SpeedySpeech 的训练脚本调用（如 train_glow_tts.py 中的align_error = 1 - alignment_diagonal_score(alignments, binary=True)），训练日志里直接能看到对齐误差随训练下降的曲线——不用等模型训完，中途就能判断注意力是不是在收敛。

实操建议：拿到一组对齐矩阵（batch × decoder_steps × encoder_steps）后直接调用这个函数。如果分数长期低于 0.9，优先检查文本长度分布和学习率，而不是急着改声码器。

音频质量：用梅尔谱往返重建和 SSIM 损失两个角度验证

音质评估在 TTS 项目里落在两个地方：

1. 往返重建自检。test_audio.py 里有一条wav → melspectrogram → inv_melspectrogram → wav的链路测试，遍历max_norm、signal_norm、symmetric_norm、clip_norm四种归一化参数组合，每组各生成一个 wav 供对比。它的作用不是给模型打分，而是确认你的 AudioProcessor 配置不会在归一化环节悄悄破坏信号——很多"音质差"的问题根源在音频前处理参数，而不是模型本身。

2. SSIM 谱相似度损失。训练 Tacotron2 时，除了 L1/L2 还有结构相似度项，实现在 ssim.py，损失配置集中在 losses.py（SSIMLoss类，由decoder_ssim_alpha控制权重）。SSIM 对比的是两张谱图的局部结构而不是逐点误差，对频谱里的小波纹更敏感。推理后如果想量化一次生成质量，可以拿合成谱和真实谱各算一遍 SSIM，数值越高说明频谱结构还原得越好。

主观评估：MOS 评分怎么组织

客观指标只到频谱层面，听感必须靠人。业界通用做法是 MOS（Mean Opinion Score，平均意见得分）：请若干试听者对每条合成语音按 1–5 打分，最后取平均。

TTS 项目的官方性能对比表就是按这个方式得出的，横轴是各厂商/模型的语音，纵轴是"Overall Voice Experience"的四个档（Very poor / Poor / OK / Good / Excellent）：

组织自己的 MOS 实验时，可以借用仓库里现成的素材：

• 样本源：tests/inputs/ 下有example_1.wav等现成音频，可直接作为归一化基准样本；合成侧用TTS/bin/synthesize.py批量生成待打分语音。
• 评分维度：自然度、清晰度、有无漏读重复（漏读/重复通常和上一节的对齐分数直接相关，可交叉验证）。
• 可视化辅助：让试听者同时看波形与谱图再听音频，判断更稳。

一个容易踩的坑：MOS 对试听人数和样本量敏感。少于 10 个试听者、每组少于 20 条语音时，两个模型的 MOS 差距基本没有统计意义，别把 ±0.1 的浮动当结论。

跑一遍现成的评估脚本，快速建立基线

不想从零搭环境的话，仓库tests/目录提供了可直接运行的入口：

• test_glow-tts_train.sh：用inputs/test_glow_tts.json配置跑几轮 Glow-TTS 训练，验证训练链路和续训逻辑；
• test_tacotron2_model.py、test_vocoder_wavernn.py 等单测文件：对声学模型和声码器做前向一致性检查。

典型流程是：先用tests/inputs/下的配置 JSON 跑通训练脚本确认环境 → 用synthesize.py在固定测试文本上生成语音 → 对齐分数 + SSIM + 人工试听三条线并行记录 → 换一组超参再跑一轮，对比三个指标的变化方向是否一致。三条线结论一致（比如对齐分数上升、SSIM 上升、MOS 也上升），这次改动才算真的有效。

多说话人场景下还可以顺手看一眼说话人嵌入的聚类效果，UMAP 散点图中同一说话人的点应当聚成一簇、簇间分离：

结论

TTS 模型评估没有单一银弹指标：alignment_diagonal_score管对齐，SSIM 与梅尔谱往返重建管频谱保真，MOS 管最终听感。三者分别对应模型的不同故障模式，建议在训练中期就盯住对齐分数，推理阶段补上 SSIM，版本对比时再上 MOS。下一步如果要进一步压 RTF（实时率）或做蒸馏，先保证这三条基线数据留档，方便回退。

【免费下载链接】TTS:robot: :speech_balloon: Deep learning for Text to Speech (Discussion forum: https://discourse.mozilla.org/c/tts)项目地址: https://gitcode.com/gh_mirrors/tts/TTS