语音评估中“自然度”的错觉

September 7, 2026

Layered speech waveforms with one curve highlighted in orange

“自然度”是衡量文本转语音的合适指标吗？对人工智能助手来说，是的。但如果你想要一个能“演”的 AI：一个能惊慌、能犹豫，或能低声说出秘密的 AI，那么标准的自然度平均意见分（MOS）和常用指标就不适用了。

在我们的 Interspeech 2026 论文“自然就一定合适吗？”[1]中，我们与 KTH、Imperial 和 TUM München 合作，评估了当前最先进的文本转语音（TTS）模型在不同“人物角色”下的表现，以挑战一个核心假设：更“像人”的声音总是最适合这项工作。

表演问题

作为一支由 AI 研究人员和游戏制作者组成的团队，我们一直在探索和评估用于角色的语音模型。我们想要的不是旁白或 AI 助手，而是能让人感觉栩栩如生、让你相信它们所处的宇宙和故事的 AI 声音。

语音从根本上说是一种一对多映射。像“你是认真的吗？”这样一句台词，会因语境、节奏和呼吸而完全改变。它可以是真诚的疑问、阴沉的威胁，或面无表情的包袱。然而，我们观察到，当前的 TTS 模型一旦被要求表演，而不是朗读或保持单一固定的说话风格，往往就会失败。表演需要广度、灵活性和对语境的呈现，而这正是这些系统所缺乏的。

问题在于，标准评估指标无法告诉我们好表演与差表演之间的区别。我们很快发现，“自然度”最终成了一个误导性的线索：模型可以生成听起来完美自然的人声，却仍然完全错失场景的情感真实。我们决定研究这种从自然度到适宜性的转变，并找出哪些标准评估指标会失效，以及在这种新视角下它们如何失效。

拟人度悖论

我们开展了一项系统性的跨领域感知分析。我们测试了来自 SOTA TTS 模型（Gemini-TTS、ElevenLabs、Kyutai-TTS、GPT4o-mini 和 Kokoro）的五个声音，覆盖 150 名人类听众，并绘制了它们在五种不同人物角色上的表现。[†]

我们发现，一个模型“听起来像人”的能力，并不能预测它在特定场景中听起来是否得体。

拟人度 × 得体性，按人设分类

样本的拟人度评分与其在该人设下的得体性评分之间的斯皮尔曼 ρ 相关系数。

通过我们的研究，我们总结出四项关键发现：

得体性与自然度相互脱钩。高度“像人”的声音并不总是合适的选择。听众实际上会对过于口语化的 AI 助手给予负面评价，反而更偏好略带机械感的生硬风格。
高自然度分数掩盖了表现力的失败。那些作为中性有声书朗读器获得满分评价的模型，在被要求进行即兴的、以角色驱动的表演时，会彻底崩溃。这凸显了当前评估基准中的一个重大缺口。
标准指标会惩罚风格化语音。由于它们是在干净、中性的数据上训练的，传统指标错误地将戏剧性停顿或嗓音紧张视为声学错误。
声音无法跨语境迁移。如果没有说话风格的根本改变，一个针对自然度进行优化的现成模型，从根本上仍与手头任务相互独立。这凸显出当前 TTS 系统缺乏真正的灵活性，并且仍然严重依赖风格。

下面，我们展示了所测试的不同 TTS 与语音的画像，而这些信息通常会被通用偏好基准或单凭拟人度评分所掩盖。每一种合成语音都偏向特定风格，只有真人录音才能捕捉到完整的表达范围。请注意，这些发现反映的是每个系统所评估的单一语音，而非底层模型的理论上限。

语音画像——适用性

由 150 名听众评定的平均适用性（1–5）。句子与每个人设相匹配。

† 各系统所使用的音色：Kokoro af_heart、GPT-4o-mini-TTS coral、ElevenLabs Bella（模型 eleven_multilingual_v2）、Gemini-TTS Despina（gemini-2.5-flash-preview-tts），以及 Kyutai-TTS，并以 EARS 语料库中的说话人 p037 作为提示。

指标盲区

众所周知，TTS 与 TTS 评估领域在评估方面一直困难重重。Hume AI 最近发布了他们的Real World VoiceEQ 基准 [2]，正确地指出 WER[3]、PESQ[4] 和 DNSMOS[5] 等传统指标之所以失效，是因为它们忽略了情绪、语气和副语言特征。

我们完全同意，必须超越临床指标。但评估“人类表现力”虽然向前迈进了一步，却仍然落入了一个微妙的陷阱：它假定“好”的声音或表演存在一个普适标准。

正如我们的论文所示，这一假设忽略了更大的图景。如果用户是在与 AI 助手或呼叫中心客服交谈，那么高度富有表现力、情感细腻的表达反而会主动让用户感到沮丧：恰当性完全取决于人设。就像演员会被选来出演特定角色一样，如果不了解一个数字演员被选中要扮演的角色，你就无法衡量它。

我们检验了这些假设，并将标准的自动指标与不同下游人设下的人类恰当性评分进行了相关性分析。

自动指标 × 恰当性，句子级别

自动指标与人类听者之间的 Spearman ρ。橙色 = 指标与听者一致，蓝色 = 不一致。* 表示显著。标有 ↓ 的行表示越低越好。

当前的自动指标与基准测试无法衡量富有表现力的语音：

神经质量预测器（UTMOSv2[6]、DNSMOS[5]）会把刻意的耳语、喘息、高能量或惊慌的嗓音紧绷标记为噪声。
距离指标（MCD[7]、PESQ[4]、F0 相关性）假定任意给定台词只有一个“正确”的目标波形，在时长不匹配时难以应对，从而惩罚富有创造力的演绎。
词错误率（WER）[3] 甚至连基本的发音都不管。WER 只验证文本的准确性，完全忽略了那些让声音显得鲜活的细微节奏变化和有意为之的不流畅。
概率性指标（如 FAD[14]、TTSDS2[15]，此处未展示）：虽然这些指标在比较模型生成人类质量、多样化语音的整体能力方面极具前景，但它们衡量的是与人类数据集的统计相似度。它们并不会告诉你表达方式是否真的契合特定场景的语境。

听听差异

为了更好地理解我们的意思，我们建议作为读者的你亲自试一试。

请听我们研究中的以下示例。注意传统的自动化指标（如用于音频质量的 UTMOS）往往奖励不符合角色的演绎，而惩罚恰当的表演。一个声音单独听起来可能很出色，但当它被放在错误的人设上时，就会落入恐怖谷。

演员

“没人尊重这个桶！”

听众更喜欢

ElevenLabs

恰当性 3.24
拟人度 3.32
UTMOS 2.23

更像人类

Kyutai-TTS

恰当性 3.12
拟人度 4.32
UTMOS 2.61

自发说话人

“我……我是说，它们对我来说就是很恶心。”

听众更偏好

ElevenLabs

恰当性 3.12
拟人度 3.52
UTMOS 3.42

更像真人

Gemini-TTS

恰当性 2.28
拟人度 3.68
UTMOS 3.37

AI 助手

“您的会议将在 30 分钟后开始。”

听众更偏好

Kokoro

适当性 4.40
拟人性 2.72
UTMOS 3.96

更接近真人

Kyutai-TTS

适宜性 2.72
拟人性 3.80
UTMOS 2.76

超越真空：构建上下文感知的数字演员

TTS 并非一个放之四海而皆准的问题。在真空中生成干净音频已不再是基准。真实的语音由意图、上下文和叙事利害关系驱动。

为捕捉这一点，合成必须超越传统的“文本输入、音频输出”流水线。下一代 TTS 完全由上下文驱动。它既可以通过显式情感标记来控制，也可以由一个统一模型来控制；该模型会消化场景与对话的全貌，有意生成呼吸和犹豫等副语言特征，以塑造表达方式。

在 Iconic，我们正通过弥合人工智能与艺术表演之间的差距来应对这一挑战。因为标准流水线会把角色优化得失去生命力，我们的研究人员会直接与创意总监、编剧和配音演员并肩工作，有意识地映射角色人格。我们不是训练通用模型，而是构建统一的人格模型，在其中，LLM 对角色心理状态的理解与语音引擎的声学表达作为一个单一系统发挥作用。

下一项伟大的互动娱乐媒介，不会由仅在实验室环境中听起来像人声的声音构建而成。它将由懂得在具体情境中表演和行动的数字演员构建而成。

了解更多

如果你想了解更多或与我们交流，我们将在今年9月于悉尼举行的 Interspeech 2026 上展示这篇论文。你可以在这里查看论文！

同时，你也可以查看我们关于 Pressure Point 技术演示的博客文章，亲身体验我们如何运用这些概念来拓展互动娱乐的边界！

参考文献

D. Woszczyk, A. Triantafyllopoulos, J. Miniota, É. Székely, B. Schuller. “自然就一定合适吗？探究不同领域中自然度与合适度用于 TTS 评估的情况。” arXiv:2606.31729, 2026.
Hume AI。“推出 Real World VoiceEQ：衡量语音 AI 的人类品质。”
NVIDIA。“nvidia/parakeet-tdt-0.6b-v2。”Hugging Face，2025。用于 WER 转写。
A. W. Rix 等。“语音质量感知评估（PESQ）——一种评估电话网络和编解码器语音质量的新方法。”ICASSP，第 2 卷，2001 年，第 749–752 页。
C. K. A. Reddy 等。“DNSMOS：一种用于评估噪声抑制器的非侵入式感知客观语音质量指标。”ICASSP，2021 年，第 6493–6497 页。
K. Baba 等。“VoiceMOS Challenge 2024 的 T05 系统：从深度图像分类器到高质量合成语音自然度 MOS 预测的迁移学习。”IEEE 口语语言技术研讨会（SLT），2024 年，第 818–824 页。
R. Kubichek。“用于客观语音质量评估的梅尔倒谱距离度量。”Proceedings of IEEE Pacific Rim Conference on Communications, Computers and Signal Processing，第 1 卷，1993，第 125–128 页。
C. H. Taal 等。“一种用于时频加权含噪语音可懂度预测的算法。”IEEE Transactions on Audio, Speech, and Language Processing，第 19 卷，2011，第 2125–2136 页。
A. Vyas 等。“Audiobox：使用自然语言提示的统一音频生成。”arXiv:2312.15821，2023。
L. Barrault 等。“Seamless：多语言富有表现力的流式语音翻译。”arXiv:2312.05187，2023。AutoPCP 韵律一致性度量的来源。
A. Kumar 等，“TorchAudio-Squim：TorchAudio 中的无参考语音质量与可懂度测量”，ICASSP，2023，第 1–5 页。
S. Chen 等，“WavLM：面向全栈语音处理的大规模自监督预训练”，IEEE Journal of Selected Topics in Signal Processing，第 16 卷，2022，第 1505–1518 页。
Y. Yang 等，“测量零样本 TTS 中的韵律多样性：一个新指标、基准与探索”，arXiv:2509.19928，2025。
K. Kilgour、M. Zuluaga、D. Roblek、M. Sharifi，“Fréchet 音频距离：一种用于评估音乐增强算法的无参考指标”，Interspeech，2019。
C. Minixhofer 等，“TTSDS2：面向人类质量合成语音的稳健客观评估”，第十三届语音合成研讨会，2025，第 68–75 页。