---
title: "用 Qwen3-TTS 混合音色并为克隆声音添加指令"
canonical: "https://siyuanailab.com/curation/translations/631de52452bbdc856de13abe7b852a74-32b27655ef7e7ae89255c5ecd0656b728bba075fd60d55940cfd42e2c30d74bc/"
dateModified: "2026-10-30"
datePublished: "2026-10-30"
---

[返回日报条目](https://siyuanailab.com/curation/#entry/631de52452bbdc856de13abe7b852a74)

 

资料节译

 

# 用 Qwen3-TTS 混合音色并为克隆声音添加指令

 

[阅读原文](https://lucumr.pocoo.org/2026/10/29/qwen3-custom-voices/)

 

现有资料无法确认原文完整，本页只翻译已取得的材料。

 

现有原件无法确认图片是否齐全。

 

我现在正和孩子们一起做一个小型[地牢 爬行游戏](https://github.com/mitsuhiko/dungeon-crawler)，也想借此 [稍微了解一下游戏 开发](https://mitsuhiko.github.io/dungeon-crawler/learn/)。 不过，考虑到我们生活在能力不断提升的现代， 我们想找个旁白来配音。

 

但我们也不想让它听起来像大家常用的标准 AI 声音，所以我 查了查有哪些选择。调查一番后，我 最终决定使用 [Qwen3-TTS](https://github.com/QwenLM/Qwen3-TTS)，它 使用语音嵌入来创建自定义声音。

 

稍微发挥一点创意，还能让这些自定义声音做到起初看起来做不到的事。如果你对此感兴趣，这篇文章会介绍我们的经验，并附上一些示例。你大概可以把它交给你的智能体，它或许能据此做点什么。

 

Qwen3 并不是市面上唯一的 TTS 模型，甚至也不是我的首选。我们 最初使用的是 [Kokoro](https://huggingface.co/hexgrad/Kokoro-82M)。不过 Qwen3 支持声音克隆，而我们想让它听起来更独特一些。

 

不过实际上操作起来有点棘手。Qwen3 提供三类模型：

 

- `1.7B-Base`（以及 0.6B）：从几秒钟的参考音频克隆声音
 
- `1.7B-CustomVoice`：内置九种说话人声音，并支持指令
 
- `1.7B-VoiceDesign`：根据文本描述创造一种声音

 

基础模型可以在上下文中克隆声音，也可以只根据说话人嵌入来克隆，但没有文档说明如何克隆声音并用指令控制它。这意味着，和自定义声音模型及声音设计模型不同，你不能对克隆后的基础模型说“悲伤地说”或“低声说”。

 

目前，官方提供的自定义声音方案是：针对单个说话人微调基础模型，或者用 VoiceDesign 生成一段音频，再用基础模型克隆。这样也不算太糟，但这意味着指令就无法使用了。

 

写这篇博客时，我从自己在 [PyAI Conf](https://www.youtube.com/watch?v=8RHYyRUxVrA) 的演讲录音中截取了 28 秒，在两处停顿之间剪辑， 让片段从一句完整的话开头、以一句完整的话结尾，然后用 Whisper 转录。 转录文本其实只有在烘焙声音时才需要，但要和 已有的声音作比较，让它说出与原始 录音相同的话会更方便。

 

请注意，会议演讲录音并不理想，不过仍然能用。这也提醒我们，要做出一个有几分像某人的声音，其实不需要特别干净的录音（也不需要很长）。尤其是当声音通过低音质电话传给你时，骗过你的奶奶并不难。

 

你可以做的第一件事，是把这段录音和另一种声音混合。比如， 你可以用 VoiceDesign 根据描述设计一种声音。这篇博客 里设计的声音是这样生成的，使用的是 Qwen 自家的 Python 包 [`qwen-tts`](https://pypi.org/project/qwen-tts/)（`pip install qwen-tts`，我用的是 0.1.1），本文其余代码也使用了这个版本：

 

```
import torch
from qwen_tts import Qwen3TTSModel
kw = dict(device_map="mps", dtype=torch.bfloat16, attn_implementation="sdpa")
design = Qwen3TTSModel.from_pretrained("Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign", **kw)
wavs, sr = design.generate_voice_design(
    text=open("voices/transcript.txt").read(), language="English",
    instruct="A man in his forties with a warm, natural, medium-low voice, speaking "
             "clearly and calmly at an easy conversational pace, like someone reading "
             "aloud to a friend.",
)
```

 

可以听听这两种声音各自的表现，尤其是混合在一起时：

 

[互动演示：请访问网站上的文章。](https://lucumr.pocoo.org/2026/10/29/qwen3-custom-voices/)

 

基础模型仅根据嵌入进行克隆时，从录音中提取的是说话人嵌入，基本上就是由一个经过训练的说话人编码器生成的 2048 个数字。同一个声音会得到相似的数字，不同声音则会得到不同的数字。顺便说一句，如果你愿意，这也是一种方便的录音说话人检测方法！它并不完美，但对于单条音轨的录音，只要做些基本的切分处理，就很有助于区分两位说话人（下文会详谈）。

 

因为它只是一个向量，所以可以对它做算术运算。比如，对两个嵌入加权平均，就能得到一种介于两种声音之间的说话人声音：

 

```
base = Qwen3TTSModel.from_pretrained("Qwen/Qwen3-TTS-12Hz-1.7B-Base", **kw)
def fingerprint(path):
    prompt = base.create_voice_clone_prompt(ref_audio=path, x_vector_only_mode=True)
    return prompt[0].ref_spk_embedding
def blend(a, b, t):
    a, b = a.float(), b.float()
    mixed = (1 - t) * a + t * b
    return (mixed / mixed.norm() * ((1 - t) * a.norm() + t * b.norm())).to(torch.bfloat16)
armin, designed = fingerprint("voices/armin.flac"), fingerprint("voices/designed.flac")
```

 

这是同一句话的 11 种混合效果：

 

请注意，它很快就不太像我了，但仍保留了我的一些特点。无论如何，最终确实会形成一种独特的声音。我发现，确保两种声音的频谱相似（例如“录音设置”相近）时，效果会更好。在这段录音里可以听到，领夹麦克风拾取的一种声音，相比设计生成的声音显得有些空洞。

 

如果你喜欢生成的声音，可以把它烘焙到一段新的录音里，然后将这段录音用作参考：

 

```
import soundfile as sf
mixed = blend(armin, designed, 0.5)
audio, rate = say(open("voices/transcript.txt").read(), mixed)  # say() is shown further down
sf.write("voices/final.flac", audio, rate)
final = fingerprint("voices/final.flac")
```

 

烘焙后的声音不会完全等同于混合后的声音，不过如果你愿意，这样处理起来会更容易。它只是一份声音参考文件。

 

说到用这些嵌入识别说话人，效果 怎么样？我取了一期 [State of Agentic Coding](https://www.youtube.com/watch?v=qCpY4K9jtOg) 播客，是我和 Ben 录制的。我把它切成彼此间隔一秒的 2 秒窗口，并将每个窗口与一个 根据我在会议上的录音生成的嵌入进行比较。

 

结果有些出乎意料，不过也没那么意外：用我的会议录音片段作参考时，Qwen3 完全无法奏效。如果改用播客开头我自我介绍的 20 秒作为参考，它对其余部分的识别准确率就达到 98%。

 

另一方面，使用专门为说话人验证而训练的模型， 确实能从会议录音片段中识别出我。例如， [ECAPA](https://huggingface.co/speechbrain/spkrec-ecapa-voxceleb) 在 97% 的窗口中都能根据会议片段识别出我。

 

以下是这档播客中 20 分钟的内容，分别采用不同方法按说话人分类的结果：

 

不过，这些嵌入对于声音克隆很有用！但要怎么给它们 添加指令呢？基础模型和自定义声音模型以相同方式处理说话人：将一个 向量插入说话人的输入序列中。在自定义声音模型中，这个向量是 嵌入表中的一行。在基础模型中，它是说话人 编码器生成的 x-vector，只有基础模型才有。生成代码可以接收 （`voice_clone_prompt` 是 `generate` 的常规参数），而两个模型的 Transformer 权重几乎完全相同。因此，可以先用 基础模型提取嵌入，再把它交给自定义声音模型，代替其中一种说话人声音：

 

```
cv = Qwen3TTSModel.from_pretrained("Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice", **kw)
def say(text, xvec, instruct=None, language="English"):
    ids = cv._tokenize_texts([cv._build_assistant_text(text)])
    told = [cv._tokenize_texts([cv._build_instruct_text(instruct)])[0]
            if instruct else None]
    voice = {"ref_code": [None], "ref_spk_embedding": [xvec],
             "x_vector_only_mode": [True], "icl_mode": [False]}
    codes, _ = cv.model.generate(
        input_ids=ids, instruct_ids=told, voice_clone_prompt=voice,
        languages=[language], non_streaming_mode=True,
        **cv._merge_generate_kwargs(temperature=0.7, subtalker_temperature=0.7),
    )
    wavs, rate = cv.model.speech_tokenizer.decode([{"audio_codes": codes[0]}])
    return wavs[0], rate
wav, rate = say("I really thought this would work.", armin,
                "Speak in a sad, sorrowful tone, voice low and heavy, on the verge of tears.")
```

 

为插槽选择一个说话人、一种模型和一条指令：

 

指令对克隆声音也有效，但可靠性不如内置说话人声音，而且效果取决于情绪。不过说实话，结果比我预想的要好。绝对足以制作一些真正自定义的配音声音，不必听起来像游戏里别人用过的声音。

 

如果一种声音是 2048 维空间中的一个点，而且混合确实有效，那我们或许还能对它做些有趣的数学运算。显而易见的一种尝试，是看看能不能用某些数学方法来调整性别特征。

 

为了找到这种方向，我让 VoiceDesign 分别为男性和女性生成了 14 种不同的声音。然后，用女性声音的平均值减去男性声音的平均值，就可以沿着这个方向移动任意一种声音：

 

```
women = torch.stack([fingerprint(f"design/f{i}.wav") for i in range(14)]).float()
men = torch.stack([fingerprint(f"design/m{i}.wav") for i in range(14)]).float()
middle = (women.mean(0) + men.mean(0)) / 2
axis = women.mean(0) - men.mean(0)
axis = axis / axis.norm()
def move(xvec, t):
    """Put the voice at position t along the gender axis, keep the rest."""
    x = xvec.float()
    return (x + (t - (x - middle) @ axis) * axis).to(torch.bfloat16)
```

 

这是克隆我的声音后的结果：

 

总之，就是这样。如果你想试试 Qwen3 TTS，希望这篇文章能帮上一点忙，也希望你能从中得到一些使用声音嵌入的点子。请用它做好事，别作恶。

 

AI 翻译；具体表述请与原文对照。
