返回日报条目

资料节译

用 Qwen3-TTS 混合音色并为克隆声音添加指令

阅读原文

我现在正和孩子们一起做一个小型地牢 爬行游戏,也想借此 稍微了解一下游戏 开发。 不过,考虑到我们生活在能力不断提升的现代, 我们想找个旁白来配音。

但我们也不想让它听起来像大家常用的标准 AI 声音,所以我 查了查有哪些选择。调查一番后,我 最终决定使用 Qwen3-TTS,它 使用语音嵌入来创建自定义声音。

稍微发挥一点创意,还能让这些自定义声音做到起初看起来做不到的事。如果你对此感兴趣,这篇文章会介绍我们的经验,并附上一些示例。你大概可以把它交给你的智能体,它或许能据此做点什么。

Qwen3 并不是市面上唯一的 TTS 模型,甚至也不是我的首选。我们 最初使用的是 Kokoro。不过 Qwen3 支持声音克隆,而我们想让它听起来更独特一些。

不过实际上操作起来有点棘手。Qwen3 提供三类模型:

基础模型可以在上下文中克隆声音,也可以只根据说话人嵌入来克隆,但没有文档说明如何克隆声音并用指令控制它。这意味着,和自定义声音模型及声音设计模型不同,你不能对克隆后的基础模型说“悲伤地说”或“低声说”。

目前,官方提供的自定义声音方案是:针对单个说话人微调基础模型,或者用 VoiceDesign 生成一段音频,再用基础模型克隆。这样也不算太糟,但这意味着指令就无法使用了。

写这篇博客时,我从自己在 PyAI Conf 的演讲录音中截取了 28 秒,在两处停顿之间剪辑, 让片段从一句完整的话开头、以一句完整的话结尾,然后用 Whisper 转录。 转录文本其实只有在烘焙声音时才需要,但要和 已有的声音作比较,让它说出与原始 录音相同的话会更方便。

请注意,会议演讲录音并不理想,不过仍然能用。这也提醒我们,要做出一个有几分像某人的声音,其实不需要特别干净的录音(也不需要很长)。尤其是当声音通过低音质电话传给你时,骗过你的奶奶并不难。

你可以做的第一件事,是把这段录音和另一种声音混合。比如, 你可以用 VoiceDesign 根据描述设计一种声音。这篇博客 里设计的声音是这样生成的,使用的是 Qwen 自家的 Python 包 qwen-tts(pip install qwen-tts,我用的是 0.1.1),本文其余代码也使用了这个版本:

import torch
from qwen_tts import Qwen3TTSModel
kw = dict(device_map="mps", dtype=torch.bfloat16, attn_implementation="sdpa")
design = Qwen3TTSModel.from_pretrained("Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign", **kw)
wavs, sr = design.generate_voice_design(
    text=open("voices/transcript.txt").read(), language="English",
    instruct="A man in his forties with a warm, natural, medium-low voice, speaking "
             "clearly and calmly at an easy conversational pace, like someone reading "
             "aloud to a friend.",
)

可以听听这两种声音各自的表现,尤其是混合在一起时:

互动演示:请访问网站上的文章。

基础模型仅根据嵌入进行克隆时,从录音中提取的是说话人嵌入,基本上就是由一个经过训练的说话人编码器生成的 2048 个数字。同一个声音会得到相似的数字,不同声音则会得到不同的数字。顺便说一句,如果你愿意,这也是一种方便的录音说话人检测方法!它并不完美,但对于单条音轨的录音,只要做些基本的切分处理,就很有助于区分两位说话人(下文会详谈)。

因为它只是一个向量,所以可以对它做算术运算。比如,对两个嵌入加权平均,就能得到一种介于两种声音之间的说话人声音:

base = Qwen3TTSModel.from_pretrained("Qwen/Qwen3-TTS-12Hz-1.7B-Base", **kw)
def fingerprint(path):
    prompt = base.create_voice_clone_prompt(ref_audio=path, x_vector_only_mode=True)
    return prompt[0].ref_spk_embedding
def blend(a, b, t):
    a, b = a.float(), b.float()
    mixed = (1 - t) * a + t * b
    return (mixed / mixed.norm() * ((1 - t) * a.norm() + t * b.norm())).to(torch.bfloat16)
armin, designed = fingerprint("voices/armin.flac"), fingerprint("voices/designed.flac")

这是同一句话的 11 种混合效果:

请注意,它很快就不太像我了,但仍保留了我的一些特点。无论如何,最终确实会形成一种独特的声音。我发现,确保两种声音的频谱相似(例如“录音设置”相近)时,效果会更好。在这段录音里可以听到,领夹麦克风拾取的一种声音,相比设计生成的声音显得有些空洞。

如果你喜欢生成的声音,可以把它烘焙到一段新的录音里,然后将这段录音用作参考:

import soundfile as sf
mixed = blend(armin, designed, 0.5)
audio, rate = say(open("voices/transcript.txt").read(), mixed)  # say() is shown further down
sf.write("voices/final.flac", audio, rate)
final = fingerprint("voices/final.flac")

烘焙后的声音不会完全等同于混合后的声音,不过如果你愿意,这样处理起来会更容易。它只是一份声音参考文件。

说到用这些嵌入识别说话人,效果 怎么样?我取了一期 State of Agentic Coding 播客,是我和 Ben 录制的。我把它切成彼此间隔一秒的 2 秒窗口,并将每个窗口与一个 根据我在会议上的录音生成的嵌入进行比较。

结果有些出乎意料,不过也没那么意外:用我的会议录音片段作参考时,Qwen3 完全无法奏效。如果改用播客开头我自我介绍的 20 秒作为参考,它对其余部分的识别准确率就达到 98%。

另一方面,使用专门为说话人验证而训练的模型, 确实能从会议录音片段中识别出我。例如, ECAPA 在 97% 的窗口中都能根据会议片段识别出我。

以下是这档播客中 20 分钟的内容,分别采用不同方法按说话人分类的结果:

不过,这些嵌入对于声音克隆很有用!但要怎么给它们 添加指令呢?基础模型和自定义声音模型以相同方式处理说话人:将一个 向量插入说话人的输入序列中。在自定义声音模型中,这个向量是 嵌入表中的一行。在基础模型中,它是说话人 编码器生成的 x-vector,只有基础模型才有。生成代码可以接收 (voice_clone_prompt 是 generate 的常规参数),而两个模型的 Transformer 权重几乎完全相同。因此,可以先用 基础模型提取嵌入,再把它交给自定义声音模型,代替其中一种说话人声音:

cv = Qwen3TTSModel.from_pretrained("Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice", **kw)
def say(text, xvec, instruct=None, language="English"):
    ids = cv._tokenize_texts([cv._build_assistant_text(text)])
    told = [cv._tokenize_texts([cv._build_instruct_text(instruct)])[0]
            if instruct else None]
    voice = {"ref_code": [None], "ref_spk_embedding": [xvec],
             "x_vector_only_mode": [True], "icl_mode": [False]}
    codes, _ = cv.model.generate(
        input_ids=ids, instruct_ids=told, voice_clone_prompt=voice,
        languages=[language], non_streaming_mode=True,
        **cv._merge_generate_kwargs(temperature=0.7, subtalker_temperature=0.7),
    )
    wavs, rate = cv.model.speech_tokenizer.decode([{"audio_codes": codes[0]}])
    return wavs[0], rate
wav, rate = say("I really thought this would work.", armin,
                "Speak in a sad, sorrowful tone, voice low and heavy, on the verge of tears.")

为插槽选择一个说话人、一种模型和一条指令:

指令对克隆声音也有效,但可靠性不如内置说话人声音,而且效果取决于情绪。不过说实话,结果比我预想的要好。绝对足以制作一些真正自定义的配音声音,不必听起来像游戏里别人用过的声音。

如果一种声音是 2048 维空间中的一个点,而且混合确实有效,那我们或许还能对它做些有趣的数学运算。显而易见的一种尝试,是看看能不能用某些数学方法来调整性别特征。

为了找到这种方向,我让 VoiceDesign 分别为男性和女性生成了 14 种不同的声音。然后,用女性声音的平均值减去男性声音的平均值,就可以沿着这个方向移动任意一种声音:

women = torch.stack([fingerprint(f"design/f{i}.wav") for i in range(14)]).float()
men = torch.stack([fingerprint(f"design/m{i}.wav") for i in range(14)]).float()
middle = (women.mean(0) + men.mean(0)) / 2
axis = women.mean(0) - men.mean(0)
axis = axis / axis.norm()
def move(xvec, t):
    """Put the voice at position t along the gender axis, keep the rest."""
    x = xvec.float()
    return (x + (t - (x - middle) @ axis) * axis).to(torch.bfloat16)

这是克隆我的声音后的结果:

总之,就是这样。如果你想试试 Qwen3 TTS,希望这篇文章能帮上一点忙,也希望你能从中得到一些使用声音嵌入的点子。请用它做好事,别作恶。