《AI与声音的迷思》系列之三

AI如何“克隆”你的声音？

——从技术到伦理

马金龙

（中国科学院）

【编者说明】本文原定为系列之二。由于系列一发表后，歌唱家范竞马先生的感概文章提供了极佳的艺术哲学切入点，临时插入了《当AI“完美”歌唱时：技术镜像中的艺术本质追问》作为系列之二。本文内容不变，编号顺延为系列三，特此说明，以免读者与系列一的预告产生混淆。

在前两篇系列文章《为什么AI歌声能打动人，却未必“拥有情感”？》和《当AI“完美”歌唱时：技术镜像中的艺术本质追问》中，我们从宏观的哲学和认知层面，辨析了AI歌声中“情感表达”与“情感体验”的分离——AI通过模拟“有情感”的声音特征来“打动”我们，但这并不等同于它自身拥有了主观的情感。

今天，我们将从这个宏大命题降落到具体的“实现”层面，回答许多朋友最好奇的问题：为什么AI能用“我”的声音唱出我根本唱不上去的歌？

这项技术在技术社区通常被称为“歌声转换”（Singing Voice Conversion，SVC），也常与更广义的“声音克隆”（Voice Cloning）并提。两者紧密相关，但有所侧重：声音克隆泛指从少量样本生成目标说话人声音的技术；歌声转换则专门针对歌唱场景，将一位歌手的音色迁移到另一人身上，同时保留旋律和歌词内容。本文讨论的“用你的声音唱歌”，主要属于后者的范畴。它不仅是当前AI音乐最核心的技术之一，也是理解人机协作未来的关键锁匙。让我们一同揭开它的面纱。

在系列一中，我们介绍过语音科学的经典框架——“声源-滤波器”模型（Source-Filter Model）：声带振动产生原始声音（声源），声道空间对其进行塑形和“染色”（滤波器），最终形成每个人独特的音色（图1）。

图1  语音科学的经典“声源-滤波器”模型

基于这一框架，AI声音克隆的核心逻辑可以简洁概括为：

它主要模仿的是你的“滤波器”，也就是你的音色特征，而不是你的“声源”。

具体而言，AI完成了一件“偷梁换柱”的精细工作：

● 1. 内容（声源）分离：当AI拿到一首目标歌曲时，它先提取这首歌的旋律（音高序列）和歌词，相当于把这首歌的“灵魂”抽离出来。

● 2. 音色（滤波器）学习：当你上传自己的声音样本时，AI集中分析这段音频的频谱特征，构建专属于你的“音色模型”。

● 3. 重新合成：最后，AI用你的“音色模型”对提取出的旋律进行“包装”和“渲染”，生成最终声音。

整个过程就像把专业歌手的歌唱技巧与你的嗓音特色进行了精准嫁接：内容是专业的，外壳却是你的。这就是为什么你能听到“自己”唱出原本无法企及的高难度歌曲。

早期的声音克隆技术，需要数小时的高质量录音才能实现。而今天，以RVC（Retrieval-based Voice Conversion）、So-VITS-SVC等开源工具为代表，普通用户只需上传几十秒的声音样本，就能在本地实现相当水准的声音克隆；Suno、ElevenLabs等商业平台甚至将门槛压缩到了数秒。

这背后的突破，来自“零样本声音克隆”（Zero-shot Voice Cloning）或“少样本声音克隆”（Few-shot Voice Cloning）技术。现代SVC通常结合自监督学习模型（如HuBERT/ContentVec）和生成模型（如VITS），这为零样本能力提供了强大支撑。 其逻辑可以通俗地理解为：AI模型在预训练阶段已经“听过”互联网上成千上万人的声音，掌握了人类声音的通用规律，因此不再需要从零开始学习“你是什么声音”。你提供的短短样本，只是帮助它在庞大的“声音可能性空间”中快速定位到最接近你的那个点（图2、图3）。

图2  AI歌声转换（SVC）核心流程

图3  语言合成（VC/SVC/TTS)技术演进：从少样本到零样本

AI通过分析你这段简短的音频，迅速在庞大的“声音可能性空间”中定位到与你音色最接近的那个点，以此为模板进行生成。这极大地降低了使用门槛，使得声音克隆从专业实验室走向了大众的日常娱乐。

这项技术无疑是神奇且有趣的，它为普通人提供了前所未有的音乐表达能力。但在这场“声音的狂欢”背后，我们有必要冷静地审视以下三个问题。

AI克隆的音色虽然逼真，却往往滤除了真人声音中那些微妙而珍贵的“不完美”——轻微的气息不稳、为表达情感而产生的细微音色变化、甚至一丝难以名状的疲惫或活力。恰恰是这些“瑕疵”，赋予了人类声音独特的生命感和温度。AI生成的，常常是一个“完美”却可能略显扁平的你。

这与我们在系列二中讨论的“具身性”问题一脉相承：人类歌唱中的每一口气息，都连接着心跳、身体状态与此时此地的生命体验；而AI复现的，只是统计意义上的平均音色轮廓。你的声音是你，而AI克隆的，更多是“你声音的影子”。

当我们在各类平台上兴高采烈地上传自己的声音时，或许应该先看一眼那份冗长的用户协议。在很多情况下，我们上传的声音数据，会被平台用于“改进服务”，也就是训练下一代更强大的AI模型。我们以为在进行“个人创作”，实际上可能在为商业公司进行无偿的“数字劳动”（digital labor）——以自己的生物特征，为平台的未来商业价値添砖加瓦，却不获任何报酬或知情权。

这不是危言耸听。学界围绕“数字劳动”的讨论已有相当积累：用户在互联网平台上的每一次行为，从点赞、评论到上传内容，都在为平台生产可货币化的数据资产。声音克隆将这一逻辑推向了新的极端——连你最私密的生物特征，也成了他人价値链条上的一个环节。

你的声音，作为独一无二的生物特征，其所有权归谁？当它可以被轻易复制、迁移，并用于商业用途时，我们该如何保护自己的“声音人格权”？

2024年，美国录音行业协会（RIAA）对Suno、Udio等AI音乐平台提起诉评，核心争议之一正是AI模型在训练时是否未经授权使用了大量有版权的声音录音。与此同时，多位知名艺术家也开始就自身声音被克隆用于商业用途提出维权主张。

更深层的法律空白在于：目前多数国家的法律框架尚未明确将“声音特征”列为受保护的人格权客体，相关立法严重滞后于技术发展。这意味着，在法律补位之前，保护自己声音的最有效手段，仍然是用户自身的审慎与知情。

“声音克隆”技术是一把强大的锁匙，它打开了音乐创作民主化的新大门，但也同时开启了关于身份、所有权和劳动价值的潘多拉魔盒。

它让我们清晰地看到，在人机协作的时代，技术既是能力的延伸，也可能是权利的让渡。当我们享受AI带来的便利与惊奇时，保持一份清醒的审视，理解其背后的原理与代价，或许是我们作为“数字公民”的必修课。

在下一篇文章中，我们将把目光投向更前卫的领域，去看看那些艺术家们如何利用AI，不仅模仿声音，更试图创造出全新的“声音生命体”。敬请期待。

互动：您用AI克隆过自己的声音吗？您感觉那还是“您”吗？欢迎在评论区分享您的感受。

注：本文涉及的声音克隆伦理议题，在笔者另文《共生与重塑：人机协作时代的声音身份》中有更系统的学术探讨（待发表，届时将附链接）。

作者简介：

马金龙，中国科学院研究人员。研究方向包括语音科学、声学建模、人工智能生成与声音表达，聚焦于声道共鸣的非线性波动机制及其在AI歌声合成中的应用。

联系方式：963153629@qq.com