声音克隆
什么是MockingBird?
MockingBird在英文翻译中为:嘲鸫(美洲鸣禽,能模仿别种鸟的鸣叫);
顾名思义,该项目的主要功能就是可以模仿别人的声音。
MockingBird主要特点
- 支持中文:支持普通话并使用多种中文数据集进行测试:aidatatang_200zh, magicdata, aishell3, biaobei, MozillaCommonVoice, data_aishell 等
- Windows + Linux:可在 Windows 操作系统和 linux 操作系统中运行(苹果系统M1版也有社区成功运行案例)
- 简单部署:仅需下载或新训练合成器(synthesizer)就有良好效果,复用预训练的编码器/声码器,或实时的HiFi-GAN作为vocoder
- 网络服务:可伺服你的训练结果,供远程调用。
Github地址
https://github.com/babysor/MockingBird
MockingBird数据集制作注意事项
- 尽量只有一个人声。
- 背景音乐尽量少。
- 人声的语调尽量平和。
- 人声尽量不要有口头语,并且说话内容大多是长句。
- 如果有多个发音人,要分别放在train目录下的不同子文件夹内。
- 尽量不要有汉字以外的字符,数字和英文尽量替换成同样读音的中文字符。
- 可以用拼音代替文字,制作数据集和运行软件时都可以使用这种方法。
例如:数据集→shu4 ju4 ji2|七海→qi1 hai3|轻音对应的数字为5。 - 如初背景音乐的软件效果也比较有限,如果可以的话还是有先用纯语音。
部署教程
方式 | 描述 |
---|---|
MockingBird|便携版v1.1.7 – openAI | 免安装便携版本,解压即可使用,对亲手非常友好。 |
待完善 | 手动配置搭建,推荐有电脑基础且爱折腾的用户使用。 |