苍之彼方的四重奏 明日香fd AI配音补全 附下载链接

前情提要

苍之彼方的四重奏是一款非常优秀的GalGame,官方在推出两部extra后日谈后就迟迟没有消息,玩家们等不及了,自己做了个同人作品,于是就有了《苍之彼方的四重奏:交予世界的答卷》。由于本作是粉丝自制,所以没有给角色配音。我在想:现在的AI这么厉害,能不能用AI为这部作品补全一个配音呢?说干就干,可没想到,实际工程量比想象的要多得多,很大一部分还是由于我自己的疏忽导致的

有这个想法后,我打算用GPT-SOVITS这个项目开始训练

第一步:解包

练模型肯定得要参考音频,先把游戏解了,把音频拿出来

image

第二步:打标&训练

训练时需要将参考文本和原音频一一对应,简称打标。问题来了:我完全不会日语,怎么办?经过一阵冥思苦想,i have a great idea

游戏不是有脚本文件嘛,里面不是有原文吗,如果脚本内的原文能和音频文件一一对应不就好了吗,把脚本拿出来一看的确如此,这下可以省一大堆事了

image 1

打标的产物是一个.list文件,可这么多文本咱也不能一个一个copy and paste吧。codex,来!

我先让codex阅读GPT-SOVITS的代码,了解.list文件的结构,再让它通过游戏脚本使音频和文本一一对应,各个角色的list文件就生成了,再用这些文件训练各个角色的模型,得到对应的权重文件

小插曲:有几个角色在训练时爆显存了,我租的是A800 40G。。

image 2

baoxiancun

第三步:把游戏文本翻译成日语

同人作品的原文是中文,我需要日语配音,那么得先把游戏文本译成日语,可问题又来了,完全不懂日语的我怎么办?有办法的兄弟,有的,GalTransl,请!

image 3

最难的一集:生成语音

模型拿到了,日语文本也有了,现在就可以给同人作品生成语音了,sovits的推理webui不太适合批量生成,再次请出我们的codex老师,开搓!这里要狠狠批评我自己,项目文件极其混乱,这个留到文末再说

经过漫长的等待,终于得到了生成的语音文件,现在将音频文件写入同人游戏的脚本内,启动游戏,就是见证奇迹的时刻!

最后:查验一下是否有吞字漏字的现象,用阿里云的智能语音识别即可,感谢阿里云的免费试用

image 4

反思:项目管理

在生成配音时,codex老是不听使唤,写出来的程序大bug没有,小bug不断,每当一个版本的程序写好并且能够运行时,我都会复制一份留个档,可改的次数多了,就连我自己都分辨不出哪个版本改了什么东西了,git是对的,真的是对的,这里附上我混乱的文件截图,让佬们见笑了

image 5

下载链接

移动云盘:链接: https://yun.139.com/shareweb/#/w/i/2uR1dbFDtspjn 提取码:6rzo

度盘:链接: https://pan.baidu.com/s/1-L22bGZh8_MDKtSC932eEw?pwd=8zms 提取码: 8zms

虽然已经过了一遍语音识别,但还是有部分语音存在语气不对,吐字不清和唱调的问题,生成了好几次抽卡效果都差不多,燃尽了,如果有问题还望各位佬见谅

声明:本作不代表官方立场,仅为粉丝凭热爱自制,如有能力还请支持正版

附同人游戏原作者:制作@明日香Asuka 原画@Ynuoya 感谢佬的付出