Skip to content

💡 TTS 小样本 finetune / 声音克隆问题汇总 #2456

@yt605155624

Description

@yt605155624

如果 12 句 finetune 效果不佳,一般是因为数据集太小了,建议增加数据集,一般是 300 ~ 600 条,数据量和质量越好,合成的效果越好
数据的质量要求没有混响,没有杂音,离麦克风距离适中,具体可以参考标贝的数据质量。
finetune 出来的音色与 目标说话人和原始说话人的相似度有关,即目标说话人和原始说话人相似度越高,finetune 出来的音色更接近目标说话人。
finetune 出来的音频质量与原始说话人的音频质量有关,原始说话人的音频质量不好,finetune 出来的效果也可能不好。
综上,finetune 方案在数据采集,选择原始说话人上需要好好选择。

小样本 finetune 原理参考 关于训练一个自己的TTS模型

  1. ❣️ [TTS] MFA 报错 No such file or directory: "xx/xx/xx/train/mfcc/raw_mfcc.0.scp" #2437
  2. [TTS]小样本 finetune 时,batch_size 要 <= 样本数,否则会报错  #2454
  3. 请问自己 finetune 的 tts 模型能够改变语速吗? #2383
  4. 预处理都没有问题,为什么不跑训练流程?-> epoch 的设置有问题,参考: 向 aishell3 里添加自己的音频数据进行训练 #2319 (comment)
  5. TTS Finetune / TTS3对multi-speaker数据进行微调 #2442
  6. 使用ecapa-tdnn进行语音克隆报错 #2471 -> 安装 develop 版本的 paddlespeech
  7. 请教语音克隆,音质优化的方向 #2245
  8. ImportError: cannot import name 'norm' from 'paddlespeech.t2s.exps.syn_utils' (/opt/conda/envs/paddlespeech/lib/python3.7/site-packages/paddlespeech/t2s/exps/syn_utils.py) #2485 -> 安装 develop 版本的 paddlespeech
  9. 声音克隆单句话克隆效果很差 #2583 -> 推荐使用 finetune 方案
  10. 为什么使用ERNIE-SAT声音克隆,从中文生成的英文语音完全听不懂? #2586
  11. [TTS]一键微调功能问题 #2607
  12. 关于小样本微调测试的报错【This dataset has no examples】 #2790
  13. 如何通过自己训练的单人speaker的fastspeech2模型进行二次微调,并且加入到模型中,且可以通过id索引的方式进行推理不同音色 #2953

Metadata

Metadata

Labels

Type

No type

Projects

Status

Done

Milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions