ForcePPG: 一種基於ForceAlignment的PPG提取手段以及她的使用文件
阿新 • • 發佈:2021-01-29
0. 說明
ForcePPG: 一種基於ForceAlignment的PPG
- 使用Aishell-1+Librispeech ForceAlignment結果訓練的ASR, 訓練的並不充分, 為了和之前的結果能夠對比, 不進行ckpt early stop的替換
- ASR未用到F0, 使用的結構參看:[1]https://blog.csdn.net/u013625492/article/details/109670529[2]https://blog.csdn.net/u013625492/article/details/109206085[3]https://blog.csdn.net/u013625492/article/details/109201157
- 效果可能不是最好, 但是作為PPG可以用
1. 提取流程
1.1. Wav
- DataBaker
- LJSpeech
簡單的RAW的WAV就可以了
1.2. 提取檔案
先說CN-ASR, 再說EN-ASR, 分別生成兩個地方的資料夾, 最後呼叫的時候, 合併成B-PPG
1.2.1. CN-ASR
# 超引數個數:16 hparams = { 'sample_rate': 16000, 'preemphasis': 0.97, 'n_fft': 400, 'hop_length': 160, 'win_length': 400, 'num_mels': 80, 'n_mfcc': 13, 'window': 'hann', 'fmin': 30., 'fmax': 7600., 'ref_db': 20, 'min_db': -80.0, 'griffin_lim_power': 1.5, 'griffin_lim_iterations': 60, 'silence_db': -28.0, 'center': True, } assert hparams == audio_hparams MFCC_DIM = 39 PPG_DIM = 218 # in meta_path = '*.txt' wav_dir = '*/wavs_16000' # out1 ppg_dir = './LJSpeech-1.1-Mandarin-PPG/ppg_generate_10ms_by_audio_hjk2' mfcc_dir = './LJSpeech-1.1-Mandarin-PPG/mfcc_10ms_by_audio_hjk2' mel_dir = './LJSpeech-1.1-Mandarin-PPG/mel_10ms_by_audio_hjk2' spec_dir = './LJSpeech-1.1-Mandarin-PPG/spec_10ms_by_audio_hjk2' rec_wav_dir = './LJSpeech-1.1-Mandarin-PPG/rec_wavs_16000' os.makedirs(ppg_dir, exist_ok=True) os.makedirs(mfcc_dir, exist_ok=True) os.makedirs(mel_dir, exist_ok=True) os.makedirs(spec_dir, exist_ok=True) os.makedirs(rec_wav_dir, exist_ok=True) # out2 STARTED_DATESTRING = "{0:%Y-%m-%dT%H-%M-%S}".format(datetime.now()) good_meta_path = './LJSpeech-1.1-Mandarin-PPG/meta_good_' + STARTED_DATESTRING + '_v3.txt' f_good_meta = open(good_meta_path, 'w') # NN->PPG ckpt_path = './aishell1_ckpt_model_dir/aishell1ASR.ckpt-128000'
- 程式碼位於/ceph/home/hujk17/ppgs_extractor_10ms_sch_lh_aishell1/extract_ppg_generate_LJSpeech_ForcePPG.py
- 以及/ceph/home/hujk17/ppgs_extractor_10ms_sch_lh_aishell1/extract_ppg_generate_DataBaker_ForcePPG.py
- 生成的mel和PPG在對應位置
1.2.2. EN
略
1.3. PPG資料夾
2. 規範化文件
實驗室第三次作業有規範化文件, 網址為:https://github.com/thuhcsi/dpss-exp3-VC-PPG
作業文件連結: https://drive.google.com/file/d/1C1Md176LKIkiO9s3VNssQ0hJzvWmZ0gZ/view?usp=sharing
[不用看, 我整理的, 有些亂] PPG來龍去脈:https://drive.google.com/file/d/1BUYsOtiaPzvee1Hrs77X71SjWWi-Zy3A/view?usp=sharing
感謝盧輝, 長河, 王潔, 老師, 還有同學們牛牛牛. 大家的文件確實簡潔有水平哈~