[轉]Kaldi命令詞識別
阿新 • • 發佈：2017-09-21
文件目錄 入參 arr peak 此外 logs then run tar
轉自：
http://www.jianshu.com/p/5b19605792ab?utm_campaign=maleskine&utm_content=note&utm_medium=pc_all_hots&utm_source=recommendation
http://www.jianshu.com/p/6338fab6bd0a
剛剛拿到一個簡單語料庫練手，發現只有語音和對應文字， 這篇文章記錄了從數據預處理到kaldi對數據進行訓練和測試的全過程，這裏首先訓練單音節模型，其他模型後面再補充。 語料庫處理 task 0: 觀察語料庫 語料庫主要用於命令詞識別，包括200個詞匯，2000條語音，10個說話者分別對200個詞匯進行錄音。語音目錄以說話者id標識： $ tree-d ├── speaker001 ├── speaker002 ├── speaker003 ├── speaker004 ├── speaker005 ├── speaker006 ├── speaker007 ├── speaker008 ├── speaker009 ├── speaker010 └── Levoice.list 每個說話者文件夾目錄下包含對應的200條語音： └┤ tree speaker001 speaker001 ├── 00001.wav ├── 00002.wav ├── 00003.wav ... └── 00200.wav 語音文字說明文件Levoice.list 格式為<語音id> <文字> <錄音時長>，例如： └┤ head-n 2 Levoice.list speaker001/00001.wav 三六零通訊錄 5.6 speaker001/00002.wav 三六五日歷 2.8 語料庫所給的資源應用到kaldi還需要漢字發音詞典，這裏只能自己準備，下面會參考thchs30語料庫的詞典準備自己的詞典。 task 1: 預處理語料庫 為方便後續操作，需要對語料庫文件進行預處理，這部分包括： 重新重命名語音文件，使2000個語音文件具有唯一標識（speakerid_voiceid.wav） 劃分訓練、測試、驗證數據集 根據Levoice.list生成utt2words.txt ，進行文件名對應漢字映射。 上述過程腳本（註意rname命令在Ubuntu和Centos中有細微差別）:!/bin/bash #if need cv or not needcv=true # rename wav files by add prefix by "speaker" start_path=`pwd` for dirname in $(ls | grep "speaker") do #get first filename filename=$(ls $dirname | head -n 1) if [[ $filename =~ "speaker" ]]; then echo "files in $dirname have already renamed, passing..." else echo "now rename flies with prefix speakers" echo $dirname cd $dirname #in centos rename rename "00" $dirname"_00" "00"* # ubuntu using follows #rename "s/00/$dirname""_00/" 00* cd .. fi done # devide file to train, cv and test cd $start_path rm -rf test train cv && mkdir test train cv i=1 for dirname in $(ls | grep "speaker") do if [ $i -lt 9 ];then cp $dirname/* train else cp $dirname/* test fi let i=$i+1 done function rand(){ min=$1 max=$(($2-$min+1)) num=$(($RANDOM+1000000000)) echo $(($num%$max+$min)) } count=0 array=("0" "0" "0" "0") #ls -al train if [ needcv ]; then for file in $(ls train | grep "speak") do array[$count]=$file let count=$count+1 if [ $count -eq 4 ];then rnd=$(rand 0 3) mv train/${array[$rnd]} cv #echo ${array[$rnd]} let count=0 fi done echo "cv files prepared over, examples number is $(ls cv | wc -l)" fi echo "train files number is $(ls train | wc -l)" echo "test files number is $(ls test | wc -l)" 語料庫對訓練集、驗證集、測試集參考thchs30，這裏將說話人9、10語音作為測試集，再從1-8語音集中的1600百條語音文件四條語音為組隨機選擇一條語音歸入驗證集，剩下的作為訓練集。劃分結果訓練集、驗證集、測試集比例6:2:2。 在語料庫目錄運行上腳本，會在該目錄下產生trian、test和cv目錄，這些目錄及文件將被後面使用。 最後直接將Levoice.list中的信息進行簡單字符替換即可： speaker001/00001.wav 三六零通訊錄 5.6 ----> speaker001_00001.wav 三六零通訊錄 5.6 可以在vi或其他編輯器中替換即可。 應用Kaldi task0 : 構建kaldi項目結構 參照其他項目，首先復制創建項目結構目錄，配置文件以及項目需要使用的依賴工具，這裏多參考thchs30部分結構。在egs 目錄下建立/wakeup/s5作為項目目錄，在該目錄下準備以下文件： $ tree -L 1 |-- cmd.sh // 運行配置目錄 |-- conf // 配置文件目錄 |-- local //存放run.sh 中調用的腳本工具，需要自己編寫 |-- path.sh //Kaldi 工具和庫目錄添加到PATH |-- run.sh // top層腳本，運行該腳本訓練數據和測試， 需要自己編寫 |-- steps // kaldi 腳本工具， 復制到工程目錄下 |-- tools // kaldi 腳本工具， 復制到工程目錄下 `-- utils // kaldi 腳本工具， 復制到工程目錄下 這裏cmd.sh裏根據自己運行方式配置運行參數，這裏配置成單機運行 export train_cmd=run.pl export decode_cmd="run.pl --mem 4G" export mkgraph_cmd="run.pl --mem 8G" conf 目錄包含一些配置文件，這裏主要將系統采樣頻率與語料庫的采樣頻率設置為一致： $ ls decode_dnn.config fbank.conf mfcc.conf $ more mfcc.conf --use-energy=false # only non-default option. --sample-frequency=8000 $ more decode_dnn.config beam=18.0 # beam for decoding. Was 13.0 in the scripts. lattice_beam=10.0 # this has most effect on size of the lattices. $ more fbank.conf --sample-frequency=8000 --num-mel-bins=40 task1 : 準備訓練文件 參照kaldi數據準備部分文檔，該部分需要自己根據語料庫分別就train，test，cross validation目錄生成以下文件： text : < uttid > < word > wav.scp : < uttid > < utter_file_path > utt2spk : < uttid > < speakid > spk2utt : < speakid > < uttid > word.txt : 同 text 編寫local/data_pre.sh腳本供run.sh調用（下面會涉及run.sh腳本的編寫），傳入參數運行目錄以及語料庫目錄： #!/bin/bash # 2017-3-23 by zqh # This file prepares files needed in kaldi # including text, wav.scp, utt2spk, spk2utt # output: # data/train dir include infomation of train data # data/test dir include infomation of test data # data/cv dir include infomation of cross validation data run_dir=$1 dataset_dir=$2 cd $run_dir echo "prepare data in data/{train, test, cv}" mkdir -p data/{train,test,cv} #create text, wav.scp, utt2spk, spk2utt ( i=0 for dir in train cv test; do echo "clean dir data/$dir" cd $run_dir/data/$dir rm -rf wav.scp utt2spk spk2utt word.txt text #phone.txt for data in $(find $dataset_dir/$dir/*.wav | sort -u | xargs -i basename {} .wav);do let i=$i+1 spkid=$(echo $data | awk -F"_" ‘{print "" $1}‘) uttid=$data echo $uttid $dataset_dir/$dir/$data.wav >> wav.scp echo $uttid $spkid >> utt2spk # gen word.txt echo $uttid $(cat $dataset_dir/utt2word.txt | grep $uttid | awk ‘{print "" $2}‘) >> word.txt # gen phone.txt TODO done cp word.txt text sort wav.scp -o wav.scp sort utt2spk -o utt2spk sort text -o text # sort phone.txt -o phone.txt done echo "all file number is $i" ) || exit 1 utils/utt2spk_to_spk2utt.pl data/train/utt2spk > data/train/spk2utt utils/utt2spk_to_spk2utt.pl data/cv/utt2spk > data/cv/spk2utt utils/utt2spk_to_spk2utt.pl data/test/utt2spk > data/test/spk2utt task2 : 訓練語言模型 由於這裏僅僅需要對語料庫中的200個命令詞進行識別，大而全的漢語詞典並不必要，這裏需要根據自己的語料建立詞典並且生成語言模型。 task 2.1 : 準備詞典 根據kaldi的要求，需要準備的詞典包括以下文件(我這裏和語料庫放在同個目錄下，後面kaldi從該目錄下讀取)： [[email protected] dict]$ pwd /home/username/dataset_wakeup/resource/dict [[email protected] dict]$ ls extra_questions.txt lexiconp.txt lexicon.txt nonsilence_phones.txt optional_silence.txt silence_phones.txt 對上面文件簡單說明： lexicon.txt： 詞典，包括語料中涉及的詞匯與發音，與單字及其發音。 silence_phones.txt：靜音標識，這裏為sil。 nonsilence_phones.txt : 非靜音標識，與silence_phones.txt共同組成lexicon.txt中的發音。 extra_questions.txt ： 包含重音音調標記，這裏沒有用到 lexiconp.txt ： 如果一個詞有不同發音,則會在不同行中出現多次。如果你想使用發音概率,你需要建立 exiconp.txt 而不是 lexicon.txt，這裏未使用 以上文件可以參考復制thchs30的resource資源，只要替換lexicon.txt為自己的字典，並且追加thchs30中lexicon.txt中所有的單字及其發音（簡單awk命令即可）。此外該語料庫僅僅提供了漢字無對應發音，需要自己參考thchs30中的詞典準備，（心想只有200條，覺得手打的會很快，事實用了2-3個小時，心累，回頭想可以寫程序完成）。 lexicon.txt 文件內容大致為： $ more lexicon.txt SIL sil <SPOKEN_NOISE> sil 三六零通訊錄 s an1 l iu4 l ing2 t ong1 x vn4 l u4 三六五日歷 s an1 l iu4 uu u3 r iz4 l i4 三D圖庫 s an1 d i4 t u2 k u4 task 2.2: 生成語言模型 語言模型訓練需要使用n-gram算法，借助sirlm工具可以簡單實現，並進行語言模型生成： 安裝 下載sirlm安裝包（官網下載速慢，也可通過在github上找到相應資源下載），解壓後進入最上層目錄進行安裝。 export SRILM=pwd make 把$make_dir/bin/i686-m64/加入PATH以便使用其中腳本 生成語言模型 在語料庫目錄下創建lm_word文件夾（方便管理），復制上面的字典lexicon.txt，並刪除前兩行，保存為作為words.txt作語料輸入文件進行n-gram語言模型生成（由於只是詞匯識別設置n=1）： ngram-count -order 1 -text words.txt -lm word.arpa 其他參數可以參考： -order 指定n-gram的n是多少,默認是3 -text 提供輸入的語料文件,統計該語料中的n-gram -lm 指定輸出的lm文件 -vocab 用來指定對哪些詞進行n-gram統計 -wbdiscount1 表示1gram Witten-Bell discounting Note:參數順序無所謂 該命令生成arpa格式的語言模型文件，後面由kaldi的其他工具轉換為FST格式使用。 完成語言模型的生成後，對應的可以在run.sh腳本中利用該部分的語言模型，通過kaldi提供的工具構建語言模型的FST格式文件，這部分 主要創建了data/{dict,lang,graph}目錄及相應文件，並在後面的構建解碼圖的過程中使用。run.sh腳本該部分代碼： #gen lang dir ( echo "create new dir data/dict,lang,graph" cd $run_path mkdir -p data/{dict,lang,graph} && cp $dataset//resource/dict/{extra_questions.txt,nonsilence_phones.txt,optional_silence.txt,silence_phones.txt} data/dict && cat $dataset/resource/dict/lexicon.txt | grep -v ‘<s>‘ | grep -v ‘</s>‘ | sort -u > data/dict/lexicon.txt || exit 1; utils/prepare_lang.sh --position_dependent_phones false data/dict "<SPOKEN_NOISE>" data/local/lang data/lang || exit 1; gzip -c $dataset/King-ASR-M-005/lm_word/word.arpa > data/graph/word.arpa.gz || exit 1; utils/format_lm.sh data/lang data/graph/word.arpa.gz $dataset/King-ASR-M-005/lm_word/lexicon.txt data/graph/lang || exit 1; ) 這裏主要包括utils/prepare_lang.sh 、 和utils/format_lm.sh 兩個腳本的調用，不作具體分析。 作者：zqh_zy 鏈接：http://www.jianshu.com/p/5b19605792ab 來源：簡書 著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請註明出處。
task4 : 特征提取（FMCC） 完成了語言模型的構建，下面開始生成聲學模型部分，首先對語音文件進行特征提取，這裏用到了上面準備的文件，包括：text, wav.scp, utt2spk, spk2utt 。 run.sh中完成特征提取，並對語音進行歸一化處理： #gen MFCC features rm -rf data/mfcc && mkdir -p data/mfcc && cp -R data/{train,cv,test} data/mfcc || exit 1; for x in train cv test; do #make mfcc steps/make_mfcc.sh --nj $n --cmd "$train_cmd" data/mfcc/$x exp/make_mfcc/$x mfcc/$x || exit 1; #compute cmvn steps/compute_cmvn_stats.sh data/mfcc/$x exp/mfcc_cmvn/$x mfcc/$x || exit 1; done 生成的特征提取相關文件保存在data/mfcc目錄下，真實的數據保存在mfcc/目錄下。 task5 : 訓練聲學模型、 構建解碼圖 該部分調用kaldi腳本，訓練單音節模型，後面測試證明，單個詞匯的識別，該模型同樣能保證良好的識別效果，同樣run.sh腳本中： #monophone #steps/train_mono.sh --boost-silence 1.25 --nj $n --cmd "$train_cmd" data/mfcc/train data/lang exp/mono || exit 1; 聲學模型的訓練結果文件保存在exp/mono目錄下。下面構建解碼圖，這部分調用utils/mkgraph.sh， 利用先前創建的語言模型和上步訓練的聲學模型構建HCLG解碼圖，該部分生成的解碼圖保存在exp/mono/graph_word文件夾下： utils/mkgraph.sh --mono --nj $n data/graph/lang exp/mono exp/mono/graph_word || exit 1; task6: 測試 在local目錄下創建data_decode.sh 腳本對解碼步驟進行封裝： #!/bin/bash #decoding wrapper #run from ../ nj=2 mono=false . ./cmd.sh ## You‘ll want to change cmd.sh to something that will work on your system. . ./path.sh ## Source the tools/utils (import the queue.pl) . utils/parse_options.sh || exit 1; decoder=$1 srcdir=$2 datadir=$3 if [ $mono = true ];then echo "using monophone to generate graph" opt="--mono" fi #decode word $decoder --cmd "$decode_cmd" $srcdir/graph_word $datadir/test $srcdir/decode_test_word || exit 1 在run.sh腳本中調用上腳本： #test mono model local/data_decode.sh --nj 2 "steps/decode.sh" exp/mono data/mfcc & 這裏註意由於測試集只有兩個說話者，並發度設置為2，否則會出現文件分割數與並發數不匹配的情況，解碼過程主要用到特征提取後的test文件，上部分生成的解碼圖，測試結果在exp/mono/decode_test_word文件夾中查看。 為了對測試結果進行評估，還需在local目錄下完成打分腳本相關的代碼，這裏參考thchs30，拷貝文件：score.sh、wer_output_filter 。 下面給出完整的run.sh腳本，之後運行腳本： #!/bin/bash . ./cmd.sh . ./path.sh run_path=`pwd` n=8 #parallel jobs #dataset path dataset=~/dataset_wakeup #data prepare #gen text, wav.scp, utt2spk, spk2utt local/data_prep.sh $run_path $dataset/King-ASR-M-005 || exit 1 #gen lang dir ( echo "create new dir data/dict,lang,graph" cd $run_path mkdir -p data/{dict,lang,graph} && cp $dataset//resource/dict/{extra_questions.txt,nonsilence_phones.txt,optional_silence.txt,silence_phones.txt} data/dict && \ cat $dataset/resource/dict/lexicon.txt | grep -v ‘<s>‘ | grep -v ‘</s>‘ | sort -u > data/dict/lexicon.txt || exit 1; utils/prepare_lang.sh --position_dependent_phones false data/dict "<SPOKEN_NOISE>" data/local/lang data/lang || exit 1; gzip -c $dataset/King-ASR-M-005/lm_word/word.arpa > data/graph/word.arpa.gz || exit 1; utils/format_lm.sh data/lang data/graph/word.arpa.gz $dataset/King-ASR-M-005/lm_word/lexicon.txt data/graph/lang || exit 1; ) #gen MFCC features rm -rf data/mfcc && mkdir -p data/mfcc && cp -R data/{train,cv,test} data/mfcc || exit 1; for x in train cv test; do #make mfcc steps/make_mfcc.sh --nj $n --cmd "$train_cmd" data/mfcc/$x exp/make_mfcc/$x mfcc/$x || exit 1; #compute cmvn steps/compute_cmvn_stats.sh data/mfcc/$x exp/mfcc_cmvn/$x mfcc/$x || exit 1; done #monophone steps/train_mono.sh --boost-silence 1.25 --nj $n --cmd "$train_cmd" data/mfcc/train data/lang exp/mono || exit 1; #decode word # make decoder graph utils/mkgraph.sh --mono data/graph/lang exp/mono exp/mono/graph_word || exit 1; #test mono model local/data_decode.sh --nj 2 "steps/decode.sh" exp/mono data/mfcc & 運行腳本，由於數據量不大，並不需要很長時間，運行測試結束查看效果： [[email protected] scoring_kaldi]$ ls best_wer log penalty_0.0 penalty_0.5 penalty_1.0 test_filt.txt wer_details [[email protected] scoring_kaldi]$ more best_wer %WER 5.57 [ 100 / 1795, 19 ins, 4 del, 77 sub ] exp/mono/decode_test_word/wer_17_1.0 錯詞率為5.57%，在penalty_1.0中可以查看最好的識別結果。 小結 文章記錄了從拿到語料庫，到應用Kaldi的全過程，主要想對流程進行總結，對語音識別相關的原理沒有涉及太多。另外這裏僅僅訓練了單音節模型，其他模型可以參照thchs30完成，這裏不再補充。 過程中遇到的小問題很多，一個比較典型的，一開始想偷懶直接使用thchs30的詞典，後來識別結果很差，單詞均為一個或兩個毫不相幹的字。考慮自己語料庫中的詞匯在thchs30的詞典中並未涉及，還是通過自己標註詞典解決問題。 作者：zqh_zy 鏈接：http://www.jianshu.com/p/6338fab6bd0a 來源：簡書 著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請註明出處。
[轉]Kaldi命令詞識別