5.3序列模型與注意力機制

覺得有用的話,歡迎一起討論相互學習~Follow Me

3.9語音辨識 Speech recognition

• 問題描述 對於音訊片段(audio clip)x ,y生成文字(transcript)，人聽見的或者麥克風捕捉的都是空氣中細微的氣壓變化，語音識別系統能夠根據這種微弱的氣壓變化將音訊轉化為文字字元。
  
  • 將空氣中微弱的氣壓變化顯示成頻率圖的形式，並輸出音訊的文字內容如下圖所示：
  • 
• 考慮到人的耳朵並不會處理聲音的原始波形，而是通過一種特殊的物理結構來測量不同的頻率和強度的聲波，音訊的常見預處理方式就是生成這樣的 聲譜圖 ，同樣的 橫軸是時間，縱軸是聲音的頻率，而圖中不同的顏色顯示了聲波的能量，也就是在不同的時間和頻率上這些聲音有多大
  
  
• 音位 過去的語音識別系統是依據 音位 來進行分辨的，即通過人為制定的音位符號來表示一個特定的語言，使用音位的符號標記就能使用機器合成出指定的語言。
• 進展 但是在 深度學習 這種端到端的學習系統中使用 音位 來表示聲音符號已經不再有必要，而是可以構建一個系統，通過向系統中輸入音訊，然後直接輸出音訊的文字。而不需要用這種人工設計的表示方法。所以語音識別使用的資料集特別巨大，往往可以長達300多個小時甚至3000個小時的文字音訊資料集。大型的商業系統中也訓練了1W或者10W個小時。

注意力模型在語音識別中的應用

• 輸入語音文字資料集的不同時間幀上的資料，並使用一個注意力模型輸出文字描述。
  

CTC損失函式語音識別(Connectionist temporal classification)

Graves A, Gomez F. Connectionist temporal classification:labelling unsegmented sequence data with recurrent neural networks[C]// International Conference on Machine Learning. ACM, 2006:369-376.

• 示例 假設輸入音訊為 the quick brown fox ,這時使用一個新的網路，在這個例子中 輸入 和 輸出 的數量相等，在這裡使用一個簡單的 單向迴圈神經網路 作為例子，而 實際應用使用的往往是一個很大很深的雙向LSTM或GIU結構的迴圈神經網路

  通常輸入的數量往往比輸出的數量要多很多 比如你有一段10秒的音訊，並且特徵是100HZ的，即每秒有100個樣本，於是這段10s的音訊片段，就會有1000個輸入。

• 

• 但是音訊文字識別的輸出肯定沒有1W個，所以可以用 空白字元 和 重複字元 來對其進行填充，其中 重複字元 可以用來重疊，而 空白字元 可以用來佔位。

• 例如 ttt_h_eee___\space____qqq__ \space 表示空格符，表示此處為單詞的結尾，用來分割單詞，而 “_ ” 表示用於佔位的佔位符，其中佔位符中間的 重複字元 可以摺疊。 ttt_h_eee___\space____qqq__ 可以被處理為 the q 三個t,e,q都可以被摺疊為一個字母，而佔位符可以被忽略。

3.10觸發字檢測 Trigger word detection

• 隨著語音識別的發展，越來越多的裝置可以被你的聲音 喚醒 ，這被稱為 觸發字檢測系統
  
• 有關於 觸發字檢測 的文獻還處於發展階段，對於 觸發字檢測 的最好演算法目前還沒有一個廣泛的定論。
  
  1. 首先將音訊檔案輸入到RNN中，然後定義目標標籤y
     
  2. 假如音訊片段的一點處剛說完一個觸發字，那麼你就可以在訓練集中把目標標籤都設為0，然後此點目標籤設為1.然後此點之後恢復成0，持續這個過程，只要觸發了關鍵詞，就將目標標籤設定為1.
  3. 缺點 該演算法構建了一個很不平衡的訓練集，即0的出現次數比1的出現次數多出了很多。 為了解決這個問題可以在 關鍵詞被觸發 後輸出多個1，以消除這種不平衡性。