## 1.1 LAS產生label的計算   LAS是可以看做能夠直接計算給定一段acoustic feature時輸出token sequences的概率，即$p(Y|X)$,LAS每次給定一個acoustic feature就會產生一個token 的概率，將所有的概率乘起來就是token sequences的概率。其實在訓練的時候，並不是在每一步都找概率最大的，這樣會陷入區域性最優，一般會用到beam search來尋找一個最優的概率。在圖中，$\hat{Y}$表示的是正確的token sequence ,訓練的目標就是要找到一個$\theta$，使得給定一段acoustic features時，輸出$\hat{Y}$的概率最大。在測試的時候，就是根據訓練找到的$\$在給定acoustic features時，找出概率最大的token sequence，就是語音識別的結果。 ## 1.2 CTC和RNN-T的計算   CTC和RNN-T都需要alignment，所以不能像LAS那樣直接計算。。其概率是窮舉所有的alignment,將所有的alignment的概率加起來，就是token sequence的概率。所以會碰見的幾個問題如下圖： - 怎麼計算所有可能的alignment - 怎麼將所有可能的alignment加起來 - 怎麼訓練$\theta$ ### 1.2.1 所有的alignment   HMM中是對token進行重複，CTC是引入了$\phi$,可以插在任何地方，但是其個數和token重複個數的和要等於acoustic features的個數，RNN-T也引入了$\phi$，但是其是作為一個acoustic feature結束，下一個acoustic features開始的間隔，因此，$\phi$的個數就等於acoustic features的個數。 - HMM 一個token可以重複$t_{i}$次，但是所有token重複次數的和要等於acoustic features的長度T，即圖中灰色部分所描述的公式。表中橫軸代表acoustic features，縱軸代表token。從左上角開始一直走到右下角，中間每一步只能有兩個方向：向右走或者是向右下走。但是終點一定要是右下角才算是合法的路徑。從起點開始一直走到終點的所有合法路徑就是所有可能的alignment。下圖就是一個非法路徑  - CTC CTC在最後合併token的規則是：（1）首先合併重複項（2）去掉token.例如：a a $\phi$ $\phi$ r $\phi$ r$\phi$ s s s $\phi$s，經過第一步的結果是：a$\phi$r$\phi$r$\phi$s$\phi$ s,經過第二步的結果是a r r s s 。下面的合法路徑的選擇都是基於這個規則下。    CTC中的$\phi$可以插在任何地方，開頭，token之間或者結尾。但是$\phi$的個數加上token的個數要等於acoustic features的個數。其中$\phi$的個數可以為0，但是每一個token的個數不能為0。    CTC和HMM不同，在CTC進行的過程中，縱軸是在開頭，結尾和每一個token之間都插入一個$\phi$，其合法路徑的規則有3個要求   (1)其初始的起點可以有兩個，即$x^1$處的狀態可以使$\phi$或者是第一個token，這裡是C；   (2)其最後的終點也有兩個狀態，即$x^6$處的狀態可以是$\phi$或者是最後一個token,這裡是t   (3)當中間狀態是token時，且下一個token與之不重複時，其下一步的狀態可以有3個，向右走--下一步還是當前的token,向右下方走--下一步就是$\phi$，跨越$\phi$向右下方走（走馬步）--下一步就是下一個token，【見圖3】   (4) 當中間狀態為$\phi$時，下一步只能有2種情況，向右走或者向右下方走。【見圖2、圖3】   (5) 當中間狀態是token時，且下一個token與之重複時，其下一步的狀態只能是2個，向右走--下一步還是當前的token,向右下方走--下一步就是$\phi$【見圖4】，如果走馬步，就會在合併的時候丟失掉一個token,所以不能跨越$\phi$。 下圖舉例列出了兩條合法路徑：  - RNN-T   在RNN-T的過程中，最後一個token後至少有一個$\phi$，因為他是作為一個acoustic feature和另一個acoustic feature的間隔，當一個單詞說完，它肯定要出現$\phi$，不然下一段acoustic features沒辦法進來。而在token之間則可以有也可以沒有。  向右走表示，插入$\phi$，可以理解為當前的acoustic feature沒有任何東西，什麼都沒有輸出的，我先插入一個$\phi$，你再給我下一個acoustic feature。向下走就表示輸出一個token，理解為當前的acoustic feature輸出一個token。由於最後一個必須是$\phi$，所以終點在右下角還右邊一格。   RNN-T一個acoustic feature可以識別出很多token(參見上面的RNN-T的介紹)，所以可能第一個acoustic features就把想要的東西全部都輸出了，後面全部插入$\phi$即可。下圖顯示了一條非法路徑 ## 1.2.2 HMM、CTC、RNN-T的路徑方式比較    HMM的合法路徑只能是複製自己和到達下一個token，CTC的合法路徑是複製自己或者到$\phi$或者到下一個token,RNN-T的合法路徑是到達下一個token或者插入$\