CTC

推斷計算（續）

上圖是一個Beam Width為3的Beam Search。Beam Search的細節可參見《機器學習（二十三）》。

由於語音的特殊性，我們實際上用的是Beam Search的一個變種：

如上圖所示，所有在合併規則下，能夠合併為同一字首的分支，在後續計算中，都被認為是同一分支。其概率值為各被合併分支的概率和。

此外，如果在語音識別中，能夠結合語言模型的話，將可以極大的改善語音識別的準確率。這種情況下的CTC loss為：

$Y^{}$

∗ = argmax Y p ( Y ∣ X ) ⋅ p ( Y ) α ⋅ L ( Y ) β Y^*=\mathop{\text{argmax}}_{Y} p(Y \mid X)\cdot p(Y)^{\alpha}\cdot L(Y)^{\beta}

其中， $p(Y)^{\alpha}$是語言模型概率，而 $L(Y)^{\beta}$表示詞嵌入獎勵。

CTC的特性

CTC是條件獨立的。

缺點：條件獨立的假設太強，與實際情況不符，因此需要語言模型來改善條件依賴性，以取得更好的效果。

優點：可遷移性比較好。比如朋友之間的聊天和正式發言之間的差異較大，但它們的聲學模型卻是類似的。

CTC是單調對齊的。這在語音識別上是沒啥問題的，但在機器翻譯的時候，源語言和目標語言之間的語序不一定一致，也就不滿足單調對齊的條件。

CTC的輸入/輸出是many-to-one的，不支援one-to-one或one-to-many。比如，“th”在英文中是一個音節對應兩個字母，這就是one-to-many的案例。

最後，Y的數量不能超過X，否則CTC還是沒法work。

CTC應用

HMM

如上圖所示，CTC是一種特殊的HMM。CTC的狀態圖是單向的，這也就是上面提到的單調對齊特性，這相當於給普通HMM模型提供了一個先驗條件。因此，對於滿足該條件的情況，CTC的準確度要超過HMM。

最重要的是，CTC是判別模型，它可以直接和RNN對接。

Encoder-Decoder模型

Encoder-Decoder模型是sequence問題最常用的框架，它的數學形式為：

$H=encode(X)\\ p(Y\mid X)=decode(H)$

這裡的H是模型的hidden representation。

CTC模型可以使用各種Encoder，只要保證輸入比輸出多即可。CTC模型常用的Decoder一般是softmax。

參考

https://distill.pub/2017/ctc/

Sequence Modeling With CTC

http://blog.csdn.net/laolu1573/article/details/78791992

Sequence Modeling With CTC中文版

https://mp.weixin.qq.com/s?__biz=MzIzNDQyNjI5Mg==&mid=2247483834&idx=1&sn=3a92eb19858d2cec709af28d2eb69c4a

時序分類演算法之Connectionist Temporal Classification

http://blog.csdn.net/u012968002/article/details/78890846

CTC原理

https://www.zhihu.com/question/47642307

語音識別中的CTC方法的基本原理

https://www.zhihu.com/question/55851184

基於CTC等端到端語音識別方法的出現是否標誌著統治數年的HMM方法終結？

https://zhuanlan.zhihu.com/p/23308976

CTC——下雨天和RNN更配哦

https://zhuanlan.zhihu.com/p/23293860

CTC實現——compute ctc loss（1）

https://zhuanlan.zhihu.com/p/23309693

CTC實現——compute ctc loss（2）

http://blog.csdn.net/xmdxcsj/article/details/70300591

端到端語音識別（二）ctc。這個blog中還有5篇《CTC學習筆記》的連結。

https://blog.csdn.net/luodongri/article/details/77005948

白話CTC(connectionist temporal classification)演算法講解

Warp-CTC

Warp-CTC是一個可以應用在CPU和GPU上的高效並行的CTC程式碼庫，由百度矽谷實驗室開發。

官網：

https://github.com/baidu-research/warp-ctc

非官方caffe版本：

https://github.com/xmfbit/warpctc-caffe

Deep Speech

Deep Speech是吳恩達領導的百度矽谷AI Lab 2014年的作品。

論文：

《Deep Speech: Scaling up end-to-end speech recognition》

程式碼：

https://github.com/mozilla/DeepSpeech

上圖是Deep Speech的網路結構圖。網路的前三層和第5層是FC，第4層是雙向RNN，Loss是CTC。

主要思路：

1.這裡的FC只處理部分音訊片段，因此和CNN有異曲同工之妙。

2.論文解釋了不用LSTM的原因是：很難並行處理。

參考：

http://blog.csdn.net/xmdxcsj/article/details/54848838

Deep Speech筆記

Deep speech 2

Deep speech 2是Deep speech原班人馬2015年的作品。

論文：

《Deep speech 2: End-to-end speech recognition in english and mandarin》

程式碼：

https://github.com/PaddlePaddle/DeepSpeech

這個官方程式碼是PaddlePaddle實現的，由於比較小眾，所以還有非官方的程式碼：

https://github.com/ShankHarinath/DeepSpeech2-Keras

不出所料，這裡使用CNN代替了FC，音訊資料和影象資料一樣，都是區域性特徵很明顯的資料，從直覺上，CNN應該要比FC好使。

至於多層RNN或者GRU都是很自然的嘗試。論文的很大篇幅都是各種調參，也就是俗稱的“深度煉丹”。

論文附錄中，如何利用叢集進行分散式訓練，是本文的乾貨，這裡不再贅述。

EESEN

論文：

《EESEN: End-to-End Speech Recognition using Deep RNN Models and WFST-based Decoding》

苗亞傑，南京郵電大學本科（2008）+清華碩士（2011）+CMU博士（2016）。
個人主頁：
http://www.cs.cmu.edu/~ymiao/

官網：

https://github.com/srvk/eesen

eesen是基於Tensorflow開發的，苗博士之前還有個用Theano開發的叫PDNN的庫。

自動求導

DL發展到現在，其基本運算單元早就不止CNN、RNN之類的簡單模組了。針對新運算層出不窮的現狀，各大DL框架基本都實現了自動求導的功能。

論文：

《Automatic Differentiation in Machine Learning: a Survey》

Numerical differentiation

數值微分最大的特點就是很直觀，好計算，它直接利用了導數定義：

$f'(x)=\lim_{h\to 0}{f(x+h)-f(x)\over h}$

不過這裡有一個很大的問題：h怎麼選擇？選大了，誤差會很大；選小了，不小心就陷進了浮點數的精度極限裡，造成舍入誤差。

第二個問題是對於引數比較多時，對深度學習模型來說，上面的計算是不夠高效的，因為每計算一個引數的導數，你都需要重新計算 $f(x+h)$。

因此，這種方法並不常用，而主要用於做梯度檢查（Gradient check），你可以用這種不高效但簡單的方法去檢查其他方法得到的梯度是否正確。

Symbolic differentiation

符號微分的主要步驟如下：

1.需要預置基本運算單元的求導公式。

2.遍歷計算圖，得到運算表示式。

3.根據導數的代入法則和四則運演算法則，求出複雜運算的求導公式。

這種方法沒有誤差，是目前的主流，但遍歷比較費時間。

Automatic differentiation

除此之外，常用的自動求導技術，還有Automatic differentiation。（請注意這裡的AD是一個很狹義的概念。）

類比複數的概念：

$x = a + bi \quad (i^2 = -1)$

我們定義Dual number：

$x \mapsto x = x + \dot{x} d \quad (d^2=0)$

定義Dual number的運演算法則：

$(x + \dot{x}d) + ( y + \dot{y}d) = x + y + (\dot{x} + \dot{y})d$

$(x + \dot{x}d) ( y + \dot{y}d) = xy + \dot{x}yd + x\dot{y}d + \dot{x}\dot{y}d^2 = xy + (\dot{x}y+ x\dot{y})d$

$-(x + \dot{x}d) = - x - \dot{x}d$

$\frac{1}{x + \dot{x}d} = \frac{1}{x} - \frac{\dot{x}}{x^2}d$

dual number有很多非常不錯的性質。以下面的指數運算多項式為例：

$f(x) = p_0 + p_1x + p_2x^2 + ... + p_nx^n$

用 $ x + x 相關推薦 深度學習（三十）——Deep Speech, 自動求導 CTC 推斷計算（續） 上圖是一個Beam Width為3的Beam Search。Beam Search的細節可參見《機器學習（二十三）》。 由於語音的特殊性，我們實際上用的是Beam Search的一個變種： 如上圖所示，所有在合併規則下，能夠合併為同一字 JMeter學習（三十）non-gui模式執行 必須要了解的一些資訊 必須要了解的一些資訊 既然是要通過non-gui模式執行，那麼我們就不得不去了解下在non-gui模式下jmeter命令的引數，下面是Jmeter官方文件中列出來的一些引數，中文註釋部分為我加入的解釋 -h, --help print usage inform Java架構學習（三十）redis高階&redis高可用&主從複製&讀寫分離&叢集&哨兵機制&持久化RDB儲存&持久化AOF儲存&事務機制&Redis釋出訂閱 redis高階 一、基礎回顧 什麼是redis? 答：redis是非關係型資料庫，使用redis的目的是：減輕資料庫訪問壓力。 資料庫是做IO操作，使用redis是記憶體操作，記憶體資料庫， 效率要比IO效率高。這個就是快取。 如果資料庫值與redis 深度學習（二十）基於Overfeat的圖片分類、定位、檢測 作者：hjimce一、相關理論本篇博文主要講解來自2014年ICLR的經典圖片分類、定位物體檢測overfeat演算法：《OverFeat: Integrated Recognition, Locali Python的學習（三十） ---- Python實現檔案md5校驗 Linux下校驗檔案MD5值，最簡單的方法就是執行md5sum命令 md5sum filename 原本打算用subprocess呼叫系統命令來獲取md5值， import subprocess,shlex cmd = "md5sum filename" p = subpr 深度學習（七十）darknet 實現編寫mobilenet原始碼 一、新增一個新的網路層(1)parse.c檔案中函式string_to_layer_type，新增網路層型別解析：if (strcmp(type, "[depthwise_convolutional]") == 0) return DEPTHWISE_CONVOLUTIONA C++學習（三十）（C語言部分）之 棧和隊列 emp 等於 -s etc amp class font pri 先進先出 數據結構1.保存數據 2.處理數據數組+操作增查刪改 棧和隊列是一種操作受限的線性表 棧 是先進後出 是在一端進行插入刪除的操作--->棧頂 另一端叫做棧底（棧和棧區是兩個概念）（是 【DeepLearning】深度學習第一課：使用autograd來自動求導 使用autograd來自動求導 在機器學習中，我們通常使用梯度下降（gradient descent）來更新模型引數從而求解。損失函式關於模型引數的梯度指向一個可以降低損失函式值的方向，我們不斷地沿著梯度的方向更新模型從而最小化損失函式。雖然梯度計算比較直觀， JMeter學習（三十六）發送HTTPS請求（轉載） 無法 strong 控制 json localhost 閱讀 amp local cat 　Jmeter一般來說是壓力測試的利器，最近想嘗試jmeter和BeanShell進行接口測試。由於在雲閱讀接口測試的過程中需要進行登錄操作，而登錄請求是HTTPS協議。這就需要對 Linux學習（三十一）系統日誌 them 故障 linux學習 format nco kernel cgroup package 很多 一、前言 linux的系統日誌用的不多，我們就挑幾個比較常用的大概講一下。 二、分類講解 2.1 /var/log/messages 這是個雜項日誌，記錄很多服務的日誌。 Linux學習（三十二）screen oot mst tail pre linux article col install vmstat screen概述 我們可以將screen看成一個子窗口，我們可以通過命令將這個子窗口放入後臺運行而不關閉它。當我們有需要時，我們還可以將它調出來。 screen使用 安裝 Python學習（三十九）—— Django之Form組件 tran important edi 日期 style p s ext 一個 這樣的 一、構建一個表單 假設你想在你的網站上創建一個簡單的表單，以獲得用戶的名字。你需要類似這樣的模板： <form action="/your-name/" method="post" Linux學習筆記（三十）日常運維二 free一、iostat、freeiostat -x 磁盤使用rrqm/s: 每秒進行 merge 的讀操作數目。即 delta(rmerge)/swrqm/s: 每秒進行 merge 的寫操作數目。即 delta(wmerge)/sr/s: 每秒完成 Linux 學習總結（三十）lamp之mysql安裝 lamp mysql 一 lamp架構介紹 lamp 是linux apache mysql php 的縮寫，就是整個一套服務端環境，對於php開發的網站，我們訪問到的頁面或者數據很可能就是這套環境提供的。對於普通網民來說，我們沒有註意我們訪問到的網站內容，其實是分兩大類的，一類是圖片為代表的靜態數據 Pro Android學習筆記（三十） Menu（1） 瞭解Menu 分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！         salesforce零基礎學習（九十）專案中的零碎知識點小總結（三） 本次的內容其實大部分人都遇到過，也知道解決方案。但是因為沒有牢記於心，導致問題再次出現還是花費了一點時間去排查了原因。在此記錄下來，好記性不如爛筆頭，爭取下次發現類似的現象可以直接就知道原因。廢話少說，進入正題。 我們在Goods__c表中有一個欄位型別為Picklist，欄位值有以下內容： 我們想要 深度學習 （三）Convolutional Neural Network What is Deep Learning        認識任何事物之前最好了解這一事物在我們的知識認知體系中所處的位置，這樣有助於將其歸納到自己的認知體系中，產生聯絡並編製成類似於知識圖譜樣的結構，不用記住也不好忘記。 機器學習（三十二）——t-SNE, Adaboost t-SNE（續） SNE 在介紹t-SNE之前，我們首先介紹一下SNE（Stochastic Neighbor Embedding）的原理。 假設我們有資料集X，它共有N個數據點。每一個數據點xixi的維度為D，我們希望降低為d維。在一般用於視覺化的條 Python3學習（三十四）：python從mongo中取資料，使用pandas.DataFrame進行列操作並轉字典 使用該操作的具體場景（一般與mongo相結合）： 比如mongo中存了幾萬條資料，需要將mongo中的資料取出來，並對其中的一列進行相關操作，最後轉化為字典格式。 具體程式碼實現如下： import pandas as pd import pymongo import Python3學習（三十六）：python遍歷操作目錄下的檔案 在實際場景中，我們往往會希望可以遍歷某個目錄下的所有檔案，執行一些操作，比如對這些檔案的轉化，比如提取這些檔案的資料，比如將這些檔案經過某些操作後再儲存至另外的目錄下。 今天講一下如何遍歷操作目錄下的檔案。 假設我們需要對$Home/log目錄下的檔案進行操作後，寫入$H $