Dropout作用

    在hinton的論文Improving neural networks by preventing coadaptation提出的，主要作用就是為了防止模型過擬合。當模型引數較多，訓練資料較少時候，根據線性代數相關知識可以知道，當前模型可以非常完美的擬合我們的曲線。但該模型對測試資料集可能就沒有很好的表現了，也就是說訓練出的模型泛化能力很弱，我們稱之為過擬合。從文章題目通過阻止特徵檢測器的共同作用來提高神經網路的效能可以看出，網路在提取訓練集特徵時，捨棄掉了一部分特徵來提高網路的泛化能力。

基本認識

   Dropout用網路訓練時工作變化來定義的話，是指在模型訓練時隨機讓某些神經單元的權重停止本次更新，等下次訓練時就有可能更新，對與一層中每個神經單元來說，它們更新的概率是相同的。
   在hinton論文中沒有數學公式，只是作者直觀解釋：

     1. 網路中某層神經單元權值更新是等概率的，因此，不能保證相鄰的神經單元每次都更新，直觀解釋就是有些特徵不必完全依託於其他的特徵。舉個栗子：假如有5兄弟，老大和老二，老二和老三、、、相鄰兩個人才能完成一個任務，現在呢，我們把5兄弟放在黑屋子裡面，每次隨機選擇一個兄弟執行任務，如果完成不了就懲罰其他兄弟，同時被選中的大兄弟當面對自己這次沒有完成任務來自我反思（權值更新），在我們的逼迫下，進行了N次隨機選擇，發現5兄弟都能通過自我努力（權值更新）獨立完成任務。
     2. 論文講，把dropout看作是，針對每次batch_size大的樣本集訓練，對應的網路結構是不同的，但是呢，它們之間還可以共享權重，不同的樣本集合訓練出了不同的網路模型。最後，得出的網路模型是每次訓練的模型的“平均模型”。這種解釋還是不錯的^.^……
     3. 把dropout比作是貝葉斯，貝葉斯有個大前提（不一定對哈）所有的特徵是相互獨立的，訓練樣本較少時候，獨立學習每個特徵，測試時候將所有的特徵相乘。實際效果還不錯。
     4. 仿生物進化。適者生存，不斷適應環境的變化。
 

參考資料 及相關程式碼

  https://github.com/rasmusbergpalm/DeepLearnToolbox
 【面向程式碼】學習 Deep Learning（一）Neural Network
  http://www.cnblogs.com/tornadomeet/p/3258122.html