起源：自動編碼器

單自動編碼器，充其量也就是個強化補丁版PCA，只用一次好不過癮。

仿照stacked RBM構成的DBN，提出Stacked AutoEncoder，為非監督學習在深度網路的應用又添了猛將。

這裡就不得不提  “逐層初始化”（Layer-wise Pre-training），目的是通過逐層非監督學習的預訓練，

來初始化深度網路的引數，替代傳統的隨機小值方法。預訓練完畢後，利用訓練引數，再進行監督學習訓練。

Part I  原理

非監督學習網路訓練方式和監督學習網路的方式是相反的。

在監督學習網路當中，各個Layer的引數W受制於輸出層的誤差函式，因而Layer_i

但是在非監督學習中，各個Encoder的引數W只受制於當前層的輸入，因而可以訓練完Encoder_i，把引數轉給Layer_i，利用優勢引數傳播到Layer_i+1，再開始訓練。

形成"全部迭代-更新單層"的新訓練方式。這樣，Layer_i+1效益非常高，因為它吸收的是Layer_i完全訓練奉獻出的精華Input。

Part II  程式碼與實現

棧式機在建構函式中，構造出各個Layer、Encoder，並且存起來。

Theano在構建棧式機中，易錯點是Encoder、Layer的引數轉移。

我們知道，Python的列表有深淺拷貝一說。Theano所有被shared標記的變數都是淺拷貝。

因而首先有這樣的錯誤寫法：

def __init__(self,rng,input,n_in,n_out,layerSize):
      ......
      for i in xrange(len(layerSize)):
            ......
            da.W=hidenlayer.W
            da.bout=hidenlayer.b

然後你在外部為da做grad求梯度的時候就報錯了，提示說params和cost函式不符合。

這是因為cost函式的Tensor表示式在寫cost函式時就確定了，這時候da這個物件剛好構造完，因而Tensor表示式中的da.W是構造隨機值。

然後我們在da構造完了之後，手賤把da.W指向的記憶體改變了（淺拷貝相當於引用），這樣算出的grad根本就不對。

其實這樣寫反了，又改成了這樣

def __init__(self,rng,input,n_in,n_out,layerSize):
      ......
      for i in xrange(len(layerSize)):
            ......
            hidenlayer.W=da.W
            hidenlayer.b=da.bout

好吧，這樣不會報錯了，而且每訓練一個Encoder，用get_value檢視Layer的值確實改變了。但是，訓練Encoder_i+1的時候，怎麼感覺沒效果？

其實是真的沒效果，因為Layer_i的引數根本沒有傳播到Layer_i+1去。

Theano採用Python、C雙記憶體區設計，在C程式碼中訓練完Encoder_i時，引數並沒有轉到Layer_i中。但是我們明明建立了淺拷貝啊？

原來updates函式在C記憶體區中，根本沒有覺察到淺拷貝關係，因為它在Python記憶體區中。

正確做法是像教程這樣，在da構造時建立淺拷貝關係，當編譯成C程式碼之後，所有Python物件要在C記憶體區重新構造，自然就在C記憶體區觸發了淺拷貝。

 da=dA(rng,layerInput,InputSize,self.layerSize[i],hidenlayer.W,hidenlayer.b)

 或者訓練完Encoder_i，強制把Encoder_i引數注入到C記憶體區的Layer_i裡。

updateModel=function(inputs=[],outputs=[],updates=[(....)]，
updateModel()

Theano的寫法風格近似於函式式語言，物件、函式中全是數學模型。一旦構造完了之後，就無法顯式賦值。

所以，在Python非建構函式裡為物件賦值是愚蠢的，效果僅限於Python記憶體區。但是大部分計算都在C記憶體區，所以需要updates手動把值打進C記憶體區。

updates是溝通兩區的橋樑，一旦發現Python記憶體區中有建立淺拷貝關係，就會把C記憶體區中值更新到Python記憶體區。（有利於Python中儲存引數）

但是絕對不會自動把Python記憶體區值，更新到C記憶體區當中。（這點必須小心）

這種做法可以擴充套件到，監督訓練完之後，引數的儲存與匯入。