UFLDL:稀疏自編碼器
吳恩達的 CS294A 是一門很好的深度學習入門課程,打算接下來的學習以這個課程的內容為主。UFLDL Tutorial 是 CS294A 課程的 wiki 頁,包含了課程講義和作業。如果你對 監督學習、邏輯迴歸、梯度下降 等基礎概念並不熟悉,可以先學習 之前的課程。
關於課程作業的 Python 程式碼已經放到了 Github 上,點選 課程程式碼 就能去 Github 檢視( 無法訪問 Github 的話可以點選 Coding 檢視 ),程式碼中的錯誤和改進歡迎大家指出。
稀疏自編碼器
大家知道現在深度學習在計算機視覺領域全面開花結果,得到了許多之前無法想象的好結果。而就在這之前大家還要花費很大的精力來人工設計特徵。下面要學習的 稀疏自編碼器
稀疏自編碼器 的基本模型是一個三層的神經網路,在學習時讓網路輸出的目標值接近於輸入的影象本身,從而學習影象中的特徵。直接學習一個恆等函式的話沒有什麼意義,所以我們要對隱含層做出一些限制,比如減小神經元的個數,網路就會被迫壓縮資料並嘗試重建輸入影象。當我們加入懲罰讓神經元在大部分情況下都不啟用的時候,網路能夠學習到十分有趣的邊緣特徵。隱含層的神經元在觀察到輸入影象中某個特定角度的邊緣特徵時才會被啟用( 這和神經科學發現的人類視覺皮層V1中的神經元的啟用方式相似 )。
代價函式
根據機器學習的一般模式,首先給出 稀疏自編碼器
比起熟悉的前兩項,代價函式新增了對於隱含層的懲罰,式中 表示隱含層的神經元個數。 表示 隱含層神經元 對於所有訓練資料的平均啟用度,( 注意這裡的 表示一個函式,值為資料 對應的 ), 為 的目標值,目的就是之前說的讓神經元在大多數時間不啟用。
按照 Ng 的說法,新的懲罰項有多種函式可以選擇,而這裡用來衡量 與 差異的度量為 又稱為 相對熵,定義為:
它所度量的是兩個概率分佈間的距離( 我也不是太懂,有機會再做深入的研究 )。
有了代價函式,接下來看下原先的反向傳播演算法有什麼變化~
梯度下降
在之前 反向傳播演算法 課程中已經說過它該演算法的兩個重點,一個是它的目的:更快速地計算代價函式的梯度,另一個是它的計算依賴於多元函式求導的鏈式法則。
由於代價函式的增加項直接為隱含層的函式,所以隱含層的誤差:
其中後一項可化為:
因此 反向傳播演算法 中的 計算變為:
其餘的計算都和原先的演算法相同。
搞定代價函式和梯度計算,剩下的就是呼叫帶優化的梯度下降演算法了~
視覺化
最後稍微提下課程作業,它讓我們在 10 張風景圖片中隨機取 10000 個 8x8 的區域性圖,然後讓稀疏自編碼器學習其中的特徵。神經網路的隱含層神經元個數為 25,輸入輸出維度都為 64。下圖為每個隱含層神經元對應的輸入層權重,大致可看成該神經元檢測到這種特徵時會被啟用。( tip: 作業中的學習演算法和梯度檢查函式在之前的課程中都寫過,因此可以直接拿來用。 )
So~,稀疏自編碼器的內容就是這些了,謝謝大家耐心閱讀。