對深度學習一直沒找到系統的中文資料，在優酷找到了吳立德老師2013年開的深度學習課程視訊。花三天簡單看了一下，做一個簡單總結，供沒看過的人士參考要不要看及要看哪幾集。此課程一共十四個課時

視訊地址：http://www.youku.com/playlist_show/id_21508721.html

Part1 基礎知識（1-3節）

1 概述

講了ML的問題的三個基本方面：資料、模型和準則。準則可以理解為模型的優化目標。

此後全文對每個模型的講解都是從這三個方面來講。

深度學習（DL）的最大困難：可訓練引數太多，非凸優化，解釋困難（可以通過視覺化手段改善）。

深度學習成功的運用場景：語音識別和目標識別。在NLP中達到了傳統方法的效果。

解決DL學習問題的三種手段：卷積（褶積）神經網路（CNN），限制玻爾茲曼機（RBM）和自動編碼機（AE）

2 前饋神經網BP演算法

主要講解了傳統神經網路的訓練方法，對梯度下降法進行了詳細說明。對BP演算法進行了細緻的推倒。

3 學習優化問題&稀疏編碼

前半部學習優化問題主要搭建了多層神經網路的框架。

後半部介紹了稀疏編碼的思想和相對應的準則。

Part2 深度學習理論（4-9節）

4 DN&&DL

DN是一個深度的前饋神經網路（FNN）+分類器。

先講了線性迴歸、logistic迴歸和SVM分類器三種分類手段。

DL面臨的主要問題：引數多、非凸、梯度彌散。

5 自編碼器&&逐層學習

DL的第一種實現方法：自編碼器。每層使用一個三層的前饋神經網路，令輸入和輸出相同來實現自編碼器。

步驟：先利用自編碼器做預學習，再利用監督學習做微調。

6 自編碼器&&RBM

本文基本是按照課上所說文章《Reducing the dimensionality with neural networks》來講的

限制玻爾茲曼機的概率分佈計算方法。

7 基於RBM的DL方法

基於RBM的深度學習網路的構建。

8 CNN卷積神經網路

這一課主要是圖解，沒有複雜的公式，也沒有講引數的推導方法。

9 複習總結

Part3 應用

10-12 自然語言處理

10 神經概率語言模型

使用神經網路做自然語言處理的方法，只用到一般的神經網路。

11 幾乎無需語言知識的自然語言處理

視窗方法，與第12節的句子方法相對應。

12 句子模型方法

13-14 影象識別，其中13為有監督識別，14為無監督識別

13 深度褶積網

14 大規模無監督高層特徵構建