1.什麼是深度學習

1.1人工智慧、機器學習與深度學習

1.1.1人工智慧

1. 人工智慧：努力將通常由人類完成的智力任務自動化
2. 符號主義人工智慧（1950s~1980s），專家系統（1980s）

1.1.2機器學習

1. 查爾斯 • 巴貝奇發明分析機（1930/40s）
2. 阿蘭 • 圖靈在1950 年發表具有里程碑意義的論文“計算機器和智慧” ，提出圖靈測試
3. 經典程式設計（符號主義人工智慧的正規化 ）：輸入的是規則（即程式）和需要根據這些規則進行處理的資料，系統輸出的是答案
4. 機器學習（1990s）：輸入的是資料和從這些資料中預期得到的答案，系統輸出的是規則。這些規則隨後可應用於新的資料，並使計算機自主生成答案
5. 機器學習系統是訓練出來的。機器學習（尤其是深度學習）呈現出相對較少的數學理論（可能太少了），並且是以工程為導向的

1.1.3從資料中學習表示

1. 機器學習的三個要素：
   • 輸入資料點
   • 預期輸出的示例
   • 衡量演算法效果好壞的方法（衡量結果是一種反饋，調節演算法的工作方式，這個調節就是學習）
2. 機器學習和深度學習的核心問題在於有意義地變換資料
3. 學習輸入資料的有用表示：這種表示可以讓資料更接近預期輸出
4. 機器學習中的學習指的是，尋找更好資料表示的自動搜尋過程
5. 機器學習的技術定義：在預先定義好的可能性空間中，利用反饋訊號的指引來尋找輸入資料的有用表示

1.1.4深度學習之“深度”

1. 深度學習是機器學習的一個分支領域：它是從資料中學習表示的一種新方法，強調從連續的層（layer）中進行學習，這些層對應于越來越有意義的表示
2. “深度學習”中的“深度”（資料模型中包含多少層 ）指的並不是利用這種方法所獲取的更深層次的理解，而是指一系列連續的表示層。與之對應，其他機器學習方法有時稱作淺層學習
3. 深度學習模型不是大腦模型
4. 將深度網路看作多級資訊蒸餾操作：資訊穿過連續的過濾器，其純度越來越高（即對任務的幫助越來越大）
5. 深度學習的技術定義：學習資料表示的多級方法

1.1.5理解深度學習的工作原理

1. 神經網路中每層對輸入資料所做的具體操作儲存在該層的權重（weight）中
2. 每層實現的變換由其權重來引數化（parameterize）。權重有時也被稱為該層的引數（parameter）
3. 學習的意思是為神經網路的所有層找到一組權重值，使得該網路能夠將每個示例輸入與其目標正確地一一對應
4. 損失函式（目標函式）：輸入是網路預測值與真實目標值（即你希望網路輸出的
   結果），然後計算一個距離值，衡量該網路在這個示例上的效果好壞
5. 利用這個距離值作為反饋訊號來對權重值進行微調，以降低當前示例對應的損失值。這種調節由優化器（optimizer）來完成，它實現了所謂的反向傳播（backpropagation）演算法，這是深度學習的核心演算法
6. 隨著網路處理的示例越來越多，權重值也在向正確的方向逐步微調，損失值也逐漸降低。這就是訓練迴圈（training loop），將這種迴圈重複足夠多的次數（通常對數千個示例進行數十次迭代），得到的權重值可以使損失函式最小

1.2深度學習之前：機器學習簡史

1.2.1概率建模

1. 統計學原理在資料分析中的應用
2. 樸素貝葉斯分類器
3. logistic 迴歸（logistic regression，簡稱 logreg），logreg 是一種分類演算法，而不是迴歸演算法

1.2.2早期神經網路

1. 20 世紀 50 年代
2. 20 世紀 80 年代中期—反向傳播演算法
3. 貝爾實驗室， 1989 年 ，手寫數字識別，LeNet

1.2.3核方法

1. 核方法：20 世紀 90 年代
2. 支援向量機（SVM，support vector machine），決策平面，間隔最大化，核技巧，核函式

1.2.4決策樹、隨機森林與梯度提升機

1. 決策樹（decision tree）是類似於流程圖的結構，可以對輸入資料點進行分類或根據給定輸入來預測輸出值
2. 隨機森林（random forest）演算法，它引入了一種健壯且實用的決策樹學習方法，即首先構建許多決策樹，然後將它們的輸出整合在一起
3. 梯度提升機（gradient boosting machine）也是將弱預測模型（通常是決策樹）整合的機器學習技術。它使用了梯度提升方法，通過迭代地訓練新模型來專門解決之前模型的弱點，從而改進任何機器學習模型的效果

1.2.5回到神經網路

1. 深度卷積神經網路（convnet），計算機視覺任務，所有的感知任務

1.2.6深度學習有何不同

1. 特徵工程，自動化完成
2. 深度學習從資料中進行學習時有兩個基本特徵：
   • 通過漸進的、逐層的方式形成越來越複雜的表示；
   • 對中間這些漸進的表示共同進行學習，每一層的變化都需要同時考慮上下兩層的需要