學習【深度學習】一書筆記!
**人工智慧**的*真正挑戰*在於解決那些對人來說很容易執行、但很難形式化描述的任務，如識別人們所說的話或影象中的臉。對於這些問題，我們人類往往可以憑藉直覺輕易地解決。
本書討論的方案，該方案可以讓計算機從經驗中學習，並根據**層次化的概念體系**來理解世界，而每個概念則通過與某些相對簡單的概念之間的關係來定義。讓計算機從經驗獲取知識，可以避免由人類來給計算機形式化地指定它需要的所有知識。層次化的概念讓計算機構建較簡單的概念來學習複雜的概念。如果繪製出表示這些概念如何建立在彼此之上的圖，我們將得到一張“深”（層次很多）的圖。基於這個原因，我們稱這種方法為**AI深度學習（deep learning）。**
人工智慧的一個關鍵挑戰就是如何將這些**非形式化的知識**傳達給計算機。
**機器學習（machine learning）**：從原始資料中提取模式的能力。其演算法效能很大程度上依賴於給定**資料的表示**。表示的選擇會對機器學習演算法的效能產生巨大的影響。
**表示學習（representation learning）**：使機器學習來**發掘表示本身**，而不僅僅把表示對映到輸出。如自編碼器（autoencoder），由一個編碼器（encoder）函式和一個解碼器（decoder）函式組合而成。
當設計特徵或設計用於學習特徵的演算法時，我們的目標通常是分離出能解釋觀察資料的**變差因素（factors of variation）**。在此背景下，“因素”這個詞指代影響的不同來源：因素通常不是乘性組合。這些因素通常是不能被直接觀測到的量。相反，它們可能是現實世界中觀察不到的物體或不可觀測的力，但會影響可觀測的量。為了對觀察到的資料提供有用的簡化解釋或推斷其原因，它們還可能**以概念的形式**存在於人類的思維中。它們可以被看作**資料的概念或抽象**，幫助我們瞭解這些資料的豐富多樣性。
在許多現實的人工智慧應用中，困難主要源於多個變差因素同時影響著我們能夠觀察到的每一個數據。大多數應用需要我們*理清變差因素並忽略我們不關心的因素*。
深度學習（deep learning）通過其他較簡單的表示來表達複雜表示。讓計算機通過較簡單的概念來構建複雜的概念。
學習資料的正確表示的想法是解釋深度學習的一個視角。另一個視角是深度促使計算機學習一個多步驟的計算機程式。
兩種度量模型深度的方式。一種是基於評估架構所需執行的順序指令的數目。另一種是在深度概率模型中使用的方法，它不是將計算圖的深度視為模型深度，而是將描述概念彼此如何關聯的圖的深度視為模型深度。