Yoshua Bengio——《Deep Learning》學習筆記1
第一章 前言
機器學習（machine learning）： AI 系統需要具備自己獲取知識的能力，即從原始資料中提取模式的能力。這種能力被稱為 機器學習（machine learning）。
簡單的機器學習演算法的效能在很大程度上依賴於給定資料的 表示（representation）。
表示學習（representation learning）：使用機器學習來發掘表示本身，而不僅僅把表示對映到輸出。這種方法我們稱之為 表示學習（representation learning）。學習到的表示往往比手動設計的表示表現得更好。並且它們只需最少的人工干預，就能讓AI系統迅速適應新的任務。 表示學習演算法只需幾分鐘就可以為簡單的任務發現一個很好的特徵集，對於複雜任務則需要幾小時到幾個月。手動為一個複雜的任務設計特徵需要耗費大量的人工時間和精力；甚至需要花費整個社群研究人員幾十年的時間。
表示學習演算法的經典例子是 自編碼器--autoencoder，自編碼器由一個編碼器--encoder 和一個解碼器--decoder 函式組成。
深度學習（ deep learning ）通過其他較簡單的表示來表達複雜表示，解決了表示學習中的核心問題。
深度學習的典型例子是前饋深度網路或者多層感知機（multilayer perceptron, MLP）。
學習資料的正確表示的想法是解釋深度學習的一個視角。另一個視角是深度促使計算機學習一個多步驟的計算機程式。
目前主要有樑總度量模型深度的方式：1、基於評估架構所需執行的順序指令的數目；2、是在深度概率模型中使用的方法，它不是將計算圖的深度視為模型深度，而是將描述概念彼此如何關聯的圖的深度視為模型深度。
由於並不總是清楚計算圖的深度或概率模型圖的深度哪一個是最有意義的，並且由於不同的人選擇不同的最小元素集來構建相應的圖，因此就像計算機程式的長度不存在單一的正確值一樣，架構的深度也不存在單一的正確值。另外，也不存在模型多麼深才能被修飾為 ‘‘深’’ 的共識。但相比傳統機器學習， 深度學習研究的模型涉及更多學到功能或學到概念的組合，這點毋庸置疑。
AI > Machine learning > representation learning 表示學習 > deep learning 深度學習
AI 的例子： knowledge bases 知識庫
Machine learning 的例子： logistic regression 邏輯迴歸
representation learning 的例子： shallow autoencoder 淺層自編碼器
deep learning 的例子： MLP
圖1.5 流程圖展示了AI系統的不同部分如何在不同的AI 學科中彼此相關
相關推薦
python Deep learning 學習筆記（1）
Python深度學習筆記 -- 偏重實驗 Python 的 Keras 庫來學習手寫數字分類，將手寫數字的灰度影象(28 畫素 ×28 畫素)劃分到 10 個類別 中(0~9) 神經網路的核心元件是層(layer),它是一種資料處理模組，它從輸入資料中提取表示，緊接著的一個例子中，將含有兩個Dense 層,它
Neural Networks and Deep Learning學習筆記ch1 - 神經網絡
1.4 true ole 輸出 使用 .org ptr easy isp 近期開始看一些深度學習的資料。想學習一下深度學習的基礎知識。找到了一個比較好的tutorial，Neural Networks and Deep Learning，認真看完了之後覺
python Deep learning 學習筆記（3）
本節介紹基於Keras的使用預訓練模型方法 想要將深度學習應用於小型影象資料集，一種常用且非常高效的方法是使用預訓練網路。預訓練網路(pretrained network)是一個儲存好的網路，之前已在大型資料集(通常是大規模影象分類任務)上訓練好 使用預訓練網路有兩種方法:特徵提取(feature ext
python Deep learning 學習筆記（4）
本節講卷積神經網路的視覺化 三種方法 視覺化卷積神經網路的中間輸出（中間啟用） 有助於理解卷積神經網路連續的層如何對輸入進行變換，也有助於初步瞭解卷積神經網路每個過濾器的含義 視覺化卷積神經網路的過濾器 有助於精確理解卷積神經網路中每個過濾器容易接受的視覺模
python Deep learning 學習筆記（6）
本節介紹迴圈神經網路及其優化 迴圈神經網路（RNN，recurrent neural network）處理序列的方式是，遍歷所有序列元素，並儲存一個狀態（state），其中包含與已檢視內容相關的資訊。在處理兩個不同的獨立序列（比如兩條不同的 IMDB 評論）之間，RNN 狀態會被重置，因此，你仍可以將一個序列
Deep Learning 學習筆記3：《深度學習》線性代數部分
標量：一個標量就是一個單獨的數 向量：一個向量是一列數，這些數是有序排列的，比如：,如果每個元素都屬於實數R，且有n個元素，則記為：。向量可以看做n維空間的點。 矩陣：二維陣列，如果一個矩陣A高度為m，寬度為n，且每個元素都屬於實數，則記為：A∈ 張量：一組陣列中的元素
Deep Learning 學習筆記5：神經網路彙總
本篇文章整理自FJODOR VAN VEEN的論文：The Neural Network Zoo。本文介紹了神經網路大家族，但不是所有的神經網路都能涵蓋，畢竟新的網路結構在不斷被髮展出來。以下是神經網路的圖譜。 介紹神經網路之前，先介紹神經元的分類，這部分內容來自博友的
CS224n: Natural Language Processing with Deep Learning 學習筆記
課程地址：http://web.stanford.edu/class/cs224n/ 時間：2017年 主講：Christopher Manning、Richard Lecture 1: Introduction NLP：Natural language processing 常見
python Deep learning 學習筆記（5）
本節講深度學習用於文字和序列 用於處理序列的兩種基本的深度學習演算法分別是迴圈神經網路（recurrent neural network）和一維卷積神經網路（1D convnet） 與其他所有神經網路一樣，深度學習模型不會接收原始文字作為輸入，它只能處理數值張量。文字向量化（vectorize）是指將文字轉換
從零開始-Machine Learning學習筆記(1)-機器學習概述
機器學習，顧名思義就是機器像人一樣進行“學習”，是近兩年來最為人津津樂道的名詞之一，這一名稱的由來卻鮮為人所提起。在最近閱讀周志華先生的《機器學習》一書之中，在其第一章的小故事中得到這一名詞的由來。 1952年，阿瑟·薩繆爾在IBM公司研製了一
Deep Learning讀書筆記1--基礎知識篇（第二、三、四、五章）
Deep Learning An MIT Press book Ian Goodfellow and Yoshua Bengio and Aaron Courville 英文原版
Neural Networks and Deep Learning 學習筆記(五)
1. 如何理解梯度下降最後變成了 wk→w′k=wk−η∑j∂CXj∂wk 每次都要遞迴相減一個，不如直接把一小撮∇Cxj算出來再直接相減。由於概率論，這一小撮隨機的Cxj可以基本代表所有的，然後再
網上某位牛人的deep learning學習筆記彙總
前言: 教程中的一些術語: Model representation: 其實就是指學習到的函式的表達形式，可以用矩陣表示。 Vectorized implementation: 指定是函式表示式的向量實現。 Feature scaling： 指是將
Neural Networks and Deep Learning學習筆記ch1
最近開始看一些深度學習的資料，想學習一下深度學習的基礎知識。找到了一個比較好的tutorial，Neural Networks and Deep Learning，認真看完了之後覺得收穫還是很多的。從最基本的感知機開始講起，到後來使用logistic函式作為啟用
Neural Networks and Deep Learning 學習筆記(十)
MIT那本書不適合短平快的學習方式，轉戰Udacity裡基於Tensorflow的一個視訊教學 1. softmax的優勢 格式為exi∑jexj 相比較xi∑jxj 假設原資料為[3.0,1.0,0.2] 那麼經過softmax運算，則得到[
python Deep learning 學習筆記（10）
並且 () 想要 res valid else 示例 variable enc 生成式深度學習 機器學習模型能夠對圖像、音樂和故事的統計潛在空間（latent space）進行學習，然後從這個空間中采樣（sample），創造出與模型在訓練數據中所見到的藝術作品具有相似特征的
Deep Learning 學習筆記（二）：神經網路Python實現
多層神經網路的Python實現。 程式碼先貼上，程式設計的東西不解釋。 程式碼中出現的SupervisedLearningModel、NNLayer和SoftmaxRegression，請參考上一篇筆記：Deep Learning 學習筆記（一）——softmax
Neural Networks and Deep Learning 學習筆記(三)
1. 怎麼理解C(w,b)≡12n∑x∥y(x)−a∥2 首先，∥v∥是指範數 範函是一個函式，其為向量空間內的所有向量賦予非零的正長度或大小 好吧，這其實是個均方誤差函式，可自行查閱百度百科，但是不明白為什麼是12n。 2. 什麼是梯度下降
Deep Learning學習筆記——概率與資訊理論
在人工智慧領域，概率論主要有兩種途徑。 概率法則告訴我們AI系統如何推理，據此我們設計一些演算法來計算或者估算有概率論匯出的表示式。（比如：神經網路的輸出是概率的形式） 我們可以用概率和統計從理論上
Neural Networks and Deep Learning 學習筆記(一)
1. 為什麼假設w⋅x≡∑jwjxj後，w與x就變成向量了？ The first change is to write ∑jwjxj as a dot product, w⋅x≡∑jwjxj, where w and x are vectors who