1. 程式人生 > >資源 | 斯坦福CS231n Spring 2017詳細課程大綱(附完整版課件下載)

資源 | 斯坦福CS231n Spring 2017詳細課程大綱(附完整版課件下載)

機器之心編譯

參與:Smith、蔣思源

CS231n 近幾年一直是計算機視覺領域和深度學習領域最為經典的課程之一。而最近才剛剛結課的 CS231n Spring 2017 仍由李飛飛帶頭主講,並邀請了 Goodfellow 等人對其中部分章節詳細介紹。本課程從計算機視覺的基礎概念開始,在奠定了基本分類模型、神經網路和優化演算法的基礎後,重點詳細介紹了 CNN、RNN、GAN、RL 等深度模型在計算機視覺上的應用。機器之心近日曾經報道李飛飛詳解深度學習的框架實現與對比,讀者也可以點選閱讀原文下載全部課件。

Lecture 1:計算機視覺的概述、歷史背景以及課程計劃

Lecture 2:影象分類——包括資料驅動(data-driven)方法,K 近鄰方法(KNN)和線性分類(linear classification)方法

Lecture 3:損失函式和優化(loss Function and optimization)

這一講主要分為三部分內容:

1. 繼續上一講的內容介紹了線性分類方法;

2. 介紹了高階表徵及影象的特點;

3. 優化及隨機梯度下降(SGD)。

Lecture 4:神經網路

包括經典的反向傳播演算法(back-propagation);多層感知機結構(multilayer perceptrons);以及神經元視角。

Lecture 5:卷積神經網路(CNN)

主要分為三部分內容:

1. 卷積神經網路的歷史背景及發展;

2. 卷積與池化(convolution and pooling);

3. ConvNets 的效果

Lecture 6:如何訓練神經網路 I

介紹了各類啟用函式,資料預處理,權重初始化,分批歸一化(batch normalization)以及超參優化(hyper-parameter optimization)。

Lecture 7:如何訓練神經網路 II

介紹了優化方法(optimization)、模型整合(model ensembles)、正則化(regularization)、資料擴張(data-augmentation)和遷移學習(transfer learning)。

Lecture 8: 深度學習軟體基礎

1. 詳細對比了 CPU 和 GPU;

2. TensorFlow、Theano、PyTorch、Torch、Caffe 例項的具體說明;

3. 各類框架的對比及用途分析。

Lecture 9:卷積神經網路架構(CNN Architectures)

該課程從 LeNet-5 開始到 AlexNet、VGG、GoogLeNet、ResNet 等由理論到例項詳細描述了卷積神經網路的架構與原理。

Lecture 10:迴圈神經網路(Recurrent Neural Networks)

該課程先詳細介紹了 RNN、LSTM 和 GRU 的架構與原理,再從語言建模、影象描述、視覺問答系統等對這些模型進行進一步的描述。

Lecture 11:檢測與分割(Detection and Segmentation)

該課程在影象分類的基礎上介紹了其他的計算機視覺任務,如語義分割、目標檢測和例項分割等,同時還詳細介紹了其它如 R-CNN、Fast R-CNN、Mask R-CNN 等架構。

Lecture 12:視覺化和理解(Visualizing and Understanding)

該部分不僅講述了特徵視覺化和轉置,同時還描述了對抗性樣本和像 DeepDream 那樣的風格遷移系統。

Lecture 13:生成模型(Generative Models)

該章節從 PixelRNN 和 PixelCNN 開始,再到變分自編碼器和生成對抗網路詳細地講解了生成模型。

Lecture 14:強化學習(Reinforcement Learning)

該章節先從基本概念解釋了什麼是強化學習,再解釋了馬爾可夫決策過程如何形式化強化學習的基本概念。最後對 Q 學習和策略梯度進行了詳細的刻畫,包括架構、優化策略和訓練方案等等。

Lecture 15:深度學習高效的方法和硬體(Efficient Methods and Hardware for Deep Learning)

該章節首先展示了深度學習的三大挑戰:即模型規模、訓練速度和能源效率。而解決方案可以通過聯合設計演算法-硬體以提高深度學習效率,構建更高效的推斷演算法等,

Lecture 16:對抗性樣本和對抗性訓練(Adversarial Examples and Adversarial Training)

該章節由 Ian Goodfellow 於 5 月 30 日主講,主要從什麼事對抗性樣本、對抗性樣本產生的原因、如何將對抗性樣本應用到企業機器學習系統中、及對抗性樣本會如何提升機器學習的效能等方面詳細描述對抗性樣本和對抗性訓練。

本文僅代表作者觀點,不代表百度立場。