1. 程式人生 > >深度學習演算法基礎和常用框架 | CNN與常用框架

深度學習演算法基礎和常用框架 | CNN與常用框架

神經網路與卷積神經網路

  1. 層級結構
  2. 資料處理
  3. 訓練演算法
  4. 優缺點

實際搭建與訓練CNN

  1. 典型CNN
  2. 訓練與fine-tuning

常用框架與應用

  1. 常用框架
  2. 廣泛應用

基礎

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

LR SVM只能做到這種程度,核函式並非萬能

他們對特徵對描述空間可以分開的,才能用LR SVM GDBT RF這些

如果預測的點很不規則

這裡寫圖片描述

神經元完成了 兩個線性分類器的 and 操作

這裡寫圖片描述

這裡寫圖片描述

能做OR就很強了
這裡寫圖片描述

不需要決策樹那麼深的深度

現在用很多線性決策邊界,做and or操作,就可以摳出來了

神經網路在學習這些線性切分

CNN的正文

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

卷積層

引數共享機制

這裡寫圖片描述

模板

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

激勵層

現在多用ReLu

這裡寫圖片描述

並非所有所有的刺激往後傳

這裡寫圖片描述

這裡寫圖片描述

Sigmod 有一個問題,BP時候,兩邊很平,梯度下降很慢

這裡寫圖片描述

很對稱,中心的不會很隨樣本變得很大,相對sigmod。

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

池化層

這裡寫圖片描述

這裡寫圖片描述

最後加一層全連線

這裡寫圖片描述

優缺點

這裡寫圖片描述

典型CNN

這裡寫圖片描述

常見框架

這裡寫圖片描述