機器學習中，人工選擇資料（資料獲取）、提取特徵（特徵工程）、選擇演算法（建立模型）、得到結果（評估應用）

深度學習解決了機器學習中特徵工程的問題

怎樣去選取特徵，比如面對影象資料、文字資料的時候怎麼辦

深度學習能自動學習到目標什麼特徵是最合適的

深度學習應用：90%計算機視覺（人臉識別），對移動端支援相對較差（計算量太大）

醫學領域，變臉，黑白片轉彩色，解析度重構，

12 年ALEX 第一名 領先第二名10+% ，後開始發展

深度學習，根據原來的（影象）資料，可以經過變換（傾斜，高斯模糊，變形等）生成新的資料

神經網路是個黑盒子（但是學習需要了解其中的各步驟細節）

之前有遮蔽的例子後，下次遇到就能學習識別

深度學習與之前的套路都一樣，都屬於機器學習

動物圖形庫CIFAR-10

KNN來分類圖片，相似的是整體方面的，聚焦於全體

神經網路基礎

線性函式（得分函式）

某個圖片屬於某個類別的得分值（屬於貓、狗、等的得分值）

背景畫素點（低）與決定性的畫素點（高）權重是不同的

W權重引數：對結果決定性影響 ； 類別W1 W2 W3

b偏置引數：微調作用 （10個不同數值的b） 各自類別各自微調

先提供一個隨機的W矩陣，然後根據樣本進行優化，逐漸得到合適恰當的W矩陣（也是神經網路主要做的內容）

資料在損失函式中得到的損失data_oss ,正則化懲罰項λ（w1^2+w2^2+w3^2+...）只考慮權重引數 ,λ（懲罰係數） 比較大的時候不希望過擬合，沒有過多的突兀處，小的時候則相反。

神經網路過於強大，容易出現過擬合，要壓制一些

藍色框 得分函式 W權數引數 f 得分值 ，Li計算損失 ，然後再加上Rw（正則化懲罰項）

x輸入資料 W權數引數 計算得分值 Li計算損失 ，然後再加上Rw 得到損失值

之前是一個W來做，神經網路是用多個W來做

不是一次變換就得到損失值L，而是經過多次變換，比如要識別一隻貓，第一次特徵重視的地方是貓的身體，而降低背景的權重，表示為XW1,然後在貓的身體部分再識別重要的某個特徵（頭部），表示為（XW1）W2,然後識別其頭部的某個特徵（鬍鬚）表示為（XW1W2）W3，就這樣一層層得出最終的損失值L

求某個物件偏導，就是求其對結果的影響

神經網路整體架構

A，年齡 B，身高 C，體重

第二層，經過（權重引數）計算（x1*0.1+x2*0.6+x3*0.9），在計算機眼裡是更好的特徵,每個特徵根之前的全部特徵都有聯絡

1個樣本3個特徵

神經網路結果好壞，就是看w1,w2,w3 選擇的好壞

非線性：是指每次X和W組合之後，進行非線性的變換，比如Sigmoid函式，max（0,x）,只要不是線性的就行

神經元個數越多，越擬合數據（容易產生過擬合）

一個神經元：

兩個神經元：

三個神經元：

數量3個就可以得到一個比較好的模型,目的是更好的作用於預測

資料預處理

1.中心化（實際座標值-平均值）

2.各個維度放縮（除以標準差）

訓練階段用這個DROP-OUT，每次迭代每一層隨機選擇一部分（x%）使用，（用來避免神經網路過於強大，減少其過擬合風險）

測試階段用完全體(左圖)