機器學習與深度學習
阿新 • • 發佈：2021-10-03
典型的機器學習一般思路：預處理、特徵提取、特徵選擇、推理預測或者識別。深度學習能夠儘可能地使用演算法解決預處理、特徵提取、特徵選擇。
傳統機器學習裡，拿什麼作為特徵對學習影響比較大。特徵多增加計算量，如果選擇對學習目標有干擾的特徵會干擾學習效果。需要人的經驗來選擇特徵。深度學習可以用演算法去解決。
深度學習是一種基於無監督特徵學習和特徵層次結構的學習模型，其實是對神經網路模型的拓展。
傳統機器學習使用HOG提取低層面特徵，再用DPM元件模型提取中層面特徵，再用SVM進行分類。而深度學習直接進行端到端的處理，包含特徵提取和分類。
深度學習與神經網路的區別
| 神經網路 | 深度學習 | |
|---|---|---|
| 網路架構 | 3層以內 | 可達上千層 |
| 層間連線 | 通常是全連線 | 形式多樣：共享權值、跨層的反饋 |
| 目標函式 | 差的平方和 MSE | 交叉熵 CE |
| 啟用函式 | Sigmoid、tanh等 | ReLU等 |
| 梯度下降 | 基本的梯度下降GD等 | Adam 自適應矩估計等 |
| 避免過適應 | 憑經驗 | 早期停止、Dropout等 |