特徵構造

是否需要人工構造特徵，這應該是深度學習和傳統機器學習的最明顯的差異。feature engining是傳統機器學習中的一個重要組成部分，sift，hog，wavelet等都是解決如何描述資料的問題。深度學習興起後，feature engining的研究幾乎停滯，而end-to-end成為一個新興的研究方向。

傳統機器學習中有一個分支：representation learning，研究目的是通過學習自動生成合適的特徵，這和深度學習很相似。2013年 Bengio等人發表的文獻Representation Learning: A Review and New Perspectives

深度學習模擬人類視覺特徵，把特徵劃分成low-level feature 和 high-level feature。比如在行人檢測中，low-level feature是前幾層網路學習到的特徵，一般是邊緣紋理特徵；而深層網路學習到的high-level可能即使頭部，軀幹，手臂等特徵，這種高階特徵在傳統機器學習中很少。DPM是深度學習之前目標檢測的stat-of-art，其中有類似頭部，手臂這類高階特徵概念，但是以分類器的形式存在。

特徵對映

把特徵對映到目標空間，這是傳統機器學習的核心。SVM，adaboost，random forest等都是解決如何把輸入特徵對映到目標空間，完成分類，迴歸等任務。深度學習初期在最後一層使用的就是SVM，前面的層作為特徵提取模組存在，後來SVM被全連結層取代。全連結層因為引數多，計算量大，而卷積層通過引數共享大大降低了引數量，導致全連結層往往成為網路速度和大小的瓶頸。在語義分割任務中，因為每個畫素都要分類，全連結層則完全被卷積層/反捲積層取代，每個通道表示一個類別。