方法 | 機器學習(深度學習)通用工作流程
機器學習(深度學習)通用工作流程
1. 定義問題並裝載資料集(Defining the problem and assembling a dataset)
首先，你必須定義你手頭的問題：
- 輸入資料是什麼？你希望預測什麼？只有在能夠獲得訓練資料的情況下你才能進行預測：舉個例子，如果你同時又電影的影評和對應的情感註釋，你只能從中學習分類電影影評的情緒。因此，資料可用性是這個階段的限制因素（除非你有辦法僱人幫你收集資料）
- 你面臨什麼型別的問題？它是二元分類嗎？還是多類分類？標量回歸？向量迴歸？多類多標籤分類？或者其他的型別，例如聚類，生成問題或者增強學習？識別問題的型別能夠指導你選擇模型的構架，損失函式等等
直到你知道你的輸入和輸出是什麼，以及你將使用哪些資料，你才能進入下一個階段。注意你在這個階段所做的假設：
- 你假設你可以根據給定的輸入預測輸出
- 你假設你的可用資料有足夠的資訊用於學習輸入與輸出之間的關係
當然，這僅僅只是假設，直到你有一個確切的模型，這些假設才能被驗證或者被否定。並非所有問題都能解決。只是因為你僅僅收集了一些輸入X和目標Y，這並不意味著X包含足夠的資訊去預測Y。舉個例子，如果你試圖通過股票的歷史價格去預測股票的價格，那麼你不可能成果，因為股票的歷史價格不包含太多的預測資訊。
非平穩問題是一種不可解決的問題，你應該注意此類問題。假設你正在嘗試建立一個衣服的推薦引擎，你在某一個月的資料上進行訓練(比如說，8月)，你希望能夠在冬天的開始的時候推送你的推薦。這裡有一個很大的問題：人們購買的衣服型別會根據季節的變化而變化。衣服的購買在幾個月的時間跨度中是一種非平衡現象。在這種情況下，正確的做法是不斷地對過去的資料訓練新的模型，或者在問題處於靜止的時間範圍內收集資料。對於想購買衣服這樣的週期性問題，幾年內的資料足以捕捉到季節的變化，但是記住要讓一年中的時間成為你模型的輸入。
請記住，機器學習只能記住訓練資料中存在的模式。你只能認識你已經看到過的東西。利用機器學習對過去的資料進行訓練，用於預測未來，這樣的做法假設未來的行為將於過去類似。但是，通常並非如此。
2. 選擇成功的衡量指標(Choosing a measure of success)
要控制某些東西，你需要能夠觀察到它。為了取得成功，你必須定義成功是什麼，是正確率？精度或者召回率？還是客戶保留率？你的成功指標的定義將會指導你選擇損失函式，損失函式就是你模型將要優化的內容。損失函式應該能夠直接與你的目標保持一致，例如你業務的成功。
對於均衡分類問題，這類問題中每個類別都有相同的可能性，準確率和ROC AUC是常用的指標。對於類不平衡問題，你可以用精度和召回。對於排名問題或者多標籤問題，你可以用平均精度。定義你自己的評價指標並不罕見。要了解機器學習成功指標的多樣性以及它們是如何關係不同的問題域，有必要去了解Kaggle上的資料科學競賽，這些競賽展示了廣泛的問題和評價指標。
3. 決定一個驗證策略(Deciding on an evaluation protocol)
一旦你知道你的目標是什麼，你必須確定你將如何衡量你當前的進度。我們之前已經瞭解了三種常用的驗證策略：
- 保留一個hold-out驗證集，當你有足夠多的資料時，用這種方法
- K-fold 交叉驗證。資料太少，不足以使用第一種驗證方法的使用，用這種方法。
- 迭代 K-fold 交叉驗證。只有很少的資料可用時，用於執行高度準確的模型評估。
選擇其中一個。在大多數情況下，第一種方法工作得很好。
4. 準備你的資料(Preparing your data)
一旦你知道你在訓練什麼，你正在優化什麼，如何評估你的方法，你幾乎已經準備好開始訓練模型。但是首先，你應該將資料格式化為機器學習模型所能接受的形式。這裡，我們假設這個模型是一個深度學習模型，那麼：
- 正如前面提到的那樣，你的資料應該格式化為張量
- 通常情況下，這些張量的值被縮小為較小的值，比如說縮放到[-1,1]或者[0,1]
- 如果不同的特徵採取不同範圍的值，那麼資料應該做歸一化處理
- 你可能想做一些特徵工作，特別是對於資料集不大的問題
5. 開發一個比基線好的模型(Developing a model that does better than a baseline)
在這個階段，你的目標是做到statistical power（不會翻譯），也就是開發一個能夠擊敗基線的模型。在MNIST數字分類示例中，任何達到大於0.1精度都可以說是具有statistical power; 在IMDB的例子中，大於0.5就可以了。
請注意，達到statistical power並不總是可能的。如果在嘗試了多個合理的體系構架之後，仍然無法打敗一個隨機基線，那麼可能是你要求的問題的答案無法從輸入資料中獲得。記住你提出的兩個假設：
- 你假設你可以根據給定的輸入預測輸出
- 你假設你的可用資料有足夠的資訊用於學習輸入與輸出之間的關係
這些假設有可能是錯誤的，在這種情況下你必須重新開始。
假設目前為止一切都很順利，你需要作出三個關鍵的選擇來建立你的第一個工作模型:
- 最後一層的啟用函式，這為網路的輸入設定了限制。例如，在IMDB分類問題中，最後一層使用了sigmoid; 在迴歸問題中，最後一層沒有使用任何啟用函式
- 損失函式，這應該與你正在嘗試解決的問題的型別相匹配。例如在IMBD二元分類問題中，使用了binary_crossentropy，迴歸問題中使用了mse等等。
- 優化配置，你將使用什麼優化器？學習率是多少？在大多數情況在，使用rmsprop和預設的學習率是安全的。
關於損失函式的選擇，請注意，並不總是可以直接優化metric。有時候，沒有簡單的方法可以將metric轉換為損失函式；損失函式畢竟只需要一個小批量的資料就能計算（理想情況下，損失函式只需要一個數據就能計算），並且損失函式必須是可微分的（否則，你不能使用反向傳播來訓練你的網路）。例如，廣泛使用的分類度量ROC AUC就不能直接優化。因此，在分類問題中，通常針對ROC AUC的代理指標（例如，交叉熵）進行優化，一般來說，你希望如果越低的交叉熵，你就能獲得更高的ROC AUC。
下面的表格可以幫助為幾種常見的問題選擇最後一層啟用函式和損失函式
| 問題型別 | 最後一層啟用函式 | 損失函式 |
|---|---|---|
| 二元分類 | sigmoid | binary_crossentropy |
| 多類別，單標籤分類 | softmax | categorical_crossentropy |
| 多類別，多標籤分類 | sigmoid | binary_crossentropy |
| 任意值的迴歸問題 | None | mse |
| [0,1]之間的迴歸問題 | sigmoid | mse 或者 binary_crossentropy |
6. 全面升級：開發一個過擬合的模型
一旦你的模型達到了statistical power，那麼問題就變成了：你的模型是否足夠強大？你是否有足夠多的網路層和引數來正確建模你的問題？例如，具有兩個神經元的單層網路在MNIST具有statistical power，但是不能很好的解決MNIST分類問題。
請記住，機器學習中最困難的就是在優化和泛華之間取得平衡；理想的模型就是站在欠擬合與過擬合之間。要弄清楚這個邊界在哪裡，你必須先穿過它。
要弄清楚你需要多大的模型，你必須先開發一個過擬合的模型。這很容易：
- 增加網路層
- 讓網路層變大
- 訓練更多次
始終監視著訓練誤差和驗證誤差，以及你所關心的metrics。當你看到模型在驗證集上效能開始下降，就達到了過擬合。下個階段是開始正則化和調整模型，儘可能的接近既不是欠擬合又不是過擬合的理想模型。
7. 正則化你的模型並調整你的超引數(Regularizing your model and tuning your hyperparameters)
這一步將花費大量時間，你將重複修改你的模型，並對其進行訓練，在驗證集上進行評估，再次修改，如此重複，知道模型達到所能達到的最佳效果。以下是你應該嘗試做的一些事情：
- 新增Dropout
- 嘗試不同的體系結構的網路：新增或者刪除網路層
- 新增 L1/L2 正則化
- 嘗試不同的超引數（例如每一層的神經元個數或者優化器學習率），以獲得最佳的引數選擇
- (可選)迭代特徵工程：新增新特徵，或者刪除似乎沒有提供資訊的特徵
請注意以下幾點：每次使用驗證集來調整模型引數時，都會將有關驗證的資訊洩露在模型中。重複幾次是無害的；但是如果重複了很多很多次，那麼最終會導致你的模型在驗證集上過擬合（即使沒有直接在驗證集上進行訓練），這使得驗證過程不太可靠。
一旦你開發出令人滿意的模型，你可以根據所有可用的資料（訓練集和驗證集）來訓練你最終的模型。如果測試集的結果明顯低於驗證集上結果，那麼可能意味著你的驗證過程不太可靠，或者你的模型在驗證集中已經過擬合了。在這種情況下，你可能需要更為靠譜的驗證策略（例如迭代K-fold驗證）