1. 程式人生 > >深度學習的 “ 端到端模型(end-to-end learning)”

深度學習的 “ 端到端模型(end-to-end learning)”

相對於深度學習,傳統機器學習的流程往往由多個獨立的模組組成,比如在一個典型的自然語言處理(Natural Language Processing)問題中,包括分詞、詞性標註、句法分析、語義分析等多個獨立步驟,每個步驟是一個獨立的任務,其結果的好壞會影響到下一步驟,從而影響整個訓練的結果,這是非端到端的。

而深度學習模型在訓練過程中,從輸入端(輸入資料)到輸出端會得到一個預測結果,與真實結果相比較會得到一個誤差,這個誤差會在模型中的每一層傳遞(反向傳播),每一層的表示都會根據這個誤差來做調整,直到模型收斂或達到預期的效果才結束,中間所有的操作都包含在神經網路內部,不再分成多個模組處理。由原始資料輸入,到結果輸出,從輸入端到輸出端,中間的神經網路自成一體(也可以當做黑盒子看待),這是端到端

的。

兩者相比,端到端的學習省去了在每一個獨立學習任務執行之前所做的資料標註,為樣本做標註的代價是昂貴的、易出錯的。