#本文內容部分來自網路，只為自己學習以及分享供更多的人學習使用

1、誤差分析

視訊中舉了個動物分類的例子，簡單的來說，就是我們可以並行分析，來考慮導致誤差的多種因素所佔的比重。可以建個表格：

也統計錯誤型別的百分比，這個分析步驟可以給我們一個粗略的估計，讓我們大致確定是否值得去處理每個不同的錯誤型別。

另外，我們也需要對錯誤標註的資料提高警惕：

對於部分人工產生的隨機誤差，我們不需要耗費大量的精力在其中，因為如果資料足夠大，這部分誤差的影響並不明顯。說白了，吳大大就是讓我們通過進行誤差分析，來發現到底是哪些因素導致了比較大的壞作用，然後讓我們朝著改善這個的方向去努力，清楚後期的優化方向。

另外，吳大大還說了，就是掄起袖子幹，快速搭建第一個系統，並進行迭代。

2、不同分佈上的訓練和測試

現如今，由於需求的資料量非常大，很多的團隊，可能使用的訓練資料都是和開發集和測試集來自不同的分佈。

我們可以從網上獲取大量的高清晰的貓的圖片去做分類，如200000張，但是隻能獲取少量利用手機拍攝的不清晰的圖片，如10000張。但是我們系統的目的是應用到手機上做分類。

方法一：

將兩組資料合併到一起，總共得到21萬張圖片樣本。將這些樣本隨機分配到訓練、開發、測試集中。

• 好處：三個集合中的資料均來自於同一分佈；
• 壞處：我們設立開發集的目的是瞄準目標，而現在我們的目標絕大部分是為了去優化網上獲取的高清晰度的照片，而不是我們真正的目標。

這個方法不是一個好的方法。

方法二：

訓練集均是來自網上下載的20萬張高清圖片，當然也可以加上5000張手機非高清圖片；對於開發和測試集都是手機非高清圖片。

• 好處：開發集全部來自手機圖片，瞄準目標；
• 壞處：訓練集和開發、測試集來自不同的分佈。

從長期來看，這樣的分佈能夠給我們帶來更好的系統性能。

對於不同分佈的偏差和方差的分析，我們可以設立訓練開發集：

訓練開發集，其中的資料和訓練資料來自同一分佈，但是卻不用於訓練過程。

如果最終，我們的模型得到的誤差分別為：

• Training error：1%
• Training-dev error：9%
• Dev error：10%

那麼，由於訓練開發集儘管和訓練集來自同一分佈，但是卻有很大的誤差， 模型無法泛化到同分布的資料，那麼說明我們的模型存在方差問題。

但如果我們的模型得到的誤差分別為：

• Training error：1%
• Training-dev error：1.5%
• Dev error：10%

那麼在這樣的情況下，我們可以看到，來自同分布的資料，模型的泛化能力強，而開發集的誤差主要是來自於分佈不匹配導致的。

而解決資料分佈不均產生的問題的辦法有：

• 進行人工誤差分析，嘗試去了解訓練集和開發測試集的具體差異在哪裡。如：噪音等；
• 嘗試把訓練資料變得更像開發集，或者收集更多的類似開發集和測試集的資料，如增加噪音；

簡單的解釋就是假如我們之前訓練好了一個喵咪分類器，後來我們有了新任務——做一個海豚分類器，那麼就可以將之前建立的喵咪分類器模型運用到新任務中去。

一般來說，如果想將A模型運用到B模型，需要滿足下面一些條件：

• A和B需要有相類似的輸入資料集，例如要麼都是影象識別，要麼是語音識別
• A的資料集要足夠多，即遠多於B
• A中學到一些low level features要對B有所幫助

最後的ŷ 是一個有4元素的向量，假設分別是行人、汽車、停車標誌、訊號燈。如果識別出圖片中有哪一個元素，對應位置則輸出1。這跟softmax要進行區分，softmax只是一次識別一種物體，比如說識別出是行人，則輸出[1,0,0,0],而不會說同時識別出行人和訊號燈。

5、端到端的學習

相對於傳統的一些資料處理系統或者學習系統，它們包含了多個階段的處理過程，而端到端的深度學習則忽略了這些階段，用單個神經網路來替代。

吳大大舉了個語音識別的例子，感興趣的可以去找視訊看一下。

一般來說，在少資料集的情況下傳統的特徵提取方式可能會取得好的效果；如果在有足夠的大量資料集情況下，端到端的深度學習會發揮巨大的價值。