1.為什麼要對資料進行劃分，越多的資料訓練的模型不是越好嗎?

      的確，模型的效能和訓練資料的多少有很大關係，我們先看看這三個集合的用處

訓練集（training set）

      訓練集的作用就是訓練模型，形成模型的內部結構和引數估計，比如古典的線性迴歸模型，每個變數前邊的引數都是由訓練集估計出來的，這裡我們要區分一個概念，引數和超引數：

       引數(parameter)是依賴於訓練集的，對於同一份資料的同一個模型，引數是唯一的。

       超引數(hyperparameter)是不依賴與訓練集合的，他是我們人為指定的，可以取任意合理值的，比如K近鄰的聚類中心，隨機森林的決策樹數量。除此之外，模型確定引數的標準，都是預測誤差的最小化或者AUC值的最大化（只要你不改程式），但是超引數的選擇就可以根據自己需要的情況選取，沒有絕對的標準，換句話說，含有超引數的模型應用要更加靈活一些。

驗證集（validation)

      驗證集的存在就是為了對超引數的選擇，因為我的訓練集已經決定了引數了，再由訓練集得出超引數，很容易造成過擬合，所以我們需要一個獨立於訓練集的資料，是我們的模型不至於鑽進訓練集的牛角尖，這裡可能不是很好理解，我舉個例子：

      要讓一個神經網路模型學習識別貓，我隨機給了機器300張貓的圖片，它學習到了很多特徵，眼睛、嘴巴、牙齒、四肢等等，但是我再依據這些圖片來調超引數，他就可能學習到訓練集特有的特徵，比如訓練集內黑貓比較多，白貓比較少，模型就會認為，大部分的貓都是黑色的，但這只是因為隨機性產生的訓練集特有的特徵，對其他集合和樣本並不適用。

測試集（test set）

       測試集的情況就比較特殊了，因為從模型訓練的角度，測試集不參與模型的訓練，也不參與模型的選擇，他能做的就是像其他人展示模型的效能，換句話說，測試集不為你的模型提供任何資訊，就像向領導彙報工作的ppt一樣，在做ppt之前，所有工作都做完了，只是藉助ppt向領導展示，也正因為如此，測試集的資料，要儘可能貼近實際中總體的分佈，一定要從總體中隨機抽取，與總體分佈不符的測試集，沒有模擬實際工作的作用，它的準確率也不能夠代表實際工作的情況，下面以二分類問題的預測結果為例，證明準確率是類別比例的函式。

       測試集的準確率=(TN+TP)/(TN+TP+FN+FP)

       模型對Negative的識別能力F1=TN/(TN+FP)，表示對實際N類能正確識別的比例 

       模型對Positive的識別能力F2=TP/(FN+TP)，表示對實際P類能正確識別的比例

假設實際中N出現的概率為α，P出現的概率為1-α，根據全概率公式：

      實際工作中模型的準確率accuracy=αF1+（1-α）F2，當F1和F2確定的時候，accuracy是由α決定的函式，α越大，accuracy越接近F1；α越小，accuracy越接近F2，一個能被我們操縱的準確率並沒有什麼用，但是當測試集是來自總體的隨機樣本，accuracy是模型對總體估計的無偏估計，才能代表模型實際工作的效果。

（細心的大家一定發現了，如果F1=F2，accuracy就不收α的影響，但是實際中這種情況並不多見）

      關於模型的評價，準確率只是最基本的評價指標，可以看到，準確率僅僅反應了混淆矩陣主對角線上的部分資訊，遺漏了很多其他的問題，後面會專門介紹一下模型預測結果的評價指標。

2.怎麼劃分訓練集，驗證集和測試集?

        使用沒有超引數的模型，如古典的線性迴歸模型，就不需要驗證集，可以採取7:3的比例隨機劃分訓練集和測試集。

        需要驗證集的模型，如隨機森林模型，可以採取6:2:2的比例，

     注意！！！一定要隨機劃分！！！

以上是我個人淺薄的理解，希望各位高手幫忙指正，有什麼意見儘管提，我一定虛心改正，因為我不是學計算機的，這些資料分析步驟的程式語言我會隨著學習逐步補全。

希望每個人都能對未知的領域保持最起碼的敬畏和尊重