1：偏差&方差
當模型做出與實際情況不符的假設時就會引起錯誤，這種錯誤稱為偏差，通常是模型太簡單。
方差是一種由於訓練資料集的波動引起的錯誤。當學習演算法隨著訓練資料集的不同而呈現出太大的波動時，所引起的錯誤就稱為方差，通常是模型太複雜

2：有監督&無監督

有監督學習：我們給演算法一個數據集，並且給定“正確答案”，演算法的目的就是給出更多的正確答案。也就是我們從輸入和預期輸出中學習得到一個模型，然後我們根據這個模型預測新的例項。比如：SVM,樸素貝葉斯等。

無監督學習：所有的資料都是一樣的，沒有屬性/標籤這一概念。可以簡單理解為不為訓練集提供對應的類別標籤。比如聚類。

3：KNN & K-Means

KNN和K-Means都包含這樣的過程，給定一個點，在資料集中找離它最近的點。即二者都用到了NN(Nears Neighbor)演算法，一般用KD樹來實現NN。

二者不同之處

4:準確率&召回率

對於二分類問題，可將樣例根據其真實類別與學習器預測類別的組合劃分為真正例（TP,true positive）,假正例(FP,false positive),真反例(TN,true negative),假反例（FN,false negative）四種情形。顯然有TP+FP+TN+FN=樣例總數。分類結果的混淆矩陣如下表所示：

5：貝葉斯 & 樸素貝葉斯
貝葉斯定理是關於隨機事件

貝葉斯定理可以表述為：後驗概率=（相似度*先驗概率）/標準化常量

貝葉斯統計作為一個基礎演算法，在機器學習中佔據重要的一席之地。特別是在資料處理方面，針對事件發生的概率以及事件可信度分析上具有良好的分類效果。貝葉斯定理需要大規模的資料計算推理才能凸顯效果，它在很多計算機應用領域中都大有作為，如自然語言處理，機器學習，推薦系統，影象識別，博弈論等。

6：L1 & L2正則化

正則化項即罰函式，該項對模型向量進行“懲罰”，從而避免單純最小二乘問題的過擬合問題。奧卡姆剃刀法則

由上表可以看出，L1正則化比原始的更新規則多出了符號函式這一項。當w為正時，更新後的w變小。當w為負時，更新後的w變大，因此它的效果就是讓w往0靠，使網路中的權重儘可能為0，也就相當於減小了網路複雜度，防止過擬合。因此，L1正則化更容易獲得稀疏的權值，L2正則化更容易獲得平滑的權值。

7：分類問題的評價標準

Accuracy ， pression ， recall， F1， ROC， PR，AOE

8：迴歸問題的評價標準

MAE ， MSE

9：常用

F-Score： F=(αα+1)PR / αα(P+R)

是P和R的調和平均值

α=1時，就是F1值， F1=2PR / P+R

準確率 =（預測正確的樣本）/（總樣本）
召回率 = （正類預測為正類）/ (所有真正的正類) 目標預測的全不全