前言

這個筆記是北大那位老師課程的學習筆記，講的概念淺顯易懂，非常有利於我們掌握基本的概念，從而掌握相關的技術。

正文

Data Mining 是半自動化的 Machine Learning 是自動化的。 Michal Jordon。 ML：A field that bridge computation and statistic，with ties to information theory，signal processing，algorithm，control theory and optimization theory。 簡單地講的話： ML=Matrix +Optimization+Algorithm+Statistics。 本質來說，就是從資料裡面提取資訊的過程。 分解資訊，然後，優化出結果。

迴歸分類

1線性迴歸

y=X T a $y=X^{T}a$

2脊迴歸

min12∗||y−x T a|| 2 +lmada∗a t ∗a $\frac{1}{2}\ast ||y-x^{T}a|{|}^2+lmada\ast a^t\ast a$

3lasso 迴歸

將a的二範數換成一範數

資料集分類

Training Data Validation Data Test Data