Stanford機器學習---第一週.監督學習與梯度下降
假期繼續撿起Coursera上Andrew Ng的《Machine Learning》課程,去年同一時間學過一點點,這假期爭取結課。
視訊講的內容還是蠻多的,寫在講義上的知識點太零散,每週的課程做一個梳理和總結,感興趣的可以參考下滴~
第一週
第一講 引言(Introduction)
1.機器學習是目前資訊科技中最激動人心的方向之一;
機器學習是人工智慧AI(Artificial Intelligence)的核心;
應用舉例:資料探勘Database Mining、手寫識別handwriting recognition、計算機視覺Computer Vision等。
2.定義:Field of study that gives computers the ability to learn without being explicitly programmed.
i.e.A computer program is said to learn from experience E with respect to some task T and some performance measure P,if its performance on T ,as measured by P,improves with experience E.
舉個例子理解下TPE:
①跳棋人機對弈:Task-------跳棋任務.
Performance measure------和新對手玩跳棋時贏得概率.
Experience-------你和計算機玩10次-1000次的跳棋遊戲.
②郵件垃圾分類:Task-------Classifying emails as spam or not spam.
Perform measure--------The number of emails correctly classified as spam/not spam.(成功的頻數or概率)
Experience-------Watching you label emails as spam or not spam.
★★★3.機器學習演算法可以分為監督學習和非監督學習兩大類。
監督學習Supervised learning:給定演算法一個數據集,並且給定正確的答案;
非監督學習Unsupervised learning:只給定資料集,沒有給定正確答案;
監督學習有2大類:迴歸問題和分類問題。
①迴歸問題Regression:預測一個連續值的屬性(擬合)
②分類問題Classification:預測一個離散的輸出值(0-1)
非監督學習:聚類分析clustering
第二講 一元線性迴歸問題(Linear regression with one variable)
1.代價函式(平方誤差函式)J
例如:一元線性擬合(迴歸)
假設/擬合函式Hypothesis:
引數Parameter:
代價函式Cost Function:
目標Goal:
★★★2.梯度下降演算法Gradient descent algorithm
原理:初始化一個值,沿偏導數方向下降直至代價函式收斂(或找到區域性最優解)
演算法:
repeat until convergence{
}
其中,J為代價函式,以一元線性代價函式為例;
α為學習速率learning rate,可以理解為下降的步伐大小;
盜圖兩張,方便理解:
3.正交方程
如果資料集較小,也可以採用這種方法,後面再介紹~
第三講 線性代數回顧Linear algebra review
較基礎,大一的課程,跳過~
第一週的課程就到這裡了╰( ̄▽ ̄)╮筆者繼續學習第二週的課程了,有興趣的一起來唄~