Batch Gradient Descent and Stochastic Gradient Descent
機器學習
公開課 Ng
http://v.163.com/movie/2008/1/M/C/M6SGF6VB4_M6SGHFBMC.html
https://class.coursera.org/ml-007
參考書是:
Stanford cs229的參考講義
統計學習方法-李航
Machine Learning-Tom Mitchell
涉及到的語言有c/c++、octave、matlab等
1-
機器學習:
A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.
對於某類任務T和效能度量P,如果一個計算機程式在T上以P衡量的效能隨著經驗E而自我完善,我們稱這個計算機程式在從經驗E學習
監督學習(supervised learning)和非監督學習(unsupervised learning)
兩者的區別在於:
監督學習是對具有概念標記(分類)的訓練樣本進行學習,以儘可能對訓練樣本集外的資料進行標記(分類)預測。這裡,所有的標記(分類)是已知的。因此,訓練樣本的岐義性低。
非監督學習:對沒有概念標記(分類)的訓練樣本進行學習,以發現訓練樣本集中的結構性知識。這裡,所有的標記(分類)是未知的。因此,訓練樣本的岐義性高。聚類就是典型的無監督學習
分類(classification)和迴歸(regression)
兩者的區別在於:
分類的樣本是離散的,而回歸是連續的。
線性迴歸
梯度下降
組梯度下降
隨機梯度下降
標準方程推導