1. 程式人生 > >Stanford機器學習---第一週.監督學習與梯度下降

Stanford機器學習---第一週.監督學習與梯度下降

   假期繼續撿起Coursera上Andrew Ng的《Machine Learning》課程,去年同一時間學過一點點,這假期爭取結課。

   視訊講的內容還是蠻多的,寫在講義上的知識點太零散,每週的課程做一個梳理和總結,感興趣的可以參考下滴~

第一週

第一講 引言(Introduction)

1.機器學習是目前資訊科技中最激動人心的方向之一;

   機器學習是人工智慧AI(Artificial Intelligence)的核心;

   應用舉例:資料探勘Database Mining、手寫識別handwriting recognition、計算機視覺Computer Vision等。

2.定義:Field of study that gives computers the ability to learn without being explicitly programmed.

i.e.A computer program is said to learn from experience E with respect to some task T and some performance measure P,if its performance on T ,as measured by P,improves with experience E.

舉個例子理解下TPE:

①跳棋人機對弈:Task-------跳棋任務.

Performance measure------和新對手玩跳棋時贏得概率.

Experience-------你和計算機玩10次-1000次的跳棋遊戲.

②郵件垃圾分類:Task-------Classifying emails as spam or not spam.

Perform measure--------The number of emails correctly classified as spam/not spam.(成功的頻數or概率)

Experience-------Watching you label emails as spam or not spam.

★★★3.機器學習演算法可以分為監督學習和非監督學習兩大類。

監督學習Supervised learning:給定演算法一個數據集,並且給定正確的答案;

非監督學習Unsupervised learning:只給定資料集,沒有給定正確答案;

監督學習有2大類:迴歸問題和分類問題。

①迴歸問題Regression:預測一個連續值的屬性(擬合)

②分類問題Classification:預測一個離散的輸出值(0-1)

非監督學習:聚類分析clustering

第二講 一元線性迴歸問題(Linear regression with one variable)

1.代價函式(平方誤差函式)J

                   

例如:一元線性擬合(迴歸)

假設/擬合函式Hypothesis:

                                            

引數Parameter:

                                          

代價函式Cost Function:

                                           

目標Goal:

★★★2.梯度下降演算法Gradient descent algorithm

原理:初始化一個值,沿偏導數方向下降直至代價函式收斂(或找到區域性最優解)

演算法:

       repeat until convergence{

          

      }

      其中,J為代價函式,以一元線性代價函式為例;

      α為學習速率learning rate,可以理解為下降的步伐大小;

盜圖兩張,方便理解:



3.正交方程

   如果資料集較小,也可以採用這種方法,後面再介紹~

第三講 線性代數回顧Linear algebra review

較基礎,大一的課程,跳過~

第一週的課程就到這裡了╰( ̄▽ ̄)╮筆者繼續學習第二週的課程了,有興趣的一起來唄~