【章華燕的達人課】一、機器學習
##1.AI 和機器學習
我研究的方向是深度學習,說實話我對機器學習的瞭解,並不多,還沒有那麼深入,但是直接就跑到了機器學習上,很疑惑,很多知識並不懂。
然後老師講到了這三者的關係,所以學習深度學習之前應該先學習機器學習,然後才能瞭解更多的內容。
所謂“基礎不牢,地動山搖”,目前我們看到的資料集對應的公開演算法都是前輩們調參好的引數,並不能鍛鍊自己的調參的能力,但是真正解決問題的時候,遇到的都是新問題,所以我們如果對演算法瞭解並不深入,很難解決新問題,所以還是應該先從基礎開始。
機器學習演算法在於他的原理,在於演算法優化和調優,如果不懂背後的原理,等於0
##2.基本問題
特點:
演算法以資料和特徵為基礎,是資料驅動的科學;
目標是對資料進行預測與分析;
機器學習已模型方法為中心,並利用統計學習的方法構建模型;
機器學習是以概率論,統計學,資訊理論,計算理論,最優化交叉學科,因此要想在機器學習上有所成績,必須數學過硬
##3.學習的物件
特徵工程
特徵是最後需要輸入到模型中進行訓練的多維資料向量,技巧和方法很多,詳看下一節中。
##4.要素
章老師劃分為4個要素:模型,策略,演算法,特徵(李航老師劃為3個要素,少了一個‘特徵’)
機器學習界流行的一句話:資料和特徵決定了機器學習演算法的上界,而模型和演算法只是逼近這個上界而已。也充分說明,你的演算法效果如何,取決於特徵。
換句話說,資料和特徵確定好了之後,演算法能做到什麼樣子也就確定了。此時好與壞的演算法差別可能在於誰更接近基於這個資料和特徵的效果上限
##5.建模過程
###經驗風險
求解模型函式的過程使用的是經驗風險最小化,實際上再真正的常見演算法的實現過程中使用的是另外一種原則,結構風險最小化。
求解出來的損失函式的對應的θ對應的就是經驗風險最小化。該策略認為經驗風險最小的模型就是最優的模型。極大似然估計就是一個典型的例子。
當模型是條件概率分佈,損失函式是對數損失函式的時候,經驗風險最小化與極大似然估計等價
在樣本數量足夠大的情況下,經驗風險最小化求解出來的模型能夠取得不錯的預測效果
###結構風險
與經驗風險對應的就是結構風險最小化,是為了防止過擬合而提出的策略,等價於正則化
結構風險最小化 = 經驗風險最小化 + 正則項
KaTeX parse error: Expected 'EOF', got '\lambdaJ' at position 47: …L(y_i,f(x_i) + \̲l̲a̲m̲b̲d̲a̲J̲(f)
其中是模型的複雜度,正則項就是懲罰複雜的模型,值隨著模型的複雜度的增大而增大,這樣才能起到抑制的作用。
結構風險小的模型,往往對訓練資料以及未知的測試資料都有較好的效果。