周志華機器學習總結
阿新 • • 發佈:2018-11-09
Lecture3 線性模型
基本形式
一般向量形式:
優點:
- 非線性模型可由線性模型通過引入層級結構和高維對映得到
- 具有很好的解釋性(哪一個引數更為重要)
線性迴歸
根據給定資料集,是給定一個線性模型儘可能準確的預測實值的輸出標記
最小化均方誤差的模型求解方法即為最小二乘法
上式中樣本
由多個屬性描述,稱為多元線性迴歸
廣義線性模型
為單調可微函式,當對應輸出不為線性變化時引入
。比如輸出在指數尺度上變化時,引入對數,則輸出就可近似為線性
對數機率迴歸
尋找一個單調可謂的函式將分類任務的真實標記
與線性迴歸函式的預測值聯絡起來,拿2分類任務為例,簡單的方法是選擇單位階階躍函式,但是該函式並不連續,因此選擇類似的對數機率函式
對數機率函式是任意階可導的凸函式
由對數機率函式確定 和
對數機率函式可變化為
令
,則
所以
然後通過最大似然法估計引數,根據給定模型,對數迴歸模型最大化‘對數似然’
即使得m個樣本的預測為真是標記的概率最大
為了表示方便,可以將概率
表示為
表示預測為1的概率,
表示為預測為0的概率,則
所以原式可表示為