《統計學習方法》第1章 課後題答案
阿新 • • 發佈:2019-01-03
1.1 說明伯努利模型的極大似然估計以及貝葉斯估計中的統計學習方法三要素。伯努利模型是定義在取值為0與1的隨機變數上的概率分佈。假設觀測到伯努利模型n次獨立的資料生成結果,其中k次的結果為1,這時可以用極大似然估計或貝葉斯估計來估計結果為1的概率。
解:
三要素分別是模型、策略、演算法。
模型:伯努利模型,即定義在取值為0與1的隨機變數上的概率分佈。
策略:極大似然估計和貝葉斯估計的策略都是對數損失函式,只不過貝葉斯估計使用的是結構風險最小化。
演算法:極大似然估計所使用的演算法是求取經驗風險函式的極小值,貝葉斯估計所使用的演算法是求取引數的後驗分佈,然後計算其期望。
定義 =1
獨立抽取
即求
即得
如果使用貝葉斯估計,則將
那麼根據貝葉斯定理,其後驗分佈為:
上式中分母與
注意,引數為
因此可以看出,
因此,上式的期望(即