1. 程式人生 > >關於邏輯回歸和感知器一些基礎知識的理解

關於邏輯回歸和感知器一些基礎知識的理解

最大 基礎知識 tro 分類函數 學習 分類 概率 深入 顯式

1.貝葉斯學派和頻率學派

在數理統計領域,貝葉斯學派和頻率學派兩派爭論已久,關於兩派的具體思想不做深入研究,僅探討它們在機器學習中的一點粗淺的應用。

機器學習中的樸素貝葉斯方法和邏輯回歸相比,樸素貝葉斯判據需要一個事件的先驗概率和相應的類條件概率,可用貝葉斯公式看出。

而邏輯回歸,使用的是最大似然的思想,它不考慮條件的先驗分布,將其視為均勻的分布。通過sigmod函數,將數量轉化為概率,然後通過

概率的獨立分布,進而得到代價函數。其實它實質上還是一個超平面分類器,只不過代價函數不直接顯式得由樣本到平面的距離範數來度量,

不過還是可以轉化為這種形式。

2.感知器和邏輯回歸

其實,對於二分類問題,線性的分類器都是尋找一個最優的超平面進行劃分。只不過代價函數、分類函數有所區別。

從感知器發展,進而產生了邏輯回歸和SVM的思想。感知器由於階躍的分類函數在原點處不可導,進而產生了用sigmod代替的邏輯回歸。最後,

發展出了判定最優超平面的SVM方法。

關於邏輯回歸和感知器一些基礎知識的理解