邏輯迴歸 (LR) 的假設函式是

是由 sigmoid函式 g(z) 將 z=θ^TX對映到0到1之間。當輸入變數觀測值時，得到hθ(x)的值就是樣本屬於1分類的概率。那麼，假設函式為什麼選取hθ(x)，而hθ(x)的值為什麼是1這個分類的概率呢？

從概率圖模型（Probabilistic Graphical Models, PGM）的角度來看，LR模型是馬爾科夫條件隨機場( Conditional Random Fields, CRF) 的一種簡單模型。首先，馬爾科夫圖模型是一種無向連線圖，與貝葉斯網路不同，它表示的是變數之間的相互影響關係，以影響因子刻畫，而貝葉斯網路表示的是變數之間自然的因果關係。當然，馬爾科夫網路也可以刻畫條件分佈 P(Y|X

條件隨機場的定義：

CRF是一個節點與YUX對應的無向圖，可以將該圖引數化成一系列的因子，這些因子可以表示為一個對數線性模型，即對數線性模型可以看作是對一系列因子的刻畫。為了使網路結構和條件分佈對應，CRF不包含只含X的位勢，即 Di 不只屬於X；刻畫一個條件隨機場如下，和刻畫吉布斯分佈一樣，只是歸一化函式Z（X）有所變化。

 CRF的主要優勢是避免在X上刻畫分佈，這一特性允許引入我們需要的所有觀測變數，而不去考慮它們之間的複雜關係，只需要說明每一個觀測變數對目標變數的影響。

邏輯迴歸模型推導：

針對布林型變數X={X,… Xn},Y={Y}的樸素馬爾科夫模型。成對的位勢由對數線性模型定義，即因子的定義：

單節點Y的位勢定義：

所以

根據條件隨機場的定義計算條件分佈：

其中g(z)為sigmod函式：

所以預測函式的定義為 

其預測值的含義就是樣本屬於1這個分類的概率。

參考文獻：

【1】D. Koller and N. Friedman, "Probabilistic Graphical Models", page 141