https://blog.csdn.net/weixin_41537599/article/details/80585201

1.Logistic Regression（邏輯迴歸）
邏輯迴歸是機器學習中的一個非常常見的模型， 邏輯迴歸模型其實僅線上性迴歸的基礎上，套用了一個邏輯函式。
邏輯迴歸可以看做是兩步，第一步和線性迴歸模型的形式相同，即一個關於輸入x的線性函式：
第二步通過一個邏輯函式，即sigmoid函式，將線性函式轉換為非線性函式。
2.損失函式
為了訓練邏輯迴歸模型的引數w和b需要一個代價函式，演算法的代價函式是對m個樣本的損失函式求和然後除以m：


3.為什麼邏輯迴歸的損失函式是這樣的形式
我們假定輸入樣本x，用y^表示訓練樣本x條件下預測y=1的概率，對應的，用1-y^表示訓練樣本x條件下預測y=0的概率，也就是說：

我們可以把這兩個公式合併成一個公式：

可以發現，在y=1時公式右邊等於y^，在y=1時公式右邊等於1-y^。由於log函式是嚴格遞增函式，所以最大化log等價於最大化原函式，上式因此可以化簡為式子，也就是損失函式的負數。

最大化似然函式也就是最小化損失函式。
對於m個樣本的整個訓練集，服從獨立同分布的樣本的聯合概率就是每個樣本的概率的乘積：

同樣的，最大化似然函式也就是最小化代價函式，因此可以去掉負號，併除以一個常數m對代價函式進行適當的縮放，得到：
4.參考資料
以上是解釋在邏輯迴歸中為什麼設定這樣的損失函式，對之後的深度學習的損失函式原理做一定啟發。參考資料是Andrew Ng在Coursera上的neural networks and deep learning課程：
https://www.coursera.org/learn/neural-networks-deep-learning/home/welcome
---------------------  
作者：yidiLi  
來源：CSDN  
原文：https://blog.csdn.net/weixin_41537599/article/details/80585201  
版權宣告：本文為博主原創文章，轉載請附上博文連結！