https://www.jianshu.com/p/209d73fcb17b 【邏輯迴歸函式模型】 1、線性迴歸連續性不適合離散目標擬合 2、sigmod(S型函式1/(1+e**-z)輸出值始終落在[0,1]的特徵

【邏輯迴歸損失函式】 1、預測函式: g(z) = 1/(1+e**-z),其中z為h(x)=θ(0)+θ(1)*x 2、損失函式:  J(θ) = −y * log(h(x)) − (1 − y) * log(1 − log(h(x)))

(1)、J(θ)=(1/2m)*∑(g(x(i))-y(i))**2為凹函式,無法計算全域性最優解且方程求解難度大 (2)、固設計為能夠巧妙滿足場景的損失函式

【正則化(約束化)】 1、目標:解決過擬合,約束模型引數較小,函式曲線平緩(導數較小),還可以防止特徵丟失 2、正則項：    J(θ)=(1/2m)*[∑(g(x(i))-y(i))**2 + λ∑θ**2] 3、正則項約束數學本質： (1)、損失函式等高線曲線上θ取值差異很大 (2)、正則項保證取得平方和最小的模型函式引數

【參考文件】 Coursera吳恩達機器學習課程 總結筆記及作業程式碼——第3周邏輯迴歸 https://blog.csdn.net/qq_27008079/article/details/70648957?utm_source=blogxgwz0

吳恩達 機器學習筆記七（lecture 7）（正則化Regularization） https://blog.csdn.net/cheneykl/article/details/78685384