Logistic迴歸:牛頓迭代法
阿新 • • 發佈:2019-01-08
Logistic迴歸與牛頓迭代法
很早之前介紹過《無約束的最優方法》裡面介紹了梯度下降法和牛頓迭代法等優化演算法。
同時大家對於Logistic迴歸中的梯度下降法更為熟悉,而牛頓迭代法對數學要求更高,所以這裡介紹如何在Logistic迴歸問題中使用牛頓迭代法。
似然函式與代價函式
似然函式則是
然後我們的目標是求出使這一似然函式的值最大的引數,最大似然估計就是求出引數.
對上式兩邊取log或者ln就可以得到熟悉的代價函數了。
其中
偏導函式為
這是一個多元函式,變元就是
Hessian矩陣
極值點的導數一定為零,所以我們可以列出n+1個方程,聯立解出所有的引數
首先,用Hessian矩陣判斷極值的存在性,方程組如下: