最優化學習筆記（六）——牛頓法性質分析

一、牛頓法存在的問題

在單變數的情況下，如果函式的二階導數f′′<0，牛頓法就無法收斂到極小點。類似的，在多變數的情況下，目標函式的hessian矩陣F(x(k))非正定，牛頓法的搜尋方向並不一定是目標函式值的下降方向。甚至在某些情況下F(x(k))>0，牛頓法也不具有下降特性。比如，當初始點遠離目標函式極小值點時，就有可能出現這種情況。
牛頓法雖然有上述缺陷，但是如果初始點離極小值點比較近，牛頓法將表現出相當好的收斂特性。

二、兩個定理

首先選定目標函式為二次型函式f,牛頓法只需一次迭代就可以從任意點收斂到極小點。令目標函式如下：

f(x)=1

2xTQx−xTb
它的梯度和hessian矩陣分別是：
g(x)=∇f(x)=Qx−bF(x)=Q
當∇f(x)=0時，可求得f的極小值點x∗，且x∗=Q−1b。
利用牛頓法迭代公式可得：
x(1)=x(0)−F(x(0))−1g(x(0))=x(0)−Q−1[Qx(0)−b]=Q−1b=x∗
下邊直接給出定理1：
定理1 函式f三階連續可微，點x∗∈Rn滿足∇f(x∗)=0, 且F(x∗) 可逆，那麼對於所有與x∗,足夠接近的x(0), 牛頓法能夠正常執行，且至少以階數2的收斂率收斂到x∗。

上述定理證明略過。上述定理說明如果初始點離極小值點比較近，牛頓法將表現出相當好的收斂特性。否則，可能導致hessian矩陣為奇異矩陣，方法失效。

先給出定理2，然後再解決上述問題。
定理2 {x(k)}是為利用牛頓法求解目標函式f(x)極小點時得到的迭代點序列，如果F(x(k))>0且g(x(k))=∇f(x(k))≠0,那麼從點x(k)到點x(k+1)的搜尋方向

d(k)=−F(x(k))−1g(x(k))=x(k+1)−x(k)
是一個下降方向，即存在一個a¯>0,使得對於所有α∈(0,a¯), 都有
f(x(k)+αd(k))<f(x(k))
成立。

三、牛頓法的修正

根據定理2，可以對牛頓法的修正如下：

x(k+1)=x(k)−αkF(x(k))−

最優化學習筆記（六）——牛頓法性質分析

一、牛頓法存在的問題

二、兩個定理

三、牛頓法的修正

最優化學習筆記（六）——牛頓法性質分析

最優化學習筆記（五）牛頓法及擬牛頓法

牛頓法與擬牛頓法學習筆記（一）牛頓法

機器學習學習筆記（4）牛頓法擬牛頓法

最優化學習筆記（三）最速下降法

算法學習筆記（六）二叉樹和圖遍歷—深搜 DFS 與廣搜 BFS

機器學習筆記（六）——樸素貝葉斯法的引數估計

MySQL學習筆記（六）—— MySQL自連接

學習筆記（六）

機器學習筆記（六）邏輯回歸

jquery學習筆記（六）插件的編寫

Python學習筆記（六）map/reduce

Unity3D之Mecanim動畫系統學習筆記（六）：使用腳本控制動畫

如鵬網學習筆記（六）ADO.Net基礎

.net core 2.0學習筆記（六）：Remoting核心類庫RealProxy遷移

Python學習筆記（六）

java學習筆記（六）：變量類型

Nginx 學習筆記（六）引入線程池性能提升9倍

Nodejs學習筆記（六）----- 模塊系統和函數

Elasticsearch學習筆記（六）核心概念和分片shard機制

最優化學習筆記（六）——牛頓法性質分析

一、牛頓法存在的問題

二、兩個定理

三、牛頓法的修正

相關推薦