雅可比矩陣是以一階偏導數以一定方式排列成的矩陣，其行列式稱為雅可比行列式。

雅可比矩陣的重要性在於它體現了一個可微方程與給出點的最優線性逼近。因此，雅可比矩陣類似於多元函式的導數。

海森矩陣是一個以自變數為向量的實值函式的二階偏導陣列成的方塊矩陣。

此函式如下，f（x1,x2,...,xn）如果f的所有二階導數都存在，那麼f的海森矩陣即：

海森矩陣在牛頓法中的應用：

一般來說，牛頓法主要應用在兩個方面：1.求方程的根；2.最優化

1.求方程的根

並不是所有的方程都有求根公式，或者求根公司很複雜，導致求解困難。利用牛頓法，可以迭代求解。

原理是利用泰勒公式，在x0處展開，且展開到一階，即f(x)=f(x0)+(x-x0)f'(x0)

求解方程f(x)=0,即f(x0)+(x-x0)f'(x0)=0,求解x=x1=x0-f(x0)/f'(x0),因為這是利用泰勒公式的一階展開，f(x) = f(x0)+(x-x0)f'(x0)處並不完全相等，而是近似相等，這裡求得的x1並不能讓f(x)=0,只能說f(x1)比f(x0)更接近f(x)=0.於是，迭代求解的想法就很自然了，進而可以推出xn+1=xn-f(xn)/f'(xn).通過迭代，這個式子必然是在f(x*)=0處收斂。

最優化：

在最優化問題中，對於非線性優化問題，牛頓法提供了一種求解的方法。假設任務是把優化一個目標函式f，求解函式f的極大極小問題。可以轉化為求解函式f的導數f'(x)=0,這樣求可以把優化問題看成方程求解問題(f'=0).剩下的問題就和第一部分提到的牛頓法求解很相似了。

一般認為，牛頓法利用了曲線本身的資訊，比梯度下降更容易收斂（迭代次數更少）。

上面是討論的是2維的情況，高維情況的牛頓迭代公式為：