一個非常好的部落格：

http://jacoxu.com/jacobian%E7%9F%A9%E9%98%B5%E5%92%8Chessian%E7%9F%A9%E9%98%B5/

關於牛頓法：

參考部落格中牛頓發的圖，在求函式的根的問題時，即f(x)=0，用函式的一階導數逼近即可。

相應的，在求極值問題時，即f`(x)=0，用函式的二階導數才可以逼近。也就是黑塞矩陣了。

求函式極值的問題在推導過程中，可以將函式表示式替換成函式的梯度來推導，這樣就跟求根的推導一樣了。

雅克比矩陣對應的函式：輸入為一個向量，輸出也為一個向量，所有輸入與所有輸出的一階導數構成一個矩陣。

雅克比矩陣用於求解方程組的解（多個輸入，多個輸出）

黑塞矩陣對應的函式：輸入為一個向量，輸出為一個值，這個值關於輸入向量中兩兩組合的二階導數構成一個矩陣。

更詳細的一個推導：http://www.cnblogs.com/tbcaaa8/p/4470909.html