寫在前面

SciPy的optimize模組提供了許多數值優化演算法，下面對其中的一些記錄。

非線性方程組求解

SciPy中對非線性方程組求解是fslove()函式，它的呼叫形式一般為fslove(fun,x0)，fun是計算非線性方程組的誤差函式，它需要一個引數x，fun依靠x來計算線性方程組的每個方程的值（或者叫誤差），x0是x的一個初始值。

"""
計算非線性方程組：
  5x1+3 = 0
  4x0^2-2sin(x1x2)=0
  x1x2-1.5=0
"""
## 誤差函式
def fun(x):
  x0,x1,x2 = x.tolist()
  return[5*x1+3,4x0^2-2sin(x1x2),x1x2-1.5]

result = optimize.fsolve(fun,[1,1,1])
## result
[-0.70622057  -0.6  -2.5]

在計算非線性方程中的解時，比如像座標上升演算法，其中需要用到未知數的導數，同樣，scipy的fslove()也提供了fprime引數傳遞未知數的雅各比矩陣從而加速計算，傳遞的雅各比矩陣每一行時某一方程對各個未知數的導數。對於上面的例子，我們可以寫下如下的雅各比矩陣傳入。

def j(x):
  x0,x2 = x.tolist()
  return[[0,5,0],[8*x0,-2*x2*cos(x1*x2],[0,x2,x1]]

result = optimize.fsolve(fun,1],fprime=j)
#result
[-0.70622057  -0.6  -2.5]

scipy的內部在實現fslove時應該時應該是利用了座標上升演算法或者梯度相關優化演算法，但本人沒有考證，有興趣的可以看看原始碼。

最小二乘擬合

關於最小二乘演算法的理論這裡並不想談，網上解釋的文章也挺多，在 optimize模組中，可以使用leastsq()對資料進行最小二乘擬合計算。 leastsq()的用法很簡單，只需要將計箅誤差的函式和待確定引數的初始值傳遞給它即可。

x = np.array([8.19,2.72,6.39,8.71,4.7,2.66,3.78])
y = np.array([7.01,2.78,6.47,6.71,4.1,4.23,4.05])
def residual(p):
  k,b = p
  return y-(k*x+b)
r = optimize.leastsq(residual,0])
k,b = r[0]
# print k
.613495349193
# print b
.79409254326

def func(x,p):
  """
    計算的正弦波 ：A*sin(2*pi*k*x+theta)
  """
  A,k,theta = p
  return A*sin(2*np.pi*k*x+theta)

def redis(p,y,x):
  return y-func(x,p)

x = np.linspace(0,2*np.pi,100)
A,theta = 10,0.34,np.pi/6
y0 = func(x,[A,theta])
# 加入噪聲
np.random.seed(0)
y1 = y0+2*np.random.randn(len(x))
p0 = [7,0.40,0]
# p0是A,theta的初始值，y1，x要擬合的資料
plsq = optimize.leastsq(redis,p0,args=(y1,x))
print [A,theta] #真是的引數值
print plsq[0]  #擬合後的引數值

對於像正弦波或者餘弦波的曲線擬合，optimize提供curve_fit()函式，它的使用方式和leastq()稍有不同，它直接計算曲線的值，比如上面的擬合正弦波可以用cureve_fit()來寫。

def func2(x,theta = p
  return A*sin(2*np.pi*k*x+theta)
ret,_=optimize.curve_fit(func2,x,y1,p0=p0)

該函式有一個缺點就是對於初始值敏感，如果初始頻率和真實頻率值差太多，會導致最後無法收斂到真是頻率。

區域性最小值

optimize模組還提供了常用的最小值演算法如：Nelder-Mead、Powell、CG、BFGS、Newton-CG等，在這些最小值計算時，往往會傳入一階導數矩陣(雅各比矩陣)或者二階導數矩陣(黑塞矩陣)從而加速收斂，這些最優化演算法往往不能保證收斂到全域性最小值，大部分會收斂到區域性極小值。這些函式的呼叫方式為:

optimize.minimize(target_fun,init_val,method,jac,hess) 
target_fun：函式的表示式計算； 
init_val：初始值； 
method：最小化的演算法； 
jac：雅各比矩陣 
hess：黑塞矩陣。

全域性最小值演算法

全域性最小值使用optimize.basinhopping()來實現，這個函式首先要定義一個誤差計算方式，比如平方誤差函式，niter時迭代的次數，最後還需要一個區域性極小值優化方法，minimizer_kwargs傳入。比如上面的正弦函式擬合：

def func1(x,theta = p
  return A*sin(2*np.pi*k*x+theta)
def func_error(p,x):
  return np.sum((y-func1(x,p)**2)
result = optimize.basinhopping(func_error,niter=10,minimizer_kwargs={"method":"L-BFGS-B","args":(y1,x1)})
## [1,1]是傳入的初始值，args是需要擬合的資料

以上這篇python科學計算之scipy——optimize用法就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支援我們。