1.最小二乘法

最小二乘法的定義

簡單的定義：有一個點集，在座標軸上可以用一條直線 $f(t)=at+b$ 來進行擬合。通過點集上的點到直線的距離最小的和：
$M=\sum\limits^n_{i=0} {|y_i-f(t_i)|}$
來確定這條直線是否為最合適的。
這種根據偏差的平方和為最小的條件來選擇常數a、b的方法就做最小二乘法。

多元函式的極值及其求法

設函式 $z=f(x,y)$ 在點$(x_0,y_0)$ 具有偏導數，且在點$ (x_0,y_0)$處有極值，則有
$f_{}$

最小二乘法的求解方法

把上述的求和函式看成與自變數a和b相對應的因變數，可以歸結為函式
$ M=M(a,b)$
要求得M的最小值
可以通過以下的方程組進行求解a,b

\begin{cases}
M_a(a,b)=0,\
M_b(a,b)=0
\end{cases}
求得 a和b的值，就可以得到一個經驗公式進行值的估計。

2.全概率公式

全概率公式的條件：
設$B_1,B_2,...$為有限或無限個事件，他們兩兩互斥且在每次試驗中至少發生一個，用式表之：
$B_iB_j=\varnothing(不可能時間)，當i\neq j $
$B_{}$

一般理解，事件A時在$某種事件途徑B_i$條件下產生的，但時那種途徑時隨機的，所以事件A發生的綜合概率$P(A)$應該在$P(A|B_i)$的最大和最小值之間，但也不一定是算數平均，這裡取的是加權平均。

3.貝葉斯公式

貝葉斯公式推導
$P(B|A) = P(AB_i)/P(A)$
$P(B|A) = P(B_I)P(A|B_i)/\sum\limits_j{P(B_j)P(A|B_j)}$

如果我們把事件A看成“結果”，把諸事件$B_1,B_2,...$看成導致這結果的可能的“原因”，則可以形象地把全概率公式看作成為“由原因推結果”；而貝葉斯公式則恰好相反，起作用在於“由結果推原因”；現有一個結果“A”已經發生，在眾多可能的“原因”中，到底是哪一個導致了這結果？貝葉斯公式說，個原因可能性大小與$P(B_i|A)$成比例

4.協方差