最小二乘法（又稱***最小平方法***）是一種數學優化技術。它通過最小化誤差的平方和尋找資料的最佳函式匹配。利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小。最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。

1. 為了更好的理解這個方法，我來舉一個栗子。比如你今天晚上吃的很多，想去稱一下自己的體重。於是站到體重稱上去稱一下，體重器顯示65（kg），你心想：怎麼這麼重！一定是體重稱下的地面不平。於是你挪動了一下體重稱，又稱了以下，66（kg）! “這不可能！”你說，“肯定是體重秤壞了”。你又去樓下商店去稱…

2. 假設你這幾次稱的體重為：X1 = 65，X2 = 66，X3=64 …（單位：kg） 現在問題來了，那我現在究竟是多重呢？我該取哪個值作為我的體重更合適？ 按照你的直覺你應該會取這些體重值的平均值：

   那這樣做到底對不對呢？我們來看一下最小二乘法是怎樣做的。

3. 最小二乘法

   假設你真實的體重是X，這個數值真正是多少沒人知道，你只能通過測量來估計。根據前面講的，你幾次的測量值為：X1 = 65，X2 = 66，X3=64 …（單位：kg）。那你每次測量的的誤差|X-Xi|，為了計算方便我們去誤差的平方（這也就是二乘or平方的來源）。

最小二乘法就是說當我們實驗的次數趨向無窮大時（N->+∞，如果總體空間有無窮大）這個誤差的和ε最小時的X值就是真值，也就是說能讓ε取最小值時的X就是真值。但是我們不可能做無窮次實驗，所以我們每次做有限次實驗並且根據最小二乘法得到的X值，都是真值的無偏估計，我們認為這個估計值就能代表真值，並且這些無偏估計值的期望值就是真值

下面我們算一下ε的最小值，我們可以看出來，當X小於真值時ε會變大，當X大於真值時ε也會變大，所以ε存在最小值。下面給出過程：

這時我們可以發現，之前我們的用平均值來作為我們身高的估計值是正確的！

另外：算數平均值是最小二乘法的一個特殊情況。