一、最小二乘法的基本原理

在研究分析的過程中，經常要對一些研究物件構建數學模型來進行分析。通常在建模過程中有機理法建模和通過資料驅動的方式建模。因此怎樣確定系統的數學模型及引數———即系統辨識問題就自然被提了出來。
問題的提出：

二、最小二乘法數學模型

用最小二乘法（Least Squares Method，簡稱LS）進行引數估計，首先要指定模型類，通常情況下，採用差分方程來描述被辨識系統，且假定系統的階次已知。

三、加權最小二乘法

如果考慮到在不同時刻、不同環境下，資料的價值不同，這時可引入“加權因子”，即修正係數，對不同次的資料進行修正。

四、對於測試訊號的要求

系統可以辨識的條件：輸入訊號必須是持續激勵訊號

。

五、最小二乘估計值的統計性質

最小二乘估計把引數估計問題轉化成了確定性最優化問題。在求解過程當中並沒有涉及到噪聲問題。









5、結論

一種引數估計方法如果具有無偏性、一致性和有效性，那麼這種估計方法就是一種好的估計方法。

若所面向的數學模型是ARX模型，則最小二乘估計一定具有無偏性、一致性和有效性。最小二乘法是一種非常完美的引數估計方法。

六、最小二乘法的遞推演算法

遞推最小二乘法（Recursive Least Squares Method）


遞推演算法的公式推導：






遞推演算法的啟動：

七、最小二乘法的實時演算法

“實時”的含義：
⑴ 及時，計算速度快，在指定時間內完成一次估計，上述的無限增長記憶的遞推最小二乘法就具備了很好的及時性；

⑵ 真實，能準確地反映系統的當前特性（如時變引數等），也就是說，要能夠適應系統本身或環境變化，所以實時演算法也叫做適應演算法。
從原理上講，隨著觀測資料的增加，通過不斷地遞推估計，模型引數的估計精度將不斷提高（根據一致性），無限增長記憶方式的根據正在於此。
在實際應用中，常常會因為資料量的加大，而使估計精度下降且遠離引數真值。這主要是因為資料飽和現象和系統的時變性引起的。

• 資料飽和現象
  隨著觀測次數的增加，資料越來越多，以至於新資料所提供的資訊被淹沒在舊資料的海洋之中，新資料所起的作用也越來越小，演算法的修正能力也越來越弱。
  
• 時變引數系統

當出現數據飽和後，最終可能會使 PN失去正定性、對稱性，舍入誤差將起主導作用，估計值偏離真值越來越大。

時變引數系統是指系統的動態特性隨時間變化，即系統引數隨時間變化。無限增長記憶的演算法對所有的資料都同等地看待，不能反映當前特性的歷史資料一直在起作用，而反映當前特性的新資料卻起不到足夠的作用。因此，應採取措施去除歷史舊資料的影響，同時加重新資料的份量。
可採用加權最小二乘法來解決以上問題

7.1、漸消記憶的最小二乘遞推演算法

由於歷史資料向前按指數衰減，所以又叫做加指數窗的最小二乘法。
漸消記憶的最小二乘法常用於自適應控制系統，當u=1時，就退化成了無限增長記憶的最小二乘法。

7.2、限定記憶的最小二乘遞推演算法

漸消記憶的最小二乘法舊資料的影響有所減弱，但始終都在起作用。
限定記憶的最小二乘法(Fixed Memory Least Squares Method) 總是使用最近N組觀測資料，每次估計時，當添入一組新的觀測資料時，就丟棄一組最老的資料。因此，也叫做加矩形窗的最小二乘法。這種演算法更適合於時變系統和克服資料飽和。




限定記憶最小二乘法有效地割斷了歷史資料的影響，因此，更有利於克服資料飽和現象，更適用於時變引數系統。
但是資料限定長度N的選擇，只能根據經驗，不同的資料長度N，會直接影響到估計的精度。

八、最小二乘法的侷限性

最小二乘法具有很多優點：
⑴ 適用範圍廣，適用於動態或靜態、線性或非線性、定常或時變系統；
⑵ 可離線辯識，也可線上辨識；
⑶ 將被辨識系統完全視為黑箱，不需要驗前知識，不需要觀測資料提供概率統計方面的資訊；
⑷ 方法簡單，易於實現。

對於ARX模型，最小二乘法的估計值具有無偏性、一致性和有效性。是一種非常好的引數估計方法。
實際工程中，被辨識物件是否都可以描述成ARX模型，如果不是，最小二乘法還能不能使用?