看似最小二乘估計與最大似然估計在推導得到的結果很相似，但是其前提條件必須引起大家的注意！！！

對於最小二乘估計，最合理的引數估計量應該使得模型能最好地擬合樣本資料，也就是估計值和觀測值之差的平方和最小，其推導過程如下所示。其中Q表示誤差，Yi表示估計值，Yi'表示觀測值。

對於最大似然法，最合理的引數估計量應該使得從模型中抽取該n組樣本觀測值的概率最大，也就是概率分佈函式或者說是似然函式最大。顯然，這是從不同原理出發的兩種引數估計方法。因此最大似然法需要已知這個概率分佈函式，一般假設其滿足正態分佈函式的特性，在這種情況下，最大似然估計和最小二乘估計是等價的，也就是說估計結果是相同的，但是原理和出發點完全不同。其推導過程如下所示

最小二乘法以估計值與觀測值的差的平方和作為損失函式，極大似然法則是以最大化目標值的似然概率函式為目標函式，從概率統計的角度處理線性迴歸並在似然概率函式為高斯函式的假設下同最小二乘建立了的聯絡。