Smoothing spline的數學推導

參考斯坦福統計學習原理 光滑樣條的精髓在於在原本的擬合誤差的基礎上加了一個$\lambda\int\left\{f^{''}(t)\right\}^{2}dt$,這樣就有人問，為什麼這個能達到光滑的作用，如果能達到光滑的作用，那麼他的光滑效果怎麼衡量。以及如何選擇引數$\lambda$的問題

一般的不加入光滑因子的擬合誤差如下式： $RSS(f,\lambda)=\sum_{i=1}^{N}\left\{y_{i}-f(x_{i})\right\}^{2}$

引入$\lambda光滑因子式均方誤差$ $RSS(f,\lambda)=\sum_{i=1}^{N}\left\{y_{i}-f(x_{i})\right\}^{2}+\lambda\int\left\{f^{''}(t)\right\}^{2}dt$其中，$f(x)=\sum_{j=1}^{N}N_{j}(x)\theta_{j}$

，對上式用矩陣的形式表示可得如下形式： $RSS(\theta,\lambda) = (y-N\theta)^{T}(y-N\theta)+\lambda\theta^{T}\Omega_{N}\theta$其中，$\left\{N\right\}_{ij}=N_{j}(x_i)$ , $\left\{\Omega_{N}\right\}_{ij}=\int N_{j}^{''}N_{k}^{''}dt$

，我相信有一部分同學覺得公式來的太突然。當我們將前面$f(x)=\sum_{j=1}^{N}N_{j}(x)\theta_{j}$代入$RSS$的計算公式中，將$\left\{f^{''}(t)\right\}^{2}$分解成$f^{''}(t)*f^{''}(t)$根據矩陣的一些乘積變換即可得到$RSS(\theta,\lambda)$ 然後對$\theta$求導等於0,也就是最小二乘法的思想 $\hat{\theta}=(N^{T}N+\lambda\Omega_{N})^{-1}N^{T}y$將我們得到的$\hat\theta$帶入原來的擬合函式可得$\hat{f}(x)=\sum_{j=1}^{N}N_{j}(x)\hat{\theta_{j}}$ $-----------------分割線----------------$ 在我們進行接下來的分析前我們先回顧一下未引入光滑引數的情況，並一次來探討自由度和光滑矩陣的問題： 設B是一個N*M的矩陣，N代表有N觀測點 此時$\hat f = B(B^{T}B)^{-1}B^{T}y=Hy$ 矩陣H具有對稱，半正定的性質，類似的矩陣$S_{\lambda}$也具有對稱半正定的性質。 矩陣H還是冪等矩陣，所以$H*H=H$這點不難證明，只需要乘一次就能得到，冪等矩陣具有特徵值非1即0的性質，而$S_{\lambda}*S{_{\lambda}}<=S_{\lambda}$，在這裡也能看到矩陣$S_{\lambda}$有著壓縮的作用。 矩陣H秩為M，矩陣S的秩為N，在投影空間中M=trace(H)，這也是基礎函式的個數，類似的我們定義光滑樣條的有效自由度為：$df_{\lambda}=trace(S_{\lambda})$ 有很多討論支援有效自由度的定義，下面進行討論： 將$S_{\lambda}$寫成$Reinsh$形式： $S_{\lambda}=N(N^{T}N+\lambda\Omega_{N})N^{T}\\ =N(N^{T}[I+\lambda N{-T}\Omega_{N}N^{-1}]N)^{-1}N^{T}\\ =(I+\lambda N^{-T}\Omega_{N}N^{-1})^{-1}$也就是說矩陣$S_{\lambda}$