設訓練樣本集（xi，yi），i=1,2….n，我們需要求出一個線性迴歸函式f(x)=wTx ，使得對測試樣本（x，y），能用f(x) 估計y

此時目標函式表示為：

對w求偏導，得：

求w必須要求矩陣的逆，矩陣求逆是一個非常耗時的過程，因此，如果w的求解可以用一種計算複雜度低的方法來解決，那麼整個演算法的時間複雜度就會大大降低。

所以KCF的作者提出，利用迴圈矩陣對角化的性質和離散傅立葉變換和逆變換，來化簡計算。

迴圈矩陣對角化及其性質在後面有簡單介紹。

為化簡計算，將輸入X表示為迴圈矩陣的形式，則XHX 的特徵值為x^⨀x^∗ ,I 本身就是一個迴圈矩陣，其生成向量記為δ 所以原式可表示為：

根據迴圈矩陣求逆性質，可以把矩陣求逆轉換為特徵值求逆。

利用F的酉矩陣性質消元：

反用對角化性質

然後利用卷積性質得到：

由於x^⨀x^∗的每個元素都是實數，所以共軛不變，最終

這樣，線性迴歸係數ω就可以通過向量的傅立葉變換和對位乘法計算得到。

核迴歸訓練提速

核迴歸方法的迴歸式為：

設核相關矩陣的生成向量是k。推導和之前線性迴歸的套路非常類似：

利用迴圈矩陣卷積性質，可得：

這裡k是核相關矩陣的第一行，表示原始生成向量x0和移位了i的向量xi的核函式。

附：迴圈矩陣對角化

任意迴圈矩陣可以被傅立葉變換矩陣對角化。

X表示迴圈矩陣，C（x）表示由原向量x生成的迴圈矩陣X，x^是向量x的傅立葉變換，F是傅立葉變換矩陣，上標H表示共軛轉置：XH=(X∗)T

離散傅立葉矩陣F
當K（矩陣尺寸）=4時，

離散傅立葉矩陣的性質

• 對稱性：是對稱矩陣
• 滿足FFH=FHF=I，即酉矩陣（unitary）

• 轉置：迴圈矩陣的轉置也是一個迴圈矩陣，其特徵值和原特徵值共軛。即
  

• 卷積：迴圈矩陣乘向量等價於生成向量的逆序和該向量卷積，可進一步轉化為傅立葉變換後的向量點乘。
  

• 求逆：迴圈矩陣的逆，等價於將其特徵值求逆。