Projection Method

趁著還沒忘，趕緊記錄一下我對projection method的理解

考慮線性方程組

\[Ax=b \]

這裡\(A \in \mathbb{R}^{n \times n}\)，\(x\)為變數，\(b\)為右端項(right hand side, RHS)。投影法的概念是從\(\mathbb{R}^n\)的（搜尋）子空間\(\mathcal{K}\)(subspace of candidate approximate)中得到近似解，若該子空間的維度為\(m\)，那麼還得補充\(m\)個約束（可以想想約束的作用）。約束一般定義為殘差 \(b-Ax\) 向量正交與\(m\)個線性獨立的向量。這些約束向量構成了維度為\(m\)

的約束空間\(\mathcal{L}\)(subspace of constraints)。

投影法分為正交(orthogonal)投影和斜(oblique)投影，區別在於解子空間\(\mathcal{K}\)和殘差子空間\(\mathcal{L}\)的選取，正交投影：\(\mathcal{K}=\mathcal{L}\)，斜投影中\(\mathcal{K}\)不等於\(\mathcal{L}\)，甚至毫無關係。

投影法的計算策略：

\[\text{Find } \hat{x} \in \mathcal{K}, \quad \text{such that} \quad b-A\hat{x} \perp \mathcal{L} \]

一般迭代求解的啟動需要初始值\(x_0\)

，此時近似解在仿射空間\(x_0+\mathcal{K}\)中尋找，即：

\[\text{Find } \hat{x} \in x_0+\mathcal{K}, \quad \text{such that} \quad b-A\hat{x} \perp \mathcal{L} \]

假設近似解為 \(\hat{x} = x_0 + \delta\)，初始殘差向量為：

\[r_0 = b - A x_0 \]

因此

\[b - A\hat{x} = r_0 - A\delta \perp \mathcal{L} \]

換而言之

\[\hat{x} = x_0 + \delta, \quad \delta \in \mathcal{K} \\(r_0 - A\delta, w) = 0, \quad \forall w \in \mathcal{L} \]

上述的正交條件用圖解釋為：

我的理解：對於定義的空間 \(\mathcal{K}\) 和 \(\mathcal{L}\)，以及初始值 \(x_0\)，初始值產生的殘差向量為 \(b-Ax_0\)，現在需要想辦法將殘差向量的長度（2-範數）降低到一定程度。在原解空間中搜索近似解過於複雜，轉而在子空間 \(\mathcal{K}\) 得到校正值 \(\delta\)，使得 \(\hat{x} = x_0 + \delta\) 產生的殘差向量在空間 \(\mathcal{L}\) 上的投影長度為0，也相當於殘差空間的某 \(m\) 個獨立方向上的殘差分量降為0。然後更新子空間 \(\mathcal{K}\) 和 \(\mathcal{L}\)，消除另外 \(m\) 個方向上的殘差，到達一定水平後結束搜尋，最終近似解為：\(\widetilde{x} = x_0 + \delta_1 + \delta_2 + ... + \delta_n \ (\delta_i \in \mathcal{L}_i)\)

另，對於斜投影有結論：一次投影步驟完成後，殘差向量的2-norm不會超出初始殘差向量的2-norm，即

\[\|r\|_2 \leq \|r_0\|_2 \]

而正交投影的收斂性結論就不一樣

---

---

最後更新於 2022年2月13日 --- 最初發表於 2022年2月13日
原創作者：LitBro
關於作者：天！2022年了！
本文連結: [https://www.cnblogs.com/LitBro/p/15890829.html]
版權宣告：本文采用 BY-NC-SA協議，轉載或引用請註明出處!
關於後續：礙於學業不精，如有描述不當，還請見諒並非常感謝指出