本文是對老闆的一篇壓縮感知文章進行學習的記錄，如有興趣請閱讀原文《壓縮感知理論及其研究進展》

1、引言

數字訊號很重要，所以訊號取樣很重要。
奈奎斯特需要兩倍訊號頻寬，而資訊需求量的增加使得對取樣速率和處理速度的要求也越來越高。
另一方面，之前的壓縮方式浪費了大量取樣資源。
所以要尋找建立新的訊號描述和處理的理論框架，用遠低於奈奎斯特取樣頻率來取樣訊號，完全恢復訊號。

壓縮感知：只要訊號是可壓縮的或者在某個變換域是稀疏的，那麼就可以用一個與變換基不相關的觀測矩陣將變換所得高維訊號投影到一個低維空間上，然後通過求解一個優化問題就可以從這些少量的投影中以高概率重構出原訊號。該理論下，取樣速率不決定於訊號的頻寬，而決定於資訊在訊號中的結構和內容。
壓縮感知中，影象/訊號的取樣和壓縮同時以低速率進行，感測器的取樣和計算成本大大降低。該理論指出了將模擬訊號直接壓縮為數字形式的有效途徑。理論上任何訊號都具有可壓縮性，只要能找到其相應的稀疏表示空間，就可以有效地進行壓縮取樣。

2、壓縮感知理論框架及其主要進展

211 問題描述

一般而言，可壓縮訊號是指可以用K個大系數很好地逼近的訊號，即在某個正交基下的展開的係數呈現指數衰減，具有非常少的大系數和許多小系數。這種通過變換實現壓縮的方法稱為變換編碼。

這種傳統的以奈奎斯特取樣定理為準則的高速取樣後再壓縮的過程浪費了大量的取樣資源，例如數碼相機具有幾百萬畫素的影象感測器，最後只是用了變換壓縮後的幾百Kbyte的資料。
壓縮感知就可以在不丟失大量資訊的情況下，對訊號降維，即對訊號進行較少採樣得到訊號的壓縮表示，切不經過進行N次取樣的中間過程，節約取樣和傳輸成本。

212 訊號的稀疏表示
稀疏的數學定義：訊號X在正交基ψ下的變換系數向量為Θ

找到訊號最佳的稀疏域，是壓縮感知理論的基礎和前提，這就需要找到合適的基表示訊號，從而保證訊號的稀疏度，保證訊號的恢復精度。
可以通過變換系數衰減速度來衡量變換基的稀疏表示能力。滿足具有冪次速度衰減的訊號，可利用壓縮感知理論來恢復並且重構誤差滿足bulabula。
把變換基是正交基的條件擴充套件到了由多個正交基構成的正交基字典。即在某個正交基字典裡，自適應地尋找可以逼近某一中訊號特徵的最優正交基，根據不同的訊號尋找最適合訊號特性的一個正交基，對訊號進行變換得到最稀疏的訊號表示。
對稀疏表示研究的一個熱點是訊號在冗餘字典下的稀疏分解，這是一種全新的訊號表示理論：用超完備的冗餘函式庫取代奇函式，稱之為冗餘字典，字典中的元素被稱為原子。字典的選擇應儘可能地符合被逼近訊號的結構，其構成可以沒有任何限制。從冗餘字典中找到具有最佳線性組合的K項原子來表示一個訊號，稱作訊號的稀疏逼近或高度非線性逼近。
超完備庫下的訊號稀疏表示引入了匹配追蹤演算法，說明了超完備冗餘字典對訊號表示的必要性，字典的構成應儘量符合訊號本身所固有的特性。
訊號在冗餘字典下的稀疏表示集中在兩個方面：一是如何構造一個時候某一類訊號的冗餘字典。二是如何讓設計快速有效的稀疏分解演算法。
從非線性逼近角度來講，訊號的稀疏逼近包含兩個層面：一是根據目標函式從一個給定的基庫中挑選好的基；二是從這個好的基中挑選最佳的K項組合；
從冗餘字典的構成來講，區域性Cosine基刻畫聲音訊號，bandlet基刻畫影象幾何邊緣，Gabor基刻畫紋理等。
稀疏分解演算法包括基於貪婪迭代的MP演算法，基追蹤（BP）演算法，小波字典分解，正交匹配追蹤演算法（OMP）等。

2.3觀測矩陣的設計
壓縮感知理論中，通過變換得到訊號的稀疏係數向量後，需要設計壓縮取樣系統的觀測部分。觀測器的設計目的是如何取樣的到M個觀測值，並保證能從中重構出長度為N的訊號X或者基Ψ下等價的稀疏係數向量。


由於M遠遠小於N，即方程的個數少於未知數的個數，這是一個欠定問題，一般無確定解，但如果稀疏係數Θ具有k項稀疏性（K遠遠小於M），則該問題有望求出確定解。有限等距性質（RIP）給出了存在確定性解的充要條件，要求從觀測矩陣中抽取的每M個列向量構成的矩陣是非奇異的，問題的關鍵是如何確定非零係數的位置。
判斷是夠具有RIP性質很複雜，如果觀測矩陣和稀疏基Ψ不相干，則很大概率滿足RIP，故觀測矩陣可選擇高斯隨機矩陣。
使用觀測矩陣觀測後，僅能保證以很高的概率去恢復訊號，而不能保證百分百地精確重構訊號。

2.4 訊號重構
由於觀測數量M遠小於訊號長度N，因此不得不面對求解欠定方程組Y=ACSX 的問題。訊號X是稀疏的或可壓縮的，這個前提使得問題可解。而觀測矩陣具有RIP性質也為從M個觀測值中精確恢復訊號提供了理論保證。
匹配追蹤（MP）和正交匹配追蹤（OMP）演算法來求解優化問題重構訊號，大大提高了計算的速度，且易於實現。樹形匹配追蹤（TMP）演算法考慮訊號的多尺度分解時悉數訊號在各子帶位置的關係，將稀疏係數的樹型結構加以利用，提高了精度和速度。
總之，目前為止的重構演算法都可歸入以下三大類：
（1）貪婪追蹤演算法：這類方法是通過每次迭代時選擇一個區域性最優解來逐步逼近原始訊號。這些演算法包括MP演算法，OMP演算法，分段OMP演算法，和正則化OMP演算法
（2）凸鬆弛法：這類方法通過將非凸問題轉化為凸問題求解找到訊號的逼近，如BP演算法，內點法，梯度投影方法和迭代閾值法
（3）組合演算法：這類方法要求訊號的取樣支援通過分組測試快速重建，如傅立葉取樣，鏈式追蹤和HHS追蹤
每類方法有其固有的優缺點。

3壓縮感知理論推廣及其應用

3.1訊號在冗餘字典上的壓縮感知理論
在壓縮感知理論中，訊號越稀疏，恢復訊號就越準確。而對於具有複雜特徵的信如自然影象、聲音訊號來說。固定的正交基又是不足以捕獲訊號的多種特徵，使影象在變換域足夠稀疏。
壓縮感知理論的一個重要前提是要找到訊號的稀疏域，這直接關係到訊號的重構精度，大量的研究表明超完備冗餘字典下的訊號稀疏表示更加有效。將壓縮感知中的稀疏表示從固定正交基擴充套件到冗餘字典。在冗餘字典下稀疏的訊號可以通過BP演算法從少量的隨機觀測值中會讀出來，且現有的大多數重構演算法仍然適用，增強了訊號的稀疏性，可以以更高的概率從更少的觀測中恢復訊號。
缺點是冗餘字典中的原子數量一般很大，穩定性和計算複雜度高有待進一步解決。

3.2 資訊取樣理論
壓縮感知理論在模擬訊號向數字資訊轉換過程中有巨大作用，更有基於壓縮感知理論的模擬訊號的直接資訊取樣方法，模擬-資訊取樣（AI）理論。利用寬頻偽隨機解調器和低速取樣器，開發出一套使用的模擬-資訊轉換器（AIC）的設計框架。

3.3 壓縮感知理論初步應用