壓縮感知和深度學習的區別
阿新 • • 發佈：2019-01-04
本質上是兩個問題。如果一定要找聯絡，兩者都涉及資料的稀疏表達。
壓縮感知解決“逆問題”：Ax=b。對於欠定的線性系統，如果已知解具有稀疏性（sparsity），稀疏性可以作為約束或者正則項，提供額外的先驗資訊。線性逆問題和稀疏性在這類問題中的應用有相對完整的理論體系，樓上 yang liu推薦的 Michael Elad的書是很好的入門教材。
另一類關係密切的問題是低秩矩陣恢復(low-rank matrix recovery)，使用low-rank作為先驗知識，解關於矩陣的線性逆問題，發展出一套理論。
壓縮感知的思想被應用在了更多的領域，比如非線性逆問題。相關的理論正在快速的發展，但是應用已經領先一步。我個人感興趣的是雙線性逆問題（bilinear inverse problem），比如盲反捲積（blind deconvolution）、矩陣分解(matrix factorization)。
在應用壓縮感知的過程中，我們發現大部分訊號本身並不是稀疏的（即在自然基下的表達不是稀疏的）。但是經過適當的線性變換後是稀疏的（即在我們選擇的另一組基（basis）或者框架（frame，我不知道如何翻譯）下是稀疏的）。比如諧波提取（harmonic retrieval）中，時域訊號不稀疏，但在傅立葉域訊號是稀疏的。再比如大部分自然影象不是稀疏的，但經過DCT（離散餘先變換）或者wavelet transform（小波變換），可以得到稀疏的表達。一個一度非常熱門的研究課題是字典學習（Dictionary Learning）和變換學習（Transform Learning），通過大量的訊號例項，自適應地學習稀疏性表達。
深度學習是機器學習的一種手段，參見樓上Stephen Wang的解釋。深度學習中通常都涉及非線性環節。這裡資料表達的目的通常不再是資料恢復（recovery），而是分類（classification）等機器學習的任務。
下面是我理解的區別：
在訊號處理中的稀疏表達學習（sparse representation learning）側重對訊號建模，即目標是獲取原訊號的一個忠實的表達（faithful representation）。我們通常需要變換和逆變換，來實現訊號的重建（reconstruction）。即使在不需要重建的問題中，我們也需要這種表達能夠很好地區分有意義的訊號和無意義的噪聲（discriminate signal against noise）。所以這類變換通常有很多良好的性質（可逆、很好的條件數（condition numer）等）。
深度學習或者更廣泛的機器學習中，資料表達的目標因問題而異，但是通常我們都不需要這種表達過程的可逆性。比如在分類問題中，我們的目標是把資料變換到有“意義”的空間，實現不同類別訊號的分離。這種變換可以是線性或非線性的，可以是可逆或不可逆的，可以變換到稀疏的表達或其他有意義的便於分類的表達。
壓縮感知解決“逆問題”：Ax=b。對於欠定的線性系統，如果已知解具有稀疏性（sparsity），稀疏性可以作為約束或者正則項，提供額外的先驗資訊。線性逆問題和稀疏性在這類問題中的應用有相對完整的理論體系，樓上 yang liu推薦的 Michael Elad的書是很好的入門教材。
另一類關係密切的問題是低秩矩陣恢復(low-rank matrix recovery)，使用low-rank作為先驗知識，解關於矩陣的線性逆問題，發展出一套理論。
壓縮感知的思想被應用在了更多的領域，比如非線性逆問題。相關的理論正在快速的發展，但是應用已經領先一步。我個人感興趣的是雙線性逆問題（bilinear inverse problem），比如盲反捲積（blind deconvolution）、矩陣分解(matrix factorization)。
在應用壓縮感知的過程中，我們發現大部分訊號本身並不是稀疏的（即在自然基下的表達不是稀疏的）。但是經過適當的線性變換後是稀疏的（即在我們選擇的另一組基（basis）或者框架（frame，我不知道如何翻譯）下是稀疏的）。比如諧波提取（harmonic retrieval）中，時域訊號不稀疏，但在傅立葉域訊號是稀疏的。再比如大部分自然影象不是稀疏的，但經過DCT（離散餘先變換）或者wavelet transform（小波變換），可以得到稀疏的表達。一個一度非常熱門的研究課題是字典學習（Dictionary Learning）和變換學習（Transform Learning），通過大量的訊號例項，自適應地學習稀疏性表達。
深度學習是機器學習的一種手段，參見樓上Stephen Wang的解釋。深度學習中通常都涉及非線性環節。這裡資料表達的目的通常不再是資料恢復（recovery），而是分類（classification）等機器學習的任務。
下面是我理解的區別：
在訊號處理中的稀疏表達學習（sparse representation learning）側重對訊號建模，即目標是獲取原訊號的一個忠實的表達（faithful representation）。我們通常需要變換和逆變換，來實現訊號的重建（reconstruction）。即使在不需要重建的問題中，我們也需要這種表達能夠很好地區分有意義的訊號和無意義的噪聲（discriminate signal against noise）。所以這類變換通常有很多良好的性質（可逆、很好的條件數（condition numer）等）。
深度學習或者更廣泛的機器學習中，資料表達的目標因問題而異，但是通常我們都不需要這種表達過程的可逆性。比如在分類問題中，我們的目標是把資料變換到有“意義”的空間，實現不同類別訊號的分離。這種變換可以是線性或非線性的，可以是可逆或不可逆的，可以變換到稀疏的表達或其他有意義的便於分類的表達。