手裡還壓了好幾篇隨筆寫到一半就不想寫了，越堆越多也不知道哪篇會首先發布- -

2020-8-11 15:00:10
本次的主要內容是一些論文閱讀的記錄。一年來大幾十篇論文也算是看的比較仔細了，經典的也有，新的也有，總之就是充分了解行業的過程。一年的時間裡，我的文獻閱讀水平也有了相當大的提升，至少拿到一篇論文之後不會再猶豫從何看起，看見全文的英語也不再犯怵了。但是論文的質量卻成為了另一個擔心的因素，我這一年來看的論文大多屬於水文，只有少量的論文能夠被複現，並且絕大多數都是按套路水的，缺少insight。
不過很多論文看完就忘記了，現在就拿出些時間進行一定的記錄，順便也打發一下時間。

本期的主角是崔穎教授，貼一個

SPL

文章的引用資訊為

S. Li, W. Zhang, Y. Cui, H. V. Cheng and W. Yu, "Joint Design of Measurement Matrix and Sparse Support Recovery Method via Deep Auto-Encoder," in IEEE Signal Processing Letters, vol. 26, no. 12, pp. 1778-1782, Dec. 2019, doi: 10.1109/LSP.2019.2945683.
 

是一篇SPL。SPL現在大概是三區，可見還是一篇比較水的文章了。不過TSP應該還是一區。在我印象裡letter一般比正刊低一個級別，SPL低了兩個級別感覺水了很多的樣子。本文解決的問題是觀測矩陣設計和稀疏支撐集重建，採用的方法是深度自編碼器。說實話從去年Globecom的tutorial之後，似乎就見了很多的類似作品。當然這篇文章是19年的作品，結合時代背景應該是做的比較早的一批人了。

稀疏訊號建模為\({\bf x}\triangleq(x_n)_{n\in \mathcal N}\)，其中\({\rm supp}({\bf x})\triangleq \{n\in\mathcal N\vert x_n \neq 0\}，\mathcal N\triangleq \{1,\dots,N \}\)

\[\bf y=Ax+z \]

其中\(\bf A\)矩陣是觀測矩陣，本文中將聯合設計這個矩陣。

本文提出的解決方案就是這樣的。根據影象，神經網路的引數就是A矩陣，輸入X矩陣後，自編碼器得到X的粗重建，然後通過一個閾值網路進行閾值化處理。網路的詳細結構顯而易見，這裡也不贅述，對於複數的處理是按照運算規則單獨訓練了兩個網路，這個在各種框架下很容易實現，但是需要批評的一句是，目前而言這類方法的優化似乎還是不符合複數優化的方法的，梯度求解方式可能是不正確的。這一點在我個人測試時有一點感覺，即複數網路優化時效果不如直接向量化輸入實數網路。
網路最後輸出的時候採用的是sigmoid函式啟用和交叉熵損失函式，因為輸出支撐集是一個稀疏的概率密度。
對於閾值函式的選取，本文選擇暴搜（或者說最大似然？），尋找令錯誤率最小，誤差最小的那個閾值作為最終的判決閾值。
本文的主要內容就是以上。說一說其他吐槽的地方

1. 文章建模採用了單天線基站，這個假設並不現實，這一點還蠻致命的
2. 是一個單觀測的問題，如果採用多觀測向量的方法就可以有效地實現降噪，可惜這裡並沒有使用。

WCNC

引用資訊為

S. Li, W. Zhang and Y. Cui, "Jointly Sparse Signal Recovery via Deep Auto-encoder and Parallel Coordinate Descent Unrolling," 2020 IEEE Wireless Communications and Networking Conference (WCNC), Seoul, Korea (South), 2020, pp. 1-6, doi: 10.1109/WCNC45663.2020.9120752.

這個會議分割槽算是頂會麼，似乎算是。相比於上面的SPL，主要不同點在於這裡改進為MMV問題，即多觀測向量。我們在進行壓縮感知時常常由於物理通道的一些特徵而獲得公共支撐集，例如

Z. Gao, L. Dai, W. Dai, B. Shim and Z. Wang, "Structured Compressive Sensing-Based Spatio-Temporal Joint Channel Estimation for FDD Massive MIMO," in IEEE Transactions on Communications, vol. 64, no. 2, pp. 601-617, Feb. 2016, doi: 10.1109/TCOMM.2015.2508809.

等文章所描述，此時公共支撐集往往出現在空域或者頻域。而在其dft域中，一般都是呈現脈衝的形式。本文利用的公共支撐集是空域，和我們組常用的頻域並不相同。
由於是MMV問題，模型就改為了矩陣的觀測

\[\bf Y=AX+Z \]

解決這類問題常用的經典演算法是LASSO，對於MMV問題則是GROUP LASSO，該演算法是利用凸優化處理的，例如本問題可以寫作

\[\underset{\bf x} \min \frac{1}{2}\Vert {\bf AX-Y}\Vert_F^2+\lambda\sum_{i=1}^N\Vert {\bf X}_{i,:}\Vert_2 \]

值得注意的是，當觀測維度\(M=1\)時，該問題就退化為了一般的LASSO。解決該凸優化問題，本文采用塊座標下降的方法，可以證明迭代次數足夠大時該演算法可以無窮逼近LASSO的最優解（然而並非是原壓縮觀測的最優解）。還是用的原來的模板

左邊還是自編碼器，實現GROUP LASSO演算法的近似，右邊是一個修正模組，用來校正結果，由於BCD演算法不能有效地展開為NN結構，本文對演算法稍作修改，並仍然可以證明修改後的演算法有著相同的收斂性。
本文的觀測模型採用了\(M\)天線進行多觀測，但是通道考慮的是1-tap通道，即沒有延遲域上的通道，在實際應用中是否合理，由於我並不是IoT相關的方向，這裡不能評價。

本文可以成功復現，效果和論文中相似，但是其實對於一個純稀疏問題而言，其效能並不優秀，甚至可能還不如OMP演算法。另外論文中採用的一些引數做何取值，作者並沒有詳細說明。

SPAWC

這一篇是Workshop，引用資訊為

W. Zhang, S. Li and Y. Cui, "Jointly Sparse Support Recovery via Deep Auto-encoder with Applications in MIMO-based Grant-Free Random Access for mMTC," 2020 IEEE 21st International Workshop on Signal Processing Advances in Wireless Communications (SPAWC), Atlanta, GA, USA, 2020, pp. 1-5, doi: 10.1109/SPAWC48557.2020.9154280.

說實話，一天看了三篇論文之後就有些乏味了，尤其是這三篇都是相同的思路。

同一個模型，同一個味道，和WCNC用的似乎是相同的演算法，不同點在於，這裡解決GROUP LASSO的時候採用了另一種方法，基於一階矩和二階矩的統計方法，但是仍然是寫出流程圖之後轉化為NN模型。具體內容也不多講了，個人認為內容還是比較水的（考慮到相似idea量產了這麼多論文的情況，說這些文章有些水也是無可厚非）

JSAC

這幾篇文章最後縫合了一篇十幾頁的長文JSAC，但是截至本文完稿之時，這篇JSAC還未登入IEEE的檢索，因此還沒有引用資訊。系統模型和前面的MMV觀測模型是相同的（實際上除了SPL之外都是這個相同的模型），但是解決這個問題的方法改為了ADMM和AMP。壓縮感知這一塊的問題一旦涉及了訊息傳遞演算法（又或者是近似訊息傳遞）就顯得無比高逼格，效能也是吊打其他很多演算法的存在。
仍然是一個凸優化的問題，將稀疏檢測和訊號重建轉化為一個LASSO問題，然後用NN展開演算法求解，老套路了。
值得注意的是，ADMM這個演算法僅靠演算法框圖可以實現復現，而旁邊的AMP演算法復現效果很差。

這一系列文章有個很明顯的問題是，凡是涉及相同的模型介紹、演算法介紹等內容時，作者均進行原封不動的摘抄，這四篇文章內幾乎都有一模一樣的段落出現。
值得稱讚的是，作者給了比較清晰完整的計算公式。
流程圖如圖

本文采用的AMP是AMP演算法中效能稍微差一些的那種，這裡ADMM和AMP再=在進行展開後含有的可訓練引數都比較少。前面說完了稀疏訊號重建，後面是稀疏支撐集的恢復，我始終感覺這兩部分內容寫在一起比較重複。

當然，對於具體的模型而言，這兩個問題可以相對獨立，也可以是同一種問題，我這裡更傾向於認為後面這部分是整合了前面的部分相關研究。具體效能對比這裡不再貼上。

~總結一下，這幾篇文章的工作做得比較清晰，有一些insight，但是同一個方向發了太多的文章就顯得水分比較大了~