【論文筆記】An Intelligent Fault Diagnosis Method Using: Multivariate Anomaly Detection for Time Series Data with Generative Adversarial Networks
阿新 • • 發佈：2019-05-17
ivar 單位矩陣 作用 一次 一個 http example tps 計算 
論文來源：IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS
- 2016年的文章，SCI1區，提出了兩階段的算法。第一個階段使用Sparse filtering，無監督的方式提取出特征。第二個階段使用softmax回歸進行分類。可以實現更少的數據，但更高的準確率。對Sparse filtering的weight進行了可視化，與Gabor濾波器進行擬合，發現很相近。
Sparse filtering 和Softmax regression
論文的核心就是這兩步的算法，分兩個步驟講解。
Sparse filtering
- Sparse filtering的思想來自於NIPS2011吳恩達組的文章，是一種無監督的提取特征的算法。與之相比較的無監督算法還有ICA，Sparse Coding，Sparse Autoencoder。具體見另一篇總結sparse filtering的文章。
- Sparse filtering可以實現非線性，增加一個激活函數。本文使用了下圖的激活函數得到了特征。
Softmax Regression
結構圖如下，這裏看出原文是對輸入的樣本再一次進行了切分，對同一個example的輸出結果進行的求和平均，而不是concatenate，它們的實驗證明求和平均效果更好。
下圖是目標函數，這裏沒有使用交叉熵。
其次，這裏對隨機segment的樣本進行了whitening的操作。我參考了矩陣論（張賢達）裏面的公式。
進行了白化之後的向量，協方差矩陣為單位矩陣，可以加速收斂的速度。實驗也證明了白化的作用。
可視化
PCA降維
對學習到的特征PCA降維後的結果
對Sparse filtering的權重矩陣可視化
直觀理解，W矩陣和X輸入相乘，其實是W的每個行向量和X向量計算相似度（點積）。對行向量可視化。然後用面的Gabor濾波器去擬合，發現兩者很接近。下面三行是傅裏葉變換之後的結果。Gabor濾波器的公式引用自其它文獻。具體更多的理解看傅裏葉變換的那篇文章，收集了一些不錯的解答。擬合的結果說明了一定的物理意義。Gabor濾波器接近於最優的特征提取濾波器。
【論文筆記】An Intelligent Fault Diagnosis Method Using: Multivariate Anomaly Detection for Time Series Data with Generative Adversarial Networks