1. 程式人生 > >Sparse Filtering稀疏濾波

Sparse Filtering稀疏濾波

對每一行(一種特徵在不同樣本的時候的不同取值)的特徵的分佈,應該和其他行的特徵的分佈相似,或者說每種特徵都應該具有相似的統計特性。具體來說,對矩陣的每一行,我們取該行所有元素(一種特徵在不同樣本的時候的不同取值)的平方後的均值作為其統計特性的描述。每一行都存在一個均值,那麼每行的均值都應該是一樣的,這樣就可以認為所有的特徵都具有相似的分佈。這種屬性我們稱之為high dispersal(高分散性)。但對於一個好的特徵描述來說,這個屬性並不是必要的。但它可以防止特徵的退化,也就是可以防止提取到相同的特徵(如果提取到相同的特徵,那麼特徵既冗餘,又沒有增加資訊量,所以一般都要求提取到的特徵是正交的
)。對於過完備的特徵表達。high dispersal可以理解為只有很少的inactive不活躍的特徵。例如,PCA編碼一般不會滿足high dispersal,因為大的特徵值對應的特徵向量(也就是特徵code)大部分總是活躍active的。