筆者自己的理解，無監督學習是挖掘資料自身的分佈，找出一種低維的具有代表性或者某種性質的子空間（流形）。SOM是一種加約束的k-means，既可以看做是尋找具有代表性的特徵點，也可以看做是尋找具有代表性的二維流形曲面。PCA是非常經典的最小化投影誤差的子空間，也可以看做最大化投影方差的子空間。NMF則是基於假設最大化似然的同時，限制基向量非負。FA也是尋找某種子空間，目的是得到uncorrelated的基向量，並用變換矩陣近似實際觀測值中的相關性。ICA同樣是尋找子空間，但進一步要求基向量independent（此假設強於uncorrelated），不能用於高斯分佈的資料，使得基向量不能隨意旋轉。MDS則是直接尋找保距的低維子空間，即子空間投影之間的距離儘可能與原空間相同。ISOMAP以及Local MDS是MDS的區域性版本，旨在更好的保留資料的流形分佈。
其中SOM是聚類演算法，只能找到離散的特徵點來近似資料分佈；PCA、NMF、MDS、ISOMAP、Local MDS等則是尋找一個低維流形空間近似資料分佈；FA以及ICA不僅可以得到線性子空間，而且還可以基於假設得到資料分佈的概率密度。

Self-Organizing Map (SOM)

SOM可以看做是k-means的約束版本，即不同於k-means所有特徵點之間毫無關聯，SOM的特徵點位於某個假象的方格上面，各個特徵點之間基於方格上的距離存在不同程度的關聯。
SOM的具體演算法是先假象有一個方格（q1×q2），其中q1,q2任意指定，其選擇決定了SOM的特徵點數，共用q1∗q2個特徵點（每個方格的交叉點）。每個特徵點均位於觀測的資料空間中Rp，有一個特徵值。故不同於k-means只有一個位於觀測空間Rp的特徵值，SOM的特徵點同時位於方格空間Rq1×q2中，存在一個方格空間座標。特徵點的方格座標在學習的過程中是不變的，而特徵值R

p在學習過程中不斷改變，更加接近資料分佈。方格座標是SOM為特徵點之間加入約束的方式，每次根據資料點更新特徵值的時候，不僅僅更新特徵值離資料點最近的特徵點的特徵值，而且同時更新在方格中與最近特徵點較近的特徵點的特徵值。每次僅僅處理一個數據點，重複多次之後，得到的SOM中q1∗q2個特徵點的特徵值即表示了資料的空間分佈，也可以將每個資料點分配給特徵值離其最近的特徵點，進行聚類分析。
基於不同的距離度量，更新時各個特徵點的權重賦予，以及每次處理的資料點的多少 可以構造不同的SOM演算法。每種演算法都保證了SOM的保距性質，即觀測空間中相近的資料點投影到方格空間中相近的特徵點。

最簡單的方法如下：

根據距離賦予特徵點更新權重的方法如下：

batch版本如下：

Principle Component Analysis (PCA)

主成分分析法非常常見常用，以至於Ng認為它被過度濫用了。有很多種對PCA結論的解釋，這裡僅闡述兩種：最小化投影誤差，以及最大化投影方差。

首先，常見的資料預處理步驟包括資料平移（減均值），以及縮放（除以方差）。故以下分析中存在多解的情況，均以方便以上假設成立的情況下進行求解。

PCA尋找的是低維線性子空間，故存在一組正交基Vp×q，VTV=Iq，其中p為觀測空間維度，q為子空間維度，有q<p。在未白化的資料中進行PCA，則是尋找一個平移過後的子空間，設平移向量為μ，即該向量集合中包括所有的{μ+Vb,∀b}。

任意向量x∈Rp在該空間中的投影為VVT(x−μ)+μ∈Rp。首先我們討論最小化投影誤差的情況：e=x−(VVT(x−μ)+μ)=(Ip−VVT)(x−μ) ，我們希望最小化訓練集中的平方投影誤差

err=∑i=1meTiei=∑i=1m(x−μ)T(Ip−VVT)T(Ip−VVT)(x−μ)
對μ求導有μ=x¯
∂err∂μ=∑i=1m2ei∂ei∂μ=∑i=1m2ei[−(Ip−VVT)]=0
構造Xp×n使得X的第i列Xi=xi−x¯，從而
err=trace[XT(Ip−VVT)T(Ip−VVT)X]=trace[XTX]−trace[XTVVT

相關推薦

ESL讀書筆記14章：無監督學習之SOM，PCA，NMF，FA，ICA，MDS，ISOMAP，Local MDS

筆者自己的理解，無監督學習是挖掘資料自身的分佈，找出一種低維的具有代表性或者某種性質的子空間（流形）。SOM是一種加約束的k-means，既可以看做是尋找具有代表性的特徵點，也可以看做是尋找具有代表性的二維流形曲面。PCA是非常經典的最小化投影誤差的子空間，也可

《數據庫設計入門經典》讀書筆記——第一章：數據庫建模的過去與現在

port 混合 如果 執行 很好 創建表 規則 什麽 增長 《數據庫設計入門經典》，現在學習的是這本書，雖然以前就看過類似的書，可能由於之前經驗不足，書中說的某些東西只消化了一部分，現在重溫一邊好懂多了。所以說讀第一遍讀不懂不要緊，過個一年半載的再來讀，還是會讀不懂的，哈哈

《高效能MySQL》讀書筆記---第一章：MySQL架構與歷史

本章描述了MySQL的伺服器架構、各種儲存引擎之間的主要區別，以及這些區別的重要性   1.1 MySQL邏輯架構 MySQL的邏輯架構如下圖所示： 第一層：該層的服務並不是MySQL獨有的，大多數基於網路的客戶端/伺服器的工具或者伺服器都有類似的架構。如連線處理、授權認證、安全等

深度學習讀書筆記 第二章：線性代數

2.1 標量、向量、矩陣和張量 標量：scalar,是一個單獨的數 向量：vector,是一列有序的數.方括號包圍的縱列，每個元素有一個索引。 矩陣：matrix,二維陣列，每個元素由兩個索引組成。Aij處於i行j列。 張量：tensor,超過二維的陣列。 標量和矩陣的運算：

程式碼整潔之道讀書筆記——第二章：有意義的命名

第二章 有意義的命名 2.1 介紹 在軟體開發中，我們各種命名，不斷的命名，有這麼多的命名，一定要做好它！ 2.2 名副其實 選個好名字要花很多時間，而且對於我們中國的程式設計師來說，選一個好的英文名字更要精挑細選，但是省下來的時間遠比花掉的多，一個名稱基本就答

程式碼整潔之道讀書筆記——第一章：整潔程式碼

軟體質量，不僅僅依賴於專案架構和專案管理，同樣重要的是程式碼質量！！！ 序 神在細節之中，其實幹什麼事都一樣，從小到大，一直明白一個道理：細節決定成敗！ 軟體架構在開發中佔據重要地位。其次，巨集達建築的最細小的部分，比如關不緊的門、有點沒鋪平的地板，甚至是凌亂的桌

深入探索Android熱修復技術原理讀書筆記——第一章：熱修復技術介紹

第一章 熱修復技術介紹 1.1 什麼是熱修復 傳統開發流程： 重寫釋出版本代價太高 使用者下載安裝成本太高 bug修復不及時，使用者體驗差 有許多開發者找到了合適的解決辦法，比如： 經常變更的業務用H5獨立出來，但是增加

《集體智慧編中文版》讀書筆記——第二章：協作型過濾

前言 一本比較老的書，偏實用，正好打算入手python機器學習，實現一遍程式碼。 關於協作型過濾 介紹他的一個引用場景：已有使用者對自己感興趣的電影評分的情況下，怎麼合理的為使用者推薦新電影？或者一個新使用者在瀏覽電影時，推薦其他相關的電影？ 協作性

《lua程式設計》讀書筆記 第二章：型別與值

lua是一種動態型別的語言。 在lua中有8中基礎型別：nil（空）、boolen、number、string、userdata(自定義型別）、function、thread、table。函式type可根據一個值返回其型別名稱，其返回值為string。

《深度探索C++物件模型》讀書筆記第一章：關於物件

有點尷尬，這個筆記已經記過一遍了。重新來過的原因是我讀到第五章左右覺得自己對這本書認識不夠深刻，暫時就沒有記筆記。今天正式把書通讀了一遍了，然後現在讀第二遍，這一遍我每章都會寫一篇部落格總結，只總結重點，精要，所以會簡短一些。我會以條款的形式來總結。 從C到C++，使

吳恩達機器學習（第十四章）---無監督學習kmeans演算法

一、kmeans演算法 Kmeans演算法的流程： 1.根據我們要分的類別數，就是你要將資料分成幾類（k類），隨機初始化k個點（暫且稱為類別點） 2.計算每個資料點到k個類別點的距離，將其歸類到距離最近的那個類別點 3.計算每一類中包含的資料點的位置的平均值，比如，包含a(x1，y1

Andrew Ng機器學習課程筆記（十三）之無監督學習之EM演算法

Preface Jensen’s Inequality（Jensen不等式） Expectation-Maximization Algorithm（EM演算法） Jensen’s Inequality 對於凸函式 令f(x)f(x)為

Andrew Ng機器學習課程筆記（十二）之無監督學習之K-means聚類演算法

Preface Unsupervised Learning（無監督學習） K-means聚類演算法 Unsupervised Learning 我們以前介紹的所有演算法都是基於有類別標籤的資料集，當我們對於沒有標籤的資料進行分類時，以前的方

Andrew Ng機器學習課程筆記（十六）之無監督學習之因子分析模型與EM演算法

Preface Marginals and Conditionals of Gaussians（高斯分佈的邊緣分佈與條件分佈） Restrictions of ΣΣ（限制協方差矩陣） Factor Analysis（因子分析模型） EM Alg

無監督學習之聚類2——DBSCAN

odi alt times 指標 pyplot shape otl 明顯 score 根據學生月上網時間數據運用DBSCAN算法計算： #coding=utf-8 import numpy as np import sklearn.cluster as skc from

[深度學習]半監督學習、無監督學習之Autoencoders自編碼器(附程式碼)

目錄   自編碼器介紹 從零開始訓練自編碼器 驗證模型訓練結果 視覺化結果 載入預訓練模型 自編碼器介紹 自編碼器的結構簡單，由Encoder和Decoder組成，Encoder產生的Latent variables是潛在變數，它是Decoder的輸入。

[深度學習]半監督學習、無監督學習之DCGAN深度卷積生成對抗網路(附程式碼)

論文全稱：《Generative Adversarial Nets》 論文地址：https://arxiv.org/pdf/1406.2661.pdf 論文全稱：《UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GEN

[深度學習]半監督學習、無監督學習之Variational Auto-Encoder變分自編碼器(附程式碼)

論文全稱：《Auto-Encoding Variational Bayes》 論文地址：https://arxiv.org/pdf/1312.6114.pdf 論文程式碼： keras 版本：https://github.com/bojone/vae pytorch 版本：https

機器學習--無監督學習之K-means聚類方法

一、引言 從上次SVM之後幾節課講的是學習理論，這塊理論性比較深，我得好好消化一下。所以先總結一下第一個無監督的機器學習演算法，K-means聚類方法。 所謂無監督學習，就是資料樣本沒有標籤，要讓學習演算法自己去發現數據之間內在的一些結構和規律。就好比做題沒有標準答案，所以

《Python機器學習及實踐》----無監督學習之資料聚類

本片部落格是根據《Python機器學習及實踐》一書中的例項，所有程式碼均在本地編譯通過。資料為從該書指定的百度網盤上下載的，或者是sklearn自帶資料下載到本地使用的。 程式碼片段： # coding: utf-8 # 分別匯入numpy、matplot