SVD 與 PCA 的直觀解釋(3): SVD的直觀解釋及推導
引子:SVD分解就是把一個實數矩陣M分拆成UDV。U,V都是正交旋轉矩陣。這個分拆可以形象的理解為,我要看看這個空間M性質怎麼樣?那我可以用標準笛卡爾空間來構造出一個一模一樣的M空間。想象M空間是個特殊形狀的泥塑,笛卡爾空間是塊標準的正方形泥塊。把笛卡爾空間放在手裡,先旋轉著看看(即左乘V),再找合適的地方捏捏它(再左乘D),好讓它和M一樣。最後再旋轉(再左乘U),把它擺得和M一樣。這樣就360度無死角的構造了一個M空間。如果發現M空間有的地方很扁,那麼我就掉丟這個維度,這就是SVD的降維,也是SVD的核心。
註釋:關於上面為何是特徵向量的說明。
PS:一室友秦屌,問我M不是方陣,是3*2的矩陣。作用在2*1的向量 x 上,Mx 就變成了三維的了。這還能通過兩次旋轉達到效果嗎?
reference:
相關推薦
SVD 與 PCA 的直觀解釋(3): SVD的直觀解釋及推導
引子:SVD分解就是把一個實數矩陣M分拆成UDV。U,V都是正交旋轉矩陣。這個分拆可以形象的理解為,我要看看這個空間M性質怎麼樣?那我可以用標準笛卡爾空間來構造出一個一模一樣的M空間。想象M空間是個特
SVD 與 PCA 的直觀解釋(1): 線性變換
一直想弄明白SVD分解後面蘊含的直觀意義,可這牽扯到矩陣乘法和線性變換的物理含義的理解。在考慮SVD用途時又牽扯到PCA降維,而PCA降維裡又扯到特徵值和特徵向量。於是,索性全記下來,供諸位探討學習。
SVD與 LSI教程(3): 計算矩陣的全部奇異值
/**********************作者資訊****************/ Dr. E. Garcia Mi Islita.com Email | Last Update: 01/07/07 /**********************
最小二乘法的最簡單的幾何解釋,非常直觀!
最小二乘法就是解一個無解的線性方程組 要找到解,就要找到a1,a2的一個線性組合,使得組合後的向量剛好等於b。可惜的是任何的a1和a2線性組合,只可能出現在a1,a2所在的平面S上(這個平面S就是傳說中的向量空間),但是向量b不在平面S上,如下圖。不可能找到解,怎麼辦呢? 無解
奇異值分解(SVD)與線性變換的幾何意義
奇異值分解( The singular value decomposition ) 該部分是從幾何層面上去理解二維的SVD:對於任意的 2 x 2 矩陣,通過SVD可以將一個相互垂直的網格(orthogonal grid)變換到另外一個相互垂直的網格。 我們可以通過向量的方式來描述這個事實
深度學習與卷積神經網路(直觀理解)
基本上在輸入影象中,如果有一個形狀是類似於這種濾波器的代表曲線,那麼所有的乘積累加在一起會導致較大的值!現在讓我們看看當我們移動我們的過濾器時會發生什麼。可以看到結果值是0哦,為什麼?還不明白麼,因為耳朵的邊緣和剛剛尾股部曲線太不同了。 這樣的多個濾波器就可以在大量資料的訓練下得到大量特徵了
SVD 與 LSI 教程(4): LSI計算
/**********************作者資訊****************/ Dr. E. Garcia Mi Islita.com Email | Last Update: 01/07/07 /**********************作者
SVD 與 LSI教程(5):LSI關鍵字研究與協同理論
/**********************作者資訊****************/ Dr. E. Garcia Mi Islita.com Email | Last Update: 01/07/07 /**********************作者
對評分矩陣進行分解,SVD與LSI
lsi ref html osi pos https log blog 進行 摘自推薦系統 一、SVD奇異值分解 參考 https://www.cnblogs.com/lzllovesyl/p/5243370.html 1、SVD簡介 SVD(singular
算法與數據結構3
表結構 區分 定位 一次 常數 但是 目標 方法 我們 1.序列:一次排列的多個對象; 2.向量(數組列表):向量提供一些訪問方法,使我們可以直接通過下標訪問序列中的元素,也可以更新對應位置的元素,為與index區分,我們稱這裏的下標為 秩 rank,基於可擴充數組實現;
機器學習與量化交易-2-3
.cn img -1 bsp 9.png ges 量化 ima image 機器學習與量化交易-2-3
(十二) web服務與javaweb結合(3)
pack ppi web工程 配置 time star con http ont 一、需求 上一章節雖然將webservice和web項目綁定在了一起,但是還是不能共同一個端口,本章講解webservice和web項目綁定且共同端口。 二、案例 2.1 創建w
DNS解析與Bind的使用(3)
bind 緩存名稱服務器 bind配置文件 配置 七、Bind軟件DNS只是一個協議,但是該協議的實現還必須需要軟件的支持,bind軟件就是能夠實現此功能的軟件之一。CentOS中的bind軟件可以通過yum來進行自動化安裝,需要註意的是bind軟件安裝好後服務的程序名是named。◆bind
Part4 類與對象 4.3構造函數
c++11 con rt4 類與對象 include pre 指示 被調用 c++98 構造函數的作用:在對象被創建時使用特定的值構造對象,將對象初始化為一個特定的初始狀態。構造函數的形式: 函數名與類名相同; 不能定義返回值類型,也不能有return語句; 可
軟件需求與分析讀書筆記3
可能 生產力 gpo 目的 浪費 需求工程 clas 讀書筆記 讀書 這本厚厚的書終於被我讀完了,現在開始最後一篇讀書筆記。 最後幾章主要講的是需求的文檔和需求過程的管理。即需求分析必須標準化。我們在需求的過程中必須學會用建模的方法來規範需求工程。需求分析的
編譯型語言與解釋型語言的區別及各自的優缺點
class文件 不同 分別是 .class 需要 存在 保存 scrip 源代碼 計算機編程語言種類非常多,根據與計算機硬件貼近程度和抽象程度大致可分為3類,自頂向下分別是 : 高級語言(抽象層次更高的便於記憶和表示的英文代碼) | 匯編語言(抽象
序列化與反序列化的簡單粗暴解釋
-s nas 序列化版本號 gef 是把 get ssa 方式 version 一、內容簡介 1.什麽是序列化和反序列化? (1)序列化就是把Java對象轉化為字節流序列(二進制串)的過程 (2)反序列化就是把字節流(二進制串)恢復為Java對象的過程
25、【opencv入門】輪廓查找與繪制(3)——凸包
ise 技術分享 bool and s函數 span spa push_back 返回 一簡介 1、凸包 凸包(Convex Hull)是一個計算機幾何圖形學中的概念, 簡單來說, 給定二維平面點集, 凸包就是能夠將最外層的點連接起來構成的凸多邊形, 它能夠包含點集中所
ACM山東工商 數據結構與算法 第3章 雙向棧的操作
print top lse == clu define include 算法 printf #include <stdio.h>#include <stdlib.h> #define SIZE 20//1左 偶 typedef struct ho
MATLAB編程與應用系列-第3章 矩陣運算(2)
元素 其中 特征值 pad 返回值 共軛 系列 ade 就是 本系列教程來源於出版設計《基於MATLAB編程基礎與典型應用書籍》,如涉及版權問題,請聯系:[email protected]。 出版社:人民郵電出版社, 頁數:525。 本系列教程目前基於MATLABR2006a