區域性線性嵌入(Locally Linear Embedding，以下簡稱LLE)也是非常重要的降維方法。和傳統的PCA，LDA等關注樣本方差的降維方法相比，LLE關注於降維時保持樣本區域性的線性特徵，由於LLE在降維時保持了樣本的區域性特徵，它廣泛的用於影象影象識別，高維資料視覺化等領域。下面我們就對LLE的原理做一個總結。

1. 流形學習概述

　　　　LLE屬於流形學習(Manifold Learning)的一種。因此我們首先看看什麼是流形學習。流形學習是一大類基於流形的框架。數學意義上的流形比較抽象，不過我們可以認為LLE中的流形是一個不閉合的曲面。這個流形曲面有資料分佈比較均勻，且比較稠密的特徵，有點像流水的味道。基於流行的降維演算法就是將流形從高維到低維的降維過程，在降維的過程中我們希望流形在高維的一些特徵可以得到保留。

　　　　一個形象的流形降維過程如下圖。我們有一塊捲起來的布，我們希望將其展開到一個二維平面，我們希望展開後的布能夠在區域性保持布結構的特徵，其實也就是將其展開的過程，就想兩個人將其拉開一樣。

　　　　在區域性保持布結構的特徵，或者說資料特徵的方法有很多種，不同的保持方法對應不同的流形演算法。比如等距對映（ISOMAP）演算法在降維後希望保持樣本之間的測地距離而不是歐式距離，因為測地距離更能反映樣本之間在流形中的真實距離。

　　　　但是等距對映演算法有一個問題就是他要找所有樣本全域性的最優解，當資料量很大，樣本維度很高時，計算非常的耗時，鑑於這個問題，LLE通過放棄所有樣本全域性最優的降維，只是通過保證區域性最優來降維。同時假設樣本集在區域性是滿足線性關係的，進一步減少的降維的計算量。

2. LLE思想

　　　　現在我們來看看LLE的演算法思想。

　　　　LLE首先假設資料在較小的區域性是線性的，也就是說，某一個數據可以由它鄰域中的幾個樣本來線性表示。比如我們有一個樣本x1x1,我們在它的原始高維鄰域裡用K-近鄰思想找到和它最近的三個樣本x2,x3,x4x2,x3,x4. 然後我們假設x1x1可以由x2,x3,x4x2,x3,x4線性表示，即：

x1=w12x2+w13x3+w14x4x1=w12x2+w13x3+w14x4

　　　　其中，w12，w13，w14w12，w13，w14為權重係數。在我們通過LLE降維後，我們希望x1x1在低維空間對應的投影x

′1x1′和x2,x3,x4x2,x3,x4對應的投影x′2,x′3,x′4x2′,x3′,x4′也儘量保持同樣的線性關係，即

x′1≈w12x′2+w13x′3+w14x′4x1′≈w12x2′+w13x3′+w14x4′

　　　　也就是說，投影前後線性關係的權重係數w12，w13，w14w12，w13，w14是儘量不變或者最小改變的。

　　　　從上面可以看出，線性關係只在樣本的附近起作用，離樣本遠的樣本對區域性的線性關係沒有影響，因此降維的複雜度降低了很多。

　　　　下面我們推導LLE演算法的過程。

3. LLE演算法推導

　　　　對於LLE演算法，我們首先要確定鄰域大小的選擇，即我們需要多少個鄰域樣本來線性表示某個樣本。假設這個值為k。我們可以通過和KNN一樣的思想通過距離度量比如歐式距離來選擇某樣本的k個最近鄰。

　　　　在尋找到某個樣本的

相關推薦

區域性線性嵌入(LLE)原理總結

　區域性線性嵌入(Locally Linear Embedding，以下簡稱LLE)也是非常重要的降維方法。和傳統的PCA，LDA等關注樣本方差的降維方法相比，LLE關注於降維時保持樣本區域性的線性特徵，由於LLE在降維時保持了樣本的區域性特徵，它廣泛的用於影象影象識

LLE原理總結

區域性線性嵌入(Locally Linear Embedding，以下簡稱LLE)也是非常重要的降維方法。和傳統的PCA，LDA等關注樣本方差的降維方法相比，LLE關注於降維時保持樣本區域性的線性特徵，由於LLE在降維時保持了樣本的區域性特徵，它廣泛的用於影象影象識別

Synchronized實現原理總結

依次 mark adding ali zed 線程id 遍歷 安全 ren synchronized實現同步的基礎：Java中的每一個對象都可以作為鎖。具體表現為以下3種形式。對於普通同步方法，鎖是當前實例對象。對於靜態同步方法，鎖是當前類的Class對象。對於同步方法塊，

orcFile split和讀數據原理總結（hive0.13）

etime cit .net ack 處理 gem gravity AC col http://blog.csdn.net/zhaorongsheng/article/details/72903431 官網關於orcfile的介紹 背景 Hive的rcfile格式已經使

CRC原理總結

加密算法 info 結果 alt 附加 序列 註意 選擇 二進制序列 CRC常用於判斷文件在傳輸過程中文件內容是否被更改以及其他的一些加密算法，在Java中，CRC32 工具類提供給我們使用。 1.CRC校驗具體原理如下： 　　在要發送的數據幀後面附加一個數（這個就是用來校

Android - View繪圖原理總結

繼承 最終 操作 地方 margin mea 類型 滾動條 gin Android系統的視圖結構的設計也采用了組合模式，即View作為所有圖形的基類，Viewgroup對View繼承擴展為視圖容器類，由此就得到了視圖部分的基本結構--樹形結構 View定義了繪圖的基本操作

iOS底層原理總結 - 探尋block的本質（一）

release nss 命令 static 斷點 fix 生成 什麽是 block類型 面試題 block的原理是怎樣的？本質是什麽？ __block的作用是什麽？有什麽使用註意點？ block的屬性修飾詞為什麽是copy？使用block有哪些使用

《編譯原理總結》

研究 yacc 語義檢查 裏的 思維 概念 and 靜態 後來 Decaf編譯器（mind語言） PL/0編譯器 構造工具：lex yacc 單遍編譯器 類p-code虛擬機 學編譯是學的相關的思想和研究，科研和教學還是有不同目的的 抽象語法樹AST 三地址碼TA

受限玻爾茲曼機（RBM）原理總結

guid filter font list cuc spa 得到 aci dcb https://blog.csdn.net/l7H9JA4/article/details/81463954 授權轉發自：劉建平《受限玻爾茲曼機（RBM）原理總結》 地址:http://w

spark啟動原理總結

lead term 技術 forward deploy ddp rbo 其他 sso 一般情況下，我們啟動spark集群都是start-all.sh或者是先啟動master(start-master.sh),然後在啟動slave節點(start-slaves.sh)，其實翻

linux下DHCP服務原理總結

relay 解析 over eth eas data- false security 設置 linux下DHCP服務 DHCP（全稱Dynamic host configuration protocol）：動態主機配置協議 DHCP工作在OSI的應用層，可以幫助計算機從指定

Kafka史上最詳細原理總結

send shu control 並保存 分布 batch 重傳 應該 還要 Kafka是最初由Linkedin公司開發，是一個分布式、支持分區的（partition）、多副本的（replica），基於zookeeper協調的分布式消息系統，它的最大的特性就是可以實時的處理

ThreadLocal 實現原理總結

ThreadLocal 用於在不同執行緒中互不干擾的儲存並提供資料。 這裡不對原始碼進行深究，只淺顯的對實現原理進行了解。 本次涉及到的原始碼為 Source for Android 27. ThreadLocal 的實現，需要藉助到 ThreadLocalMap。

Atitit 提升記憶效率 有失真壓縮原理總結 目錄 1. 常見方法 1 1.1. 抽象化提升一層 概念化 1 1.2. 骨架 ，目錄化 大綱化 歸納整理 1 1.3. 提取關鍵詞 ，摘要 ，

Atitit  提升記憶效率  有失真壓縮原理總結     目錄 1. 常見方法 1 1.1. 抽象化提升一層 概念化 1 1.2. 骨架 ，目錄化  大綱化 歸納整理 1 1.3. 提取關鍵詞 ，摘要 ，丟棄細節部分 1

大規模叢集下的Hadoop高併發以及高效能架構原理總結【石杉的架構筆記】

歡迎關注個人公眾號：石杉的架構筆記（ID:shishan100） 週一至週五早8點半！精品技術文章準時送上！ “ 又到週末，老規矩，週末不給大家送上“燒腦”的技術文章，我們稍微停一下腳步，總結一下之前的內容，溫故而知新。 前言 這次我們總結的，主要是之前大資料的內容。這裡筆者多說一句，筆者認為

大資料學習之Kafka原理總結

Kafka Kafka是最初由Linkedin公司開發，是一個分散式、支援分割槽的（partition）、多副本的（replica），基於zookeeper協調的分散式訊息系統，它的最大的特性就是可以實時的處理大量資料以滿足各種需求場景：比如基於hadoop的批處理系統、低延遲的實時系統、sto

MapReduce分散式計算和程式設計原理總結

​​​​​​ inputformat 在MapReduce程式的開發過程中，往往需要用到FileInputFormat與TextInputFormat，TextInputFormat這個類繼FileInputFormat，FileInputFormat這個類繼承自InputForm

Https原理總結及抓取Https的工作原理

Https原理： a.Https == Http + SSL(TSL)，SSL是網景公司的命名，TSL為OSI組織接手名的命名 b.要解決的問題：傳統HTTP協議可能有三大風險：     b.1 被截獲並獲取內容（因為是明文傳輸）     &n

MyBatis快取實現原理總結概述

MyBatis提供兩種快取：一級快取【預設開啟的SqlSession級別的快取】和二級快取【Namespace Mapper級別的快取】。 1. SqlSession快取 存在SESSION【預設】和STATEMENT兩個選項，SESSION在MyBatis會話中執行的所有

MyBatis總結(三十)--MyBatis_執行原理總結

目錄 1說明   1.1   1.2   1.3 2原理總結 1說明   1.1   1.2 本文是基於MyBatis的HelloWorld程式碼進行研究的。程式碼來自MyBatis總結(二)--helloworld。