白話機器學習演算法(十三)LVQ
LVQ網路(Learning Vector Quantization)是前面說的SOM的一個變種,但是學習方法仍然是Kohonen的競爭方法,說他是變種,因為這個演算法是一種有監督的方法。
單看他的名字就知道,這是一種向量量化手段,如果給我K類資料,每類資料若干樣本,我要找K個向量來代表這K類資料的模式,最簡單的方法就是我對每類求均值,這是個很好的想法,但是如果我每個類中都有若干離群點,那可能會導致均值不能很好的代表那類資料的輸入模式;怎麼做呢?投票機制!LVQ,SOM都是這麼做的;
LVQ分為LVQ1,LVQ2,LVQ3,下面簡單說說LVQ2:
前面講了SOM,LVQ與SOM的區別在輸入,LVQ的輸入是有標籤的,同時其神經元也是有初始標籤的,如下圖:
LVQ是由資料驅動的,資料搜尋距離它最近的兩個神經元,對於同類神經元採取拉攏,異類神經元採取排斥,這樣相對於只拉攏不排斥能加快演算法收斂的速度,最終得到資料的分佈模式,開頭提到,如果我得到已知標籤的資料,我要求輸入模式,我直接求均值就可以,用LVQ或者SOM的好處就是對於離群點並不敏感,少數的離群點並不影響最終結果,因為他們對最終的神經元分佈影響很小。
相關推薦
白話機器學習演算法(十三)LVQ
LVQ網路(Learning Vector Quantization)是前面說的SOM的一個變種,但是學習方法仍然是Kohonen的競爭方法,說他是變種,因為這個演算法是一種有監督的方法。 單看他的名字就知道,這是一種向量量化手段,如果給我K類資料,每類資料若干樣本,我要找
白話機器學習演算法(五)自組織對映SOM
聚類演算法可以簡化為一個找聚類中心的問題,比如k-means,而對於輸入向量空間,找他的聚類中心,可以用統計學的方法,比如GMM,也可以用向量量化的方法。 自組織對映,可以理解為一種向量量化網路,相當於我們的選人大代表,一類相近的人可以選一個代表,SOM就是這樣的思想,有了
白話機器學習演算法(六) PCA
PCA是一種線性對映,目的是為了降維。 在機器學習演算法中,對映可以降維也可以升高維度,看最終的目的是什麼,如果為了簡化輸入特徵,可以降維,如果資料在低維線性不可分,可以考慮將資料對映到高維空間中,那樣可能就線性可分了,這就是核方法。 PCA屬於前者; 講PCA之前我要提
白話機器學習演算法(九)樸素貝葉斯
樸素貝葉斯,確實很樸素,原理也很簡單,但是用途很厲害;很多涉及概率的機器學習演算法都要用到這些東西:最大似然估計(MLE),貝葉斯估計(最大後驗MAP),EM(也是最大似然估計,只是方法不同),最大熵; 先說點廢話,再寫點公式吧: 最大似然估計:我取什麼樣的引數,使得當前資
白話機器學習演算法(二十二)Adaboost
Adaboost是一種弱分類器轉化為強分類器的演算法,其對於每個弱分類器賦予一個權重,最終將這些帶權弱分類器線性組合成一個強分類器。 問題就轉化為如何獲得權值? 基本的步驟如下 Step1:為每個樣本賦予一個權值 Step2:利用訓練資料第一個弱分類器 Step3:得到第一
機器學習筆記(十三):TensorFlow實戰五(經典卷積神經網路: LeNet -5 )
1 - 引言 之前我們介紹了一下卷積神經網路的基本結構——卷積層和池化層。通過這兩個結構我們可以任意的構建各種各樣的卷積神經網路模型,不同結構的網路模型也有不同的效果。但是怎樣的神經網路模型具有比較好的效果呢? 下圖展示了CNN的發展歷程。 經過人們不斷的嘗試,誕生了許多有
機器學習筆記(十三):降維
目錄 1)Motivation 1:Data Compression 2)Motivation 2: Data Visualization 3)Principal Component Analysis problem formulation 4)Principal Compone
機器學習演算法(一)SVD
前言: 特徵值分解: 其中Q是這個矩陣A的特徵向量組成的矩陣,Σ是一個對角陣,每一個對角線上的元素就是一個特徵值。 特徵值分解可以得到特徵值與特徵向量,特徵值表示的是這個特徵到底有多重要,而特徵向量表示這個特徵是什麼,可以將每一個特徵向量理解為一個線性的子空間,我們可以利用這些線性的子
機器學習演算法(二)——決策樹分類演算法及R語言實現方法
決策樹演算法是分類演算法中最常用的演算法之一。決策樹是一種類似流程圖的樹形結構,可以處理高維資料,直觀易理解,且準確率較高,因此應用廣泛。本篇小博就決策樹的若干演算法:ID3演算法、C4.5演算法以及分類迴歸樹(CART)、C5.0進行對比介紹,並對比C4.5與C5.0處理
機器學習演算法(一):邏輯迴歸模型(Logistic Regression, LR)
轉自:https://blog.csdn.net/weixin_39910711/article/details/81607386 線性分類器:模型是引數的線性函式,分類平面是(超)平面;非線性分類器:模型分介面可以是曲面或者超平面的組合。 典型的線性分類器有感知機,LDA,邏輯斯特迴歸,SVM
機器學習演算法(1)——極大似然估計與EM演算法
極大似然估計 在講解極大似然估計前,需要先介紹貝葉斯分類: 貝葉斯決策: 首先來看貝葉斯分類,經典的貝葉斯公式: &nb
機器學習演算法(一)——關聯規則Apriori演算法及R語言實現方法
關聯規則演算法算是一種十分常用的機器學習演算法,無論是面試還是日後工作中都會經常出現,那麼本篇小博就記錄一下自己學習關聯規則經典演算法Apriori的筆記。 1、概述 Apriori演算法是用一種稱為逐層搜尋的迭代方法,從項集長度k=1開始,選出頻繁的k=1項集,根據先驗性
機器學習演算法(三)——樸素貝葉斯演算法及R語言實現方法
樸素貝葉斯演算法也是一種常用的分類演算法,尤其在對文字文件分類的學習任務中,樸素貝葉斯分類是最有效的演算法之一。所謂的樸素,即假設在給定目標值時屬性值之間相互條件獨立,雖然這一假設看似不合理,但其最終的分類效果卻普遍較好。 一、概述 1、貝葉斯公式 2、最大後驗假設(MA
機器學習實戰(十)Apriori演算法(關聯分析)
目錄 0. 前言 1. Apriori 演算法尋找頻繁項集 2. 從頻繁項集中挖掘關聯規則 3. 實戰案例 3.1. apriori演算法發現頻繁項集和關聯規則 學習完機器學習實戰的Apriori,簡單的做個筆記。文中部分描述屬於
機器學習實戰(六)AdaBoost元演算法
目錄 0. 前言 1. AdaBoost 2. 單層決策樹 3. 非均衡資料 4. 實戰案例 4.1. 馬病死亡案例 學習完機器學習實戰的AdaBoost元演算法,簡單的做個筆記。文中部分描述屬於個人消化後的理解,僅
機器學習實戰(二)決策樹DT(Decision Tree、ID3演算法)
目錄 0. 前言 1. 資訊增益(ID3) 2. 決策樹(Decision Tree) 3. 實戰案例 3.1. 隱形眼鏡案例 3.2. 儲存決策樹 3.3. 決策樹畫圖表示 學習完機器學習實戰的決策樹,簡單的做
機器學習總結(八)決策樹ID3,C4.5演算法,CART演算法
本文主要總結決策樹中的ID3,C4.5和CART演算法,各種演算法的特點,並對比了各種演算法的不同點。 決策樹:是一種基本的分類和迴歸方法。在分類問題中,是基於特徵對例項進行分類。既可以認為是if-then規則的集合,也可以認為是定義在特徵空間和類空間上的條件概率分佈。 決策樹模型:決策樹由結點和有向邊組
機器學習筆記(八):PCA降維演算法
1 - PCA概述 主成份分析,簡稱為PCA,是一種非監督學習演算法,經常被用來進行 資料降維 有損資料壓縮 特徵抽取 資料視覺化 2 - PCA原理詳解 通過計算資料矩陣的協方差矩陣,然後得到協方差矩陣的特徵值特徵向量,選擇特
機器學習實踐(七)—sklearn之K-近鄰演算法
一、K-近鄰演算法(KNN)原理 K Nearest Neighbor演算法又叫KNN演算法,這個演算法是機器學習裡面一個比較經典的演算法, 總體來說KNN演算法是相對比較容易理解的演算法 定義 如果一個樣本在特徵空間中的k個最相似(即特徵空間中最鄰近)的樣本中的
大資料推薦系統演算法程式碼全接觸(機器學習演算法+Spark實現)
大資料推薦系統演算法程式碼全接觸(機器學習演算法+Spark實現)課程出自學途無憂網 課程分享地址:https://pan.baidu.com/s/1piCNIxC2Sv0zMY0yWxY9Ug 提取碼:b10v 一、課程簡介: 推薦系統是利用電子商務網站向