Bregman系列演算法是近幾年在影象處理和壓縮感知領域異軍突起的演算法，能夠更好地從現有資料中還原真實目標結果。我們可以構造優化模型argminH(u)+J(u)來還原真實目標資料，一般理解為H(u)是我們的目標最小化模型，常用的有H(u)=1/2(Au−Y)2，其中u是目標，Y是觀測結果，A是導致觀測結果與真實結果不一致的原因；J(u)一般是一個約束項，自從壓縮感知火了之後，一般J(u)是一個L1模型，即一個絕對值函式，等價於要找一組u，使得u的表示最簡單，這裡用Bregman距離來對L1進一步完善。
Bregman演算法的核心之一是Bregman距離，給定泛函J，Bregman距離定義如下：

Dp(u,v)=J(u)−J(v)−<p,u−v>≥0
符合上述條件的p，稱為次梯度subgradient：
{p|Dp(u,v)=J(u)−J(v)−<p,u−v>≥0}其中<>表示內積。其中D(u,u)=0。
我們可以看出Bregman距離與泰勒展開式有密切的關係，反映了J(u)在v處的擬合誤差。Bregman距離和KL距離是一類東西，不符合傳統的距離定義，比如D(u,v)≠D(v,u)，不過D(u,v)顯然的有v→u,Dp(u,v)↓，因此Bregman距離可以反映一種遠近關係。

先給出迭代演算法,H(u)是優化模型：

Initialize: k=

0,u0=0,p0=0 (1)
While uk not converge:
uk+1=argminuDpJ(u,uk)+H(u) (2)
pk+1=pk−∇H(uk+1)∈∂J(uk+1) (3)
k=k+1
end while

下面來證明這個演算法是可行的：

下界

H(u)優化模型的定義是一個有下界、可微分的凸模型；Bregman距離有定義Dp(u,v)≥0。綜上有sup[J(u)+H(u)]=C,C>−inf，因此Bregman優化模型可以達到一個明確的最小化值，即有下确界。

為什麼迭代過程中pk+1是次梯度

然後是證明沿著pk+1也是最小化模型的次梯度。函式最小化時，梯度應當為0，有:

∇DpJ(u,uk)+∇H(u)=∇(J(u)−J(uk)−<p,u−uk>+H(u))=∇J(u)−p+∇H(u)⊃0→p′=p−∇H(u)⊂∇J(u)(4) 即p′是新的次梯度，可令pk+1=p′。

收斂性

由於Bregman距離是非負的，且未收斂時uk+1≠uk,所以H(uk+1)<H(uk+1)+DpJ(uk+1,uk)=F(uk+1)，而根據（2）F(u

相關推薦

【機器學習】Bregman迭代演算法以及證明

Bregman系列演算法是近幾年在影象處理和壓縮感知領域異軍突起的演算法，能夠更好地從現有資料中還原真實目標結果。我們可以構造優化模型argminH(u)+J(u)來還原真實目標資料，一般理解為H(u)是我們的目標最小化模型，常用的有H(u)=1/2(Au−Y)

【機器學習】資料探勘演算法——關聯規則（一），相關概念，評價指標

綜述：        資料探勘是指以某種方式分析資料來源，從中發現一些潛在的有用的資訊，所以資料探勘又稱作知識發現，而關聯規則挖掘則是資料探勘中的一個很重要的課題，顧名思義，它是從資料背後發現事物之間可能存在的關聯或者聯絡。 關聯規則的目的在於在一個數據集中找出項之間的關

【機器學習】資料探勘演算法——關聯規則（二），挖掘過程，Aprioir演算法

關聯規則挖掘的原理和過程 從關聯規則（一）的分析中可知，關聯規則挖掘是從事務集合中挖掘出這樣的關聯規則：它的支援度和置信度大於最低閾值（minsup,minconf），這個閾值是由使用者指定的。根據 support=(X,Y).count/T.countsupp

【機器學習】傳統目標檢測演算法之級聯分類器Cascade

先附上參考文章吧。 文章其實是“P. Viola, M. Jones. Rapid Object Detection using a Boosted Cascade of Simple Features[J].CVPR, 2001”的學習筆記，下面第二個連結是文獻的中英文版

【機器學習】常用聚類演算法原型

1. 聚類簡介 在機器學習中，分為監督學習、無監督學習和半監督學習。前一篇部落格中提到的迴歸和分類都屬於監督學習，本文著重探討無監督學習中的聚類演算法。 博主之前看過一些資料，這兩天也翻閱了網上的各大部落格後，也想總結一下，寫一寫聚類相關的知識點，對

【機器學習】利用蟻群演算法求解旅行商（TSP）問題

如果喜歡這裡的內容，你能夠給我最大的幫助就是轉發，告訴你的朋友，鼓勵他們一起來學習。 If you like the content here, you can give me the greatest help is forwarding, tell you

王小草【機器學習】筆記--無監督演算法之聚類

標籤（空格分隔）： 王小草機器學習筆記 1. 聚類的概述 存在大量未標註的資料集，即只有特徵，沒有標籤的資料。 根據這些特徵資料計算樣本點之間的相似性。 根據相似性將資料劃分到多個類別中。 使得，同一個類別內的資料相似度大，類別之間的資料相似度小。

【機器學習】GBDT梯度提升演算法調參法總結II

對於GBDT的引數調整，上一篇已經通過例項講明，不過調整引數確實重要，繼續總結一下通用套路。 1、相關引數 GBDT演算法引數主要分為三個類別： 1.Tree-Specific Paramete

【機器學習】迭代決策樹GBRT（漸進梯度迴歸樹）

一、決策樹模型組合        單決策樹C4.5由於功能太簡單，並且非常容易出現過擬合的現象，於是引申出了許多變種決策樹，就是將單決策樹進行模型組合，形成多決策樹，比較典型的就是迭代決策樹GBRT和隨機森林RF。        在最近幾年的paper上，如iccv這種重量級會議，iccv 09年的裡面有不少

【機器學習】線性迴歸演算法的過擬合比較

回顧 過擬合與欠擬合 主要介紹了什麼是欠擬合什麼是過擬合 對抗過擬合 主要介紹了線性迴歸中對抗過擬合的方法，主要包括：L1-norm的LASSO迴歸、L2-norm的Ridge迴歸，此外還有一個沒有提到，L1-norm和L2-norm結合的Elasitc Net(彈性網

【機器學習】EM演算法詳細推導和講解

眾所周知，極大似然估計是一種應用很廣泛的引數估計方法。例如我手頭有一些東北人的身高的資料，又知道身高的概率模型是高斯分佈，那麼利用極大化似然函式的方法可以估計出高斯分佈的兩個引數，均值和方差。這個方法基本上所有概率課本上都會講，我這就不多說了，不清楚的請百度。 　　然而現在我面臨的是這種情況，我

【機器學習】接地氣地解釋K-means聚類演算法

       俗話說“物以類聚，人以群分”，這句話在K-means聚類演算法裡面得到了充分的繼承。而K-means演算法的實際應用範圍可謂是大到無法估量，基本可以說，只要你想不到，沒有聚類聚不起來的東西！       &nbs

【機器學習】Apriori演算法——原理及程式碼實現（Python版）

Apriopri演算法 Apriori演算法在資料探勘中應用較為廣泛，常用來挖掘屬性與結果之間的相關程度。對於這種尋找資料內部關聯關係的做法，我們稱之為：關聯分析或者關聯規則學習。而Apriori演算法就是其中非常著名的演算法之一。關聯分析，主要是通過演算法在大規模資料集中尋找頻繁項集和關聯規則。

【機器學習】EM演算法在高斯混合模型學習中的應用

前言 EM演算法，此部落格介紹了EMEM演算法相關理論知識，看本篇部落格前先熟悉EMEM演算法。 本篇部落格打算先從單個高斯分佈說起，然後推廣到多個高斯混合起來，最後給出高斯混合模型引數求解過程。 單個高斯分佈 假如我們有一些資料，這些資料來自同一個

【機器學習】圖解十大經典機器學習演算法

決策樹（Decision Tree） 根據一些 feature（特徵） 進行分類，每個節點提一個問題，通過判斷，將資料分為兩類，再繼續提問。這些問題是根據已有資料學習出來的，再投入新資料的時候，就可以根據這棵樹上的問題，將資料劃分到合適的葉子上。 決策樹原理示

【機器學習】8種常見機器學習演算法比較

8種常見機器學習演算法比較 簡介 機器學習演算法太多了，分類、迴歸、聚類、推薦、影象識別領域等等，要想找到一個合適演算法真的不容易，所以在實際應用中，我們一般都是採用啟發式學習方式來實驗。通常最開始我們都會選擇大家普遍認同的演算法，諸如SVM，GBDT，Adaboost，現在深度學習很火熱，

【轉載】【機器學習】EM演算法詳細推導和講解

今天不太想學習，炒個冷飯，講講機器學習十大演算法裡有名的EM演算法，文章裡面有些個人理解，如有錯漏，還請讀者不吝賜教。 　　眾所周知，極大似然估計是一種應用很廣泛的引數估計方法。例如我手頭有一些東北人的身高的資料，又知道身高的概率模型是高斯分佈，那麼利用極大化似然函式的

【機器學習】決策樹演算法（二）— 程式碼實現

#coding=utf8 ‘’’ Created on 2018年11月4日 @author: xiaofengyang 決策樹演算法：ID3演算法 ‘’’ from sklearn.feature_extraction import DictVectorize

【機器學習】決策樹（基於ID3,C4.5,CART分類迴歸樹演算法）—— python3 實現方案

內含3種演算法的核心部分. 沒有找到很好的測試資料. 但就理清演算法思路來說問題不大 剪枝演算法目前只實現了CART迴歸樹的後剪枝. import numpy as np from collections import Counter from sklearn imp

【機器學習】簡述多種降維演算法

【轉載請註明出處】chenrudan.github.io 最近看了一些關於降維演算法的東西，本文首先給出了七種演算法的一個資訊表，歸納了關於每個演算法可以調節的(超)引數、演算法主要目的等等，然後介紹了降維的一些基本概念，包括降維是什麼、為什麼要降維、降維可以