前言

對理論沒興趣的直接看程式碼吧，理論一堆，而且還有點複雜，我自己的描述也不一定準確，但是程式碼就兩三句話搞定了。

國際慣例，參考博文

理論

基礎知識

似然函式(引自百度百科)

似然函式是關於統計模型中的引數的函式，表示模型引數的似然性。在給定輸出x$x$時，關於引數θ$\theta$的似然函式L(θ|x)$L(\theta |x)$在數值上等於給定引數θ$\theta$後變數X$X$的概率：

L(θ|x)=P(X=x|θ)$$L(\theta |x)=P(X=x|\theta )$$
有兩個比較有趣的說法來區分概率與似然的關係，比如拋硬幣的例子：

• 概率說法：對於“一枚正反對稱的硬幣上拋十次”這種事件，問硬幣落地時十次都是正面向上的“概率”是多少
• 似然說法：對於“一枚硬幣上拋十次”，問這枚硬幣正反面對稱的“似然”程度是多少。

極大似然估計

(摘自西瓜書)兩大學派：

• 頻率主義學：引數是固定的，通過優化似然函式來確定引數
• 貝葉斯學派：引數是變化的，且本身具有某種分佈，先假設引數服從某個先驗分佈，然後基於觀測到的資料來計算引數的後驗分佈

極大似然估計(Maximum Likelihood Estimation,MLE)源自頻率主義學。

假設D$D$是第c$c$類樣本的集合，比如所有的數字3$3$的圖片集合，假設它們是獨立同分布的，則引數θ$\theta$對於資料集D$D$的似然是：

P(D|θ)=∏x∈DP(x|θ)$$P(D|\theta )=\prod _{x\in D}P(x|$$

θ)
極大似然估計就是尋找一個θ$\theta$使得樣本x$x$出現的概率最大

但是上面的連乘比較難算，這就出現了對數似然：

L(θ)=logP(D|θ)=∑x∈DlogP(x|D)$$L(\theta )=\log P(D|\theta )=\sum _{x\in D}\log P(x|D)$$
我們的目標就是求引數θ$\theta$的極大似然估計θ^$\hat{\theta }$
θ^=argmaxθL(θ)$$\hat{\theta }=\arg \underset{\theta }{max}L(\theta )$$
例子：在連續屬性情況下，如果樣本集合概率密度函式p(x|c)∼N(μ,σ2)$p(x|c)\sim N(\mu ,{\sigma }^2)$，那麼引數μ,σ2$\mu ,{\sigma }^2$的極大似然估計就是
μ^σ^2=1|D|∑x∈Dx=1|D|∑x∈D(x−μ^)(x−μ^)T$$\begin{array}{rl}\hat{\mu }& =\frac{1}{|D|}\sum _{x\in D}x\\ {\hat{\sigma }}^{}\end{array}$$

2=1|D|∑x∈D(x−μ^)(x−μ^)T
其實就是計算均值和方差了。這樣想，這些樣本就服從這個高斯分佈，那麼把高斯分佈直接當做引數，一定能夠大概率得到此類樣本，也就是說用3$3$的樣本所服從的高斯分佈作為模型引數一定能使3$3$出現的概率P(x|θ)$P(x|\theta )$最大。

期望值最大化演算法(EM)

這一部分簡單說一下即可，詳細的在我前面的部落格HMM——前向後向演算法中有介紹，主要有兩步：

• E步：求Q函式Q(θ,θ(i))$Q(\theta ,{\theta }^{(i)})$,這個θ(i)${\theta }^{(i)}$就是當前迭代次數i$i$對應的引數值，Q函式實際就是對數聯合似然函式logP(X,Z|θ)$\log P(X,Z|\theta )$在分佈P(Z|X,

  相關推薦

  【TensorFlow-windows】學習筆記六——變分自編碼器

  前言 對理論沒興趣的直接看程式碼吧，理論一堆，而且還有點複雜，我自己的描述也不一定準確，但是程式碼就兩三句話搞定了。 國際慣例，參考博文 理論 基礎知識 似然函式(引自百度百科) 似然函式是關於統計模型中的引數的函式，

  【TensorFlow-windows】學習筆記七——生成對抗網路

  前言 既然學習了變分自編碼(VAE)，那也必須來一波生成對抗網路(GAN)。 國際慣例，參考網址： 理論 粗略點的講法就說：一個生成器GG，一個判別器DD，前者用來將噪聲輸入轉換成圖片，後者判別當前輸入圖片是真實的還是生成的。 為了

  【theano-windows】學習筆記十六——深度信念網路DBN

  前言 前面學習了受限玻爾茲曼機(RBM)的理論和搭建方法, 如果稍微瞭解過的人, 肯定知道利用RBM可以堆疊構成深度信念網路(deep belief network, DBN)和深度玻爾茲曼機(deep Boltzmann machine), 這裡就先學習一下

  【theano-windows】學習筆記十一——theano中與神經網路相關函式

  前言 經過softmax和MLP的學習, 我們發現thenao.tensor中除了之前的部落格【theano-windows】學習筆記五——theano中張量部分函式提到的張量的定義和基本運算外, 還有一個方法稱為nnet, 如果自己實現過前面兩篇部落格中的程

  tensorflow學習筆記(三)：實現自編碼器

  sea start ear var logs cos soft 編碼 red 黃文堅的tensorflow實戰一書中的第四章，講述了tensorflow實現多層感知機。Hiton早年提出過自編碼器的非監督學習算法，書中的代碼給出了一個隱藏層的神經網絡，本人擴展到了多層，改進

  【Learning Notes】變分自編碼器（Variational Auto-Encoder，VAE）

  近年，隨著有監督學習的低枝果實被採摘的所剩無幾，無監督學習成為了研究熱點。VAE（Variational Auto-Encoder，變分自編碼器）[1,2] 和 GAN（Generative Adversarial Networks） 等模型，受到越來越多的關注

  [深度學習]半監督學習、無監督學習之Variational Auto-Encoder變分自編碼器(附程式碼)

  論文全稱：《Auto-Encoding Variational Bayes》 論文地址：https://arxiv.org/pdf/1312.6114.pdf 論文程式碼： keras 版本：https://github.com/bojone/vae pytorch 版本：https

  VAE----變分自編碼器Keras實現

  這篇部落格用來記錄我自己用keras實現(抄寫)VAE過程中，掉進的一個坑。。。。。。 最近這幾天在網上看了很多VAE的介紹，並且看了一下keras中的實現。自我感覺良好，就想按著官方的程式碼自己也去寫一遍。不寫不知道，一寫嚇一跳！！我跳進了一個很大坑中（笑哭），我在把程式碼寫完以後，開始訓

  從零上手變分自編碼器（VAE）

  閱讀更多，歡迎關注公眾號：論文收割機（paper_reader） Kingma D P, Welling M. Auto-encoding variational bayes[J]. arXiv preprint arXiv:1312.6114, 2013. Rez

  變分自編碼器VAE：原來是這麼一回事 | 附開原始碼

  再談變分自編碼器VAE：從貝葉斯觀點出發

  Autoencorder理解(5):VAE（Variational Auto-Encoder，變分自編碼器）

  reference: http://blog.csdn.net/jackytintin/article/details/53641885 近年，隨著有監督學習的低枝果實被採摘的所剩無幾，無監督學習成為了研究熱點。VAE（Variational Auto-Encode

  白話Variational Autoencoder（變分自編碼器）

  本文將簡單介紹一下Variational Autoencoder。作者也在學習當中，如有不正確的地方，請大家指正，謝謝～原始的autoencoder一般分為兩個部分encoder part和decoder part。 encoder是將input轉化為encoding vec

  VAE變分自編碼器的一點理解

  前言 網上很多關於VAE的教程都包含大量枯燥難懂的數學公式，如果有大佬特別喜歡推導這些公式，很高興能夠附上以下連結。然而，今天只是想簡單的談下自己的理解，只有圖片，沒有公式。 主要內容 如下圖所示，其實VAE的主要思想就是以均值方差計算模組來作為Enc

  變分自編碼器VAE：一步到位的聚類方案

  你瞭解變分自編碼器嗎？ 請看這裡

  10.9  變分自編碼器前面所描述的自編碼器可以降維重構樣本，在這基礎上我們來學習一個更強大的自編碼器。10.9.1  什麼是變分自編碼器變分自編碼器學習的不再是樣本的個體，而是要學習樣本的規律。這樣訓練出來的自編碼器不單單具有重構樣本的功能，還具有了仿照樣本的功能。聽起來這

  2018/09/13《塗抹MySQL》【MySQL復制特性】學習筆記(六)

  ref nor affect 來看 like 從數據 b2c img 密碼 推薦一首歌 　　- 《可不可以》張紫豪 好吧，隨便從排行榜上找了一首 讀 　　第十一章《MySQL的復制特性》 總結 1：復制(Replication) 應用場景？ 　　- 提高性能 (通過

  【Swift】學習筆記(六)——函式

  函式  懂程式語言的來說這個是最基本的了，任何語言都有函式這個概念，函式就是完成特定任務的獨立程式碼塊。 函式怎麼建立： 1、建立一個無參無返回值的函式(實際上所有的函式都有返回值，這個函式返回void，它是一個空元組) func testFunc(){ }

  【Unity 3D】學習筆記四十六：輸入與控制——鍵盤事件

  在遊戲中，玩家控制主角移動，按鍵攻擊，選擇行走。都需要在程式中監聽玩家的輸入。unity為開發者提供了input庫，來支援鍵盤事件，滑鼠事件以及觸控事件。本文主要回顧鍵盤事件，以後會逐文複習滑鼠以及觸控事件。 鍵盤事件 一般的PC鍵盤有104個不同的按鍵，在程式中通過監

  【Unity 3D】學習筆記三十：遊戲元素——遊戲地形

  nbsp 3d遊戲 strong 直觀 分辨率 == 摩擦力 fill 世界 遊戲地形 在遊戲的世界中，必然會有非常多豐富多彩的遊戲元素融合當中。它們種類繁多。作用也不大同樣。一般對於遊戲元素可分為兩種：經經常使用。不經經常使用。經常使用的元素是遊戲中比較重要的元素。一