1. 從觀察出發——迴歸問題

在統計學中，我們認為一個變數是服從某種理想分佈的，稱為理想變數。而為了獲得理想變數的值，我們需要去觀察這個世界，並得到觀察資料，稱為觀察變數。觀察變數與理想變數之間的函式關係被稱為觀察模型。

設觀察資料為xi∈Rp，理想資料為yi∈R，觀察模型為線性模型

yi=xTiβ+ηi(1)
其中β∈Rp為引數向量，ηi∈R是獨立同分布的隨機變數。在應用中，ηi代表觀察噪聲。且通常假定它服從正態（高斯）分佈：
ηi∼N(0,σ2)(2)

上面的觀察模型可以引出兩個問題：
1. 已知理想和觀察變數yi,xi，求模型引數β,σ。這被稱為引數估計（Paremeter Estimation）問題。
2. 已知觀察變數x

i和模型引數β,σ，求理想變數yi。這被稱為迴歸（Regression）問題。如果觀察模型是線性的，例如(1)，則稱為線性迴歸問題。

迴歸的概念非常寬泛，它泛指研究一組變數和另一組變數之間的關係的統計分析方法。考慮變數和引數之間的對稱性，不難發現，引數估計也是迴歸問題。

2. 引數估計——也是迴歸問題

在統計學習中，引數估計是一個學習樣本所蘊含資訊的過程。而學習的結果，就是觀察模型（包括最優引數）。

2.1 從物理直觀出發

先考慮模型(1)下如何求解引數β。從物理直觀理解，引數β應該使得觀察變數xi和yi應當充分接近。寫成數學表達，就是

minβ∑i∥yi−xTiβ∥22(3)

寫成矩陣形式，就是
minβ∥y−XTβ∥22(4)
其中矩陣X=(x1,⋯,xn), 向量y=(y1,⋯,yn)T，而n為觀察次數。當資料維度p≤n並且觀察資料xi線性無關（線性相關的xi沒有資訊量，可以直接去掉），這就是經典的線性最小二乘問題，有唯一解。它的解可以通過對β求微分直接得到
β̂ =(XTX)−1XTy(5)
其中(XTX)−1XT稱為矩陣X的Moore-Penrose偽逆，記為X+。

值得注意的是，當p>n，這是一個欠定問題。也就是說已知條件不足，沒有唯一解。如果非要求解，那麼必須引入新的資料假設，稱為先驗（Prior）。先驗來自對資料統計規律的抽象。這種加入先驗的過程有一個學術名稱：正則化（Regularization）。這種問題在應用中非常常見，在本文最後還會出現。

2.2 從貝葉斯推理的角度看

上面是從物理直觀出發求解引數估計問題，下面我們從貝葉斯推理的角度看同樣的問題。

貝葉斯推理的核心是三個概念：

• 先驗。對應前面的觀察資料X(注意：不同於第1、3節先驗的概念)。
• 條件概率。對應觀察模型。
• 後驗（posterior）。對應理想資料y。

貝葉斯三要素與前面說的觀察變數、觀察模型、理想變數是一致的。但是觀察模型是概率密度函式(p.d.f.)的形式：

p(y|X,β,σ2)∝(σ2)−n/2exp(−12σ2(y−Xβ)T(y−Xβ))(6)
這是一個略去了常數係數的多元高斯分佈的概率密度函式。也就是說，貝葉斯理論假設觀察變數X也是服從高斯分佈的(這個假設來自大數定律和中心極限定理)，並且這個高斯分佈的均值向量為μ=Xβ，方差矩陣為

相關推薦

線性迴歸與貝葉斯推理——漫談機器學習

1. 從觀察出發——迴歸問題 在統計學中，我們認為一個變數是服從某種理想分佈的，稱為理想變數。而為了獲得理想變數的值，我們需要去觀察這個世界，並得到觀察資料，稱為觀察變數。觀察變數與理想變數之間的函式關係被稱為觀察模型。 設觀察資料為xi∈Rp，理想資料為y

機器學習：貝葉斯總結_3：線性迴歸和貝葉斯迴歸

線性迴歸的基函式模型 y(x,w)=w0+w1x1+......+wDxD y(x,w)=w0+∑M−1j=1wjϕj(x) ϕj(x)：是基函數 基函式：多項式；高斯；sigmoid函式 基函

貝葉斯網路（機器學習系列，持續更新中~）

在說貝葉斯規則（Bayes rule）和將貝葉斯規則用於圖模型之前，先讓大家瞭解下機器學習的四個正規化（paradigms），也可以理解為四個流派； 連線主義（connectionist）：用現在比較流行的說法就是神經網路，現在用到的工具有Tensorflow

樸素貝葉斯Naive Bayes-機器學習ML

參考： 1.《統計學習方法》李航 2.先驗概率與後驗概率的區別：http://blog.csdn.net/ouyang_linux007/article/details/7566339 3.樸素貝葉斯方法（Naive Bayes）原理和實現：http://blog.

貝葉斯分類器——機器學習(周志華)

貝葉斯分類器 貝葉斯決策論 貝葉斯決策論是概率框架下實施決策的基本方法。 假設有N中可能的類別標記，即Y={c1,c2,...,cN},λij\mathcal{Y}=\{c_1, c_2,...,c_N\}, \lambda_{ij}Y={c1​,c2​,...

極大似然估計與貝葉斯定理

lan 說明 概率論 可能性 聯合 訓練樣本 對數 www. 條件 文章轉載自：https://blog.csdn.net/zengxiantao1994/article/details/72787849 極大似然估計-形象解釋看這篇文章：https://www.zhihu

KMeams算法應用：圖片壓縮與貝葉斯公式理解

lib num 算法 pre 數組 sets fit div png from sklearn.datasets import load_sample_image import matplotlib.pyplot as plt from sklearn.cluster i

KMEAMS演算法應用：圖片壓縮與貝葉斯公式理解

<br><br><br>from sklearn.datasets import load_sample_image import matplotlib.pyplot as plt from sklearn.cluster import KMeans import n

極大似然估計與貝葉斯的理解

轉自http://blog.csdn.net/zengxiantao1994/article/details/72787849 極大似然估計         以前多次接觸過極大似然估計，但一直都不太明白到底什麼原理，最近在看貝葉斯分類，

分享《貝葉斯方法概率編程與貝葉斯推斷》+PDF+源碼+Cameron+辛願

mar log ima 中文版 shadow watermark tex 書簽 -o 下載：https://pan.baidu.com/s/1V1fC4XSzQHtULvGA0baJ3A 更多資料分享：http://blog.51cto.com/14087171 《貝葉斯方

關於貝葉斯推理的理解

讀《統計學關我什麼事》有感 本質： 當你面對的問題需要你推理，從備選的幾個結果中選一個的時候。你需要根據已有的資訊判斷這幾個備選的結果各自的概率是多少，並選擇概率最大的那一個。那貝葉斯推理是怎麼推的呢。 首先當沒有輔助資訊的時候，咱們對這幾個備選的結果只有一個經驗的概率值。 然後加入

全面理解似然函式與貝葉斯公式

    不知道你是否看過我之前的文章，如果看了的話，你會認為很爛，然後判斷這篇部落格也是很大程度上是很爛的，如果這樣的，很幸運，那你使用了貝葉斯思維方式來進行思考問題了。     學了這麼多年貝葉斯公式，不是很

kaggle 影評情感分析（1）—— TF-IDF+Logistic迴歸/樸素貝葉斯/SGD

前言 kaggle的這個starting competition (Bag of words meet bags of popcorns) 其實是一個word2vec-tutorial, 但是本篇文章沒有用到 word2vec, 只用了 TF-IDF 的方式將句

機器學習筆記（一）：極大似然估計與貝葉斯估計的區別

似然函式： 樣本資料的分佈和在引數為下的概率分佈的相似程度 極大似然估計：只要求出符合樣本資料分佈的最優引數即可，不需要考慮先驗。 貝葉斯估計   MAP（最大後驗估計）

模式識別四--最大似然估計與貝葉斯估計方法

文章轉自：http://www.kancloud.cn/digest/prandmethod/102846         之前學習了貝葉斯分類器的構造和使用，其中核心的部分是得到事件的先驗概率並計算出後驗概率 ，而事實上在實際使用中，很多時候無法得到這些完整的資訊，因此我們需要使用另外一個重要的工具——引

淺談：高斯過程與貝葉斯優化

        高斯過程（Gaussian process）         高斯過程常在論文裡面簡寫為GP。定義：如果隨機過程的有限維分佈均為正態分佈，則稱此隨機過程為高斯過程或正態過程。         首先我們來解讀一下定義：         第一個問題：什麼是隨

模式識別：最大似然估計與貝葉斯估計方法

之前學習了貝葉斯分類器的構造和使用，其中核心的部分是得到事件的先驗概率並計算出後驗概率 ，而事實上在實際使用中，很多時候無法得到這些完整的資訊，因此我們需要使用另外一個重要的工具——引數估計。 引數估

機器學習升級版第七期——第二課（概率論與貝葉斯先驗）

   本總結僅為防止遺忘而作                                常見的分佈有                         關於具體分佈的理論部分在此不做過多闡述，可自行查閱資料。其中負二項分佈                      

【轉載】引數估計(Parameter Estimation)：頻率學派（最大似然估計MLE、最大後驗估計MAP）與貝葉斯學派（貝葉斯估計BPE）

基礎 頻率學派與貝葉斯學派 最大似然估計（Maximum likelihood estimation，MLE） 最大後驗估計（maximum a posteriori estimation，MAP） 貝葉斯估計（Bayesian parameter estimation，BPE） 經典引數估計方

機器學習系列（2）：logistic迴歸，貝葉斯（bayes）方法

前言：這章主要介紹logistic迴歸和bayes法。兩者都屬分類，前者引入了logistic函式，後者引入了貝葉斯定理，都是比較基礎的數學知識。             但是logistic無需先驗的訓練樣本，後者需要。              貝葉斯法很強大，很多郵件