期望

定義

• 離散型

E(X)=∑i∞xkpk

• 連續型

E(X)=∫∞−∞xf(x)dx

性質

E[aX+bY]=aE[X]+bE[Y]

方差

定義

D(X)=Var(X)=E{[X−E(X)]2}=E(X2)−[E(X)]2

切比雪夫不等式

定理 設隨機變數X具有數學期望E(X)=μ，方差D(X)=σ2，則對於任意整數ϵ，不等式

P{∣X−μ∣≥ϵ}≤σ2ϵ
成立。

切比雪夫(Chebbyshev)不等式也可以寫成如下的形式：

P{∣X−μ∣<ϵ}≥1−σ2ϵ

切比雪夫不等式給出了在隨機變數的分佈未知，而只知道E(X)

\和D(X)的情況下估計概率P{∣X−E(X)∣<ϵ}的界限。

協方差

對於二維隨機變數(X, Y)，除了需要了解X與Y的數學期望和方差意外，還需要掌握描述X與Y之間相互關係的數字特徵。

定義

如果兩個隨機變數X和Y是相互獨立的，則

E{[X−E(X)][Y−E(Y)]}=0

亦

E(XY)=E(X)E(Y)

量E{[X−E(X)][Y−E(Y)]}稱為隨機變數X與Y的協方差，記為Cov(X, Y)，即

Cov(X,X)=E{[X−E(X)][Y−E(Y)]}=E(XY)−E(X)E(Y)
於是
Cov(X,X)=E[X2]−E[X]2=D(X)

協方差表達的是兩個隨機變數總體誤差的期望。

性質

1. 如果兩個變數的變化趨勢一致，也就是說如果其中一個大於自身的期望值時另外一個也大於自身的期望值，那麼兩個變數之間的協方差就是正值；如果兩個變數的變化趨勢相反，即其中一個變數大於自身的期望值時另外一個卻小於自身的期望值，那麼兩個變數之間的協方差就是負值。

2. 如果X與Y是統計獨立的，那麼二者之間的協方差就是0，因為兩個獨立的隨機變數滿足E[XY]=E[X]E[Y]。但是，反過來並不成立。即如果X與Y的協方差為0，二者並不一定是統計獨立的。協方差為0的兩個隨機變數稱為是不相關的。獨立一定不相關，不相關不一定獨立。

Cov(X,Y)=Cov(Y,X)Cov(aX,bY)=abCov(X

,Y), a, b是常數Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)

協方差的上界

若Var(X)=ρ21,Var(Y)=ρ22，則 ∣Cov(X,Y)∣≤ρ1ρ2

當且僅當X和Y之間有線性關係時，等號才成立。

方差和協方差的關係

D(X+Y)=D(X)+D(Y

相關推薦

機器學習之數學基礎——期望、方差、協方差、相關係數、矩、協方差矩陣

期望 定義 離散型 E(X)=∑i∞xkpk 連續型 E(X)=∫∞−∞xf(x)dx 性質 E[aX+bY]=aE[X]+bE[Y] 方差 定義 D(X)=Var(X)=E{[X−E(X)]2}=E

機器學習之數學基礎（一）-微積分，概率論和矩陣

系列 學習 python 機器學習 自然語言處理 圖片 clas 數學基礎 記錄 學習python快一年了，因為之前學習python全棧時，沒有記錄學習筆記想回顧發現沒有好的記錄，目前主攻python自然語言處理方面，把每天的學習記錄記錄下來，以供以後查看，和交流分享。~~

【機器學習之數學】03 有約束的非線性優化問題——拉格朗日乘子法、KKT條件、投影法

目錄 將有約束問題轉化為無約束問題 拉格朗日法 KKT條件 拉格朗日法更新方程 凸優化問題下的拉格朗日法 罰函式法 對梯度演

機器學習的數學基礎

應用 替換 衡量 inline 值範圍 說明 而不是 對象 -c 矩陣 一般而言，一個對象應該被視為完整的個體，表現實中有意義的事物，不能輕易拆分。 對象是被特征化的客觀事物，而表（或矩陣）是容納這些對象的容器。換句話說，對象是表中的元素，表是對象的集合（表中的每個對象都

機器學習的數學基礎（線性代數篇）

ima 技術 分享 機器學習 線性代數 http src .com jpg 註：總結來自黃海廣博士。 機器學習的數學基礎（線性代數篇）

機器學習的數學基礎 - 特征分解與奇異值分解

src ron 特征 技術 ima 基礎 bsp posit pos 特征分解 奇異值分解(Singular Value Decomposition, SVD) 機器學習的數學基礎 - 特征分解與奇異值分解

機器學習的數學基礎（叄）

1 最小二乘法（Least Square Fitting） 最小二乘法則是一種統計學習優化技術，它的目標是最小化誤差平方之和來作為目標，從而找到最優模型，這個模型可以擬合（fit）觀察資料。 迴歸學習最常用的損失函式是平方損失函式，在此情況下，迴歸問題可以用著名的最小二乘法來

機器學習的數學基礎（貳）

概率與統計（Probability and Statistics） 1 概率 1.1 條件概率（Conditional Probability） P

機器學習的數學基礎（壹）

1 範數（norm） 它常常被用來度量某個向量空間（或矩陣）中的每個向量的長度或大小。一般我們用範數來衡量兩個向量之間的距離，也就是相似度。 1.1常見的範數 0-範數 有多少個非零的數 1-範數（曼哈頓距離） |

機器學習之數學系列（二）邏輯迴歸反向傳播數學推導

一、簡介   在深度學習領域，我們往往採用梯度下降(或上升)法來優化訓練函式模型，梯度下降法尤其是在優化凸函式上表現極佳。模型優化涉及到反向傳播過程，反向傳播過程需要先推匯出梯度計算公式然後利用機器進行代數運算。這篇博文的工作是詳細推導了邏輯迴歸反向傳播梯度計算公式(什麼是梯度？簡單來講

機器學習之數學系列（一）矩陣與矩陣乘法

1.對於矩陣的認識應當把它看成是多個向量的排列表或把矩陣看成行向量，該行向量中的每個元素都是一個列向量，即矩陣是複合行向量。如下圖所示。 2.對於下面這個矩陣的乘法有兩種看法： (1)矩陣將向量[b1,b2,b3].T進行了運動變換，這種變換可以是同空間內變換，也可以是不同空間間的變換；

人工智慧第四課：機器學習的數學基礎

我斷斷續續利用在家休假的時間，完成了這門課程《Essential Math for Machine Learning: Python Edition》的學習，並且得到了總分91分。     這門課程的主要內容如下，雖然我們以前都學過數學，但大部分真的都還給老師了。學習這門課程中，

機器學習之python基礎

“”" @Theme 類 @author lz @Time 2018/12/10 @content 訪問私有屬性的方法 “”" class Woman: def init(self,name,age): self.name=name; #定義私有屬性 self.__age=age; def

機器學習之python基礎篇

“”" @theme 類 @time 2018/12/8 @author lz @content _del_方法 “”" class Cat: def init(self,name): self.name=name; print(“我的 %s 名字是”% self.name) print(1

機器學習之python基礎15

“”" @theme 類 @time 2018/12/7 @author lz @content 初始方法，同時設定初始值 “”" class Cat: def init(self,new_name): print(1) #self.屬性名=屬性的值 self.name=new_name

機器學習之python基礎篇面向物件

“”" @theme 類的呼叫 @time 2018/12/06 @author lz @content 類的呼叫 “”" class Cat: def eat(self): #哪一個物件呼叫的方法，self就是哪一個物件的引用 print(“吃飯”) print("%s 愛吃魚 “%sel

機器學習之python基礎13

“”" @theme 字串格式化輸出 @author lz @time 2018/12/05 @content format的用法 “”" str2=“my name is {name}，age is {old}” #以字典的形式賦值，然後格式化輸出 print(str2.format_ma

機器學習之python基礎12

str1=“abababcdefababghijkjkjkjk” print(str1.split(“ab”,2))#從左向右依次分割字串，可以指定分割次數 print(str1.rsplit(“a”))#從右向左依次分割字串，可以指定分割次數 print(str1.splitlines()

機器學習之python基礎10

“”" 操作檔案的步驟： 1開啟檔案2讀寫檔案3關閉檔案 用到1個函式open3個方法read，write，close 先寫open，close在寫read和write “”" file=open(“readme.txt”)#預設是以只讀檔案的形式並且返回物件,resdme中不能含有中文否則

機器學習之python基礎篇6

“”" @theme list的取值，增加，刪除 @time 2018/11/26 @author lz “”" name_list=[“zhangsan”,“lisi”,“maliu”];#定義列表 name_list[0]=“張三”#修改列表的值 name_list.pop()#在末尾刪