Hoeffding's inequality霍夫丁不等式
引入
- 假定投硬幣,投出正面的概率為
p ,反面的概率為1−p n 次,正面出現的期望次數為np 。硬幣正面最多出現k 次的概率可以通過下式確定
P(H(n)≤k)=∑i=0k(ni)pi(1−p)n−i
H(n) 為投n次硬幣,正面出現的次數。 假定
k=(p−ε)n ,其中ε>0 ,可得
P[H(n)≤(p−ε)n]≤exp(−2ε2n) 同理假定
k=(p+ε)n ,其中ε>0 ,可得
P[H(n)≥(p+ε)n]≤exp(−2ε2n) 由2,3得
P[(p+ε)n≥H(n)≤(p−ε)n]≥1−2exp(−2ε2n)
常用形式
假定
X1,X2,...,Xn 為有界獨立隨機變數,0≤Xi≤1 ,E(X¯¯¯¯) 為X¯¯¯¯ 的期望,定義經驗均值變數為
X¯¯¯¯=1n(X1+X2+...+Xn)
滿足不等式
P(X¯¯¯¯−E(X¯¯¯¯)≥t)≤e−2nt2
其中0<t<X¯¯¯¯−E(X¯¯¯¯) .更一般的情況,當
Xi 嚴格有界在區間[ai,bi] 中
P(X¯¯¯¯−E(X¯
相關推薦
Hoeffding39;s inequality霍夫丁不等式
引入 假定投硬幣,投出正面的概率為 p p p,反面的概率為 1−p 1
霍夫丁不等式(Hoeffding's inequality)
1.簡述 在概率論中,霍夫丁不等式給出了隨機變數的和與其期望值偏差的概率上限,該不等式被Wassily Hoeffding於1963年提出並證明。霍夫丁不等式是Azuma-Hoeffding不等式的特例,它比Sergei Bernstein於1923年證明
機器學習推導合集01-霍夫丁不等式的推導 Hoeffding Inequality
1.0 引言 筆者第一次接觸霍夫丁不等式(Hoeffding Inequality)是在林軒田先生的機器學習基石課程(還是在b站上看的hh)上。可以說,當時沒有系統學過概率論與數理統計(probability and statistics)的我,對於不等式的推導是感到相當頭
Hoeffding39;s inequality
oba cad val ref earch ons fyi them nat Let $\{Y_i: i\in J\}$ be zero mean independent complex-valued random variables satisfying $|Y_i|\l
機器學習數學原理(8)——霍夫丁不等式
機器學習數學原理(8)——霍夫丁不等式 這一篇博文主要是為後面的介紹學習理論(Learning Theory)的博文做鋪墊。在學習理論中將會使用到霍夫丁不等式作為其引論之一。當然也可以選擇直接接受引論從而跳過這一篇的推導,讀者可以根據自己的需求來選擇。 需要說明的是,該篇博文直接選擇
HDU 5643 King39;s Game | 約瑟夫環變形
printf for hdu bsp esp ret inf color long 經典約瑟夫環 1 int f[N] ={ 0 }; 2 for(int i=2; i<=n; i++) 3 { 4 f[i] = (f[i-1] + k) %
HDU - 5643 King39;s Game (約瑟夫環變式)
題目大意: n個人圍成一個環坐著,編號從1到n,從第一個人開始報數,第一輪報到1的人出列;第二輪報到2的人出列......第n-1輪報到n-1的人出列,問最後剩下的人的編號是多少 題解: ①首先本題的資料
凸函式與簡森不等式(Jensen's inequality)
0. 凸函式常見舉例 負對數函式:−lnx xlnx(二階導數為 1x,恆為整數,因為定義域的關係) 1. 凸函式的判斷準則 定義:f(λx+(1−λ)x2)≤λf(x)+(1−λ)f(
冷知識:達夫裝置(Duff39;s Device)效率真的很高嗎?
ID:技術讓夢想更偉大 作者:李肖遙 wechat連結:https://mp.weixin.qq.com/s/b1jQDH22hk9lhdC9nDqI6w 相信大家寫業務邏輯的時候,都是面向if、else、for、while、switch程式設計。但是你見過switch巢狀do..while嗎?
UVA - 434 Matty's Blocks
mes [0 () block += tty scan 一個 ems 題意:給你正視和側視圖,求最多多少個,最少多少個 思路:貪心的思想。求最少的時候:由於能夠想象著移動,盡量讓兩個視圖的重疊。所以我們統計每一個視圖不同高度的個數。然後計算。至於的話。就是每次拿正視圖的
POJ 2488:A Knight's Journey
graph for erp 技術分享 rpe one star void get A Knight‘s Journey Time Limit: 1000MS Memory Limit: 65536K Total Submissions: 29241
Xcode 真機調試報錯:This application39;s application-identifier entitleme
報錯 調試 win cati app itl ati 刪除 allow This application‘s application-identifier entitlement does not match that of the installed applicatio
[UVALive7261]A - Xiongnu39;s Land (二分)
while continue 大於 並且 輸出結果 net lan include != 題目鏈接:https://vjudge.net/problem/UVALive-7261 題意略 三個步驟: 1.二分滿足左邊綠洲面積大於等於右邊綠洲面積,並且使左邊面積盡可能大的分割
解題報告 之 HDU5288 OO' s Sequence
bold repr frame roman efi int tom relative 記錄 解題報告 之 HDU5288 OO‘ s Sequence Description OO has got a array A of size n ,defined
<轉>How to Encourage Your Child39;s Interest in Science and Tech
sim challenge table nic options https fun developed advice How to Encourage Your Child‘s Interest in Science and Tech This week’s Ask-A-D
CSU - 1556 Jerry's trouble(高速冪取模)
click ostream algo printf 高速 ron main 取模 bit 【題目鏈接】:click here 【題目大意】:計算x1^m+x2^m+..xn^m(1<=x1<=n)( 1 <= n < 1 000 000, 1 &
Software Engineering——A PRACTITIONER39;S APPROACH (english edition · eighth edition)
sts hose english lin curring orf reference spl sign ARCHITETUAL DESIGN Record at P261 Choosing the right architecture style can be tric
hdu2204Eddy's愛好
一個 hdu ace 表示 缺失 spa 最大數 void 代碼 大概題意是要你輸出1到n中,可以表示成a^b的數,a,b都是大於0的整數的個數, 當中b大於1。 由於1到n中。可以全然開平方的個數就是(n^0.5)的整數部分。 以此類推能夠得到,全然開立方。全然開四次
新概念英語(1-71)He39;s awful!
morn last phone after ast time bsp other let He‘s awful!How did Pauline answer the telephone at the nine o‘clock?What‘s Ron Marston like,
HDOJ 1507 Uncle Tom's Inherited Land*
attr ber reat per a long ane sub others further 直接對每一個格子進行dfs結果除以2能夠得到答案可是有大量反復的結果,不好輸出答案. 能夠僅僅對橫縱坐標相加是奇數的格子dfs.... Uncle Tom‘s Inh