1. 程式人生 > >Hoeffding's inequality霍夫丁不等式

Hoeffding's inequality霍夫丁不等式

引入

  1. 假定投硬幣,投出正面的概率為 p ,反面的概率為 1 p
    。則投出 n 次,正面出現的期望次數為 n p 。硬幣正面最多出現
    k
    次的概率可以通過下式確定
    P ( H
    ( n ) k ) = i = 0 k ( n i ) p i ( 1 p ) n i

    H ( n ) 為投n次硬幣,正面出現的次數。
  2. 假定 k = ( p ε ) n ,其中 ε > 0 ,可得

    P [ H ( n ) ( p ε ) n ] exp ( 2 ε 2 n )

  3. 同理假定 k = ( p + ε ) n ,其中 ε > 0 ,可得

    P [ H ( n ) ( p + ε ) n ] exp ( 2 ε 2 n )

  4. 由2,3得

    P [ ( p + ε ) n H ( n ) ( p ε ) n ] 1 2 exp ( 2 ε 2 n )

常用形式

  1. 假定 X 1 , X 2 , . . . , X n 為有界獨立隨機變數, 0 X i 1 E ( X ¯ ) X ¯ 的期望,定義經驗均值變數為

    X ¯ = 1 n ( X 1 + X 2 + . . . + X n )
    滿足不等式
    P ( X ¯ E ( X ¯ ) t ) e 2 n t 2
    其中 0 < t < X ¯ E ( X ¯ ) .

  2. 更一般的情況,當 X i 嚴格有界在區間 [ a i , b i ]