要學習機器學習，首先得想明白機器學習為啥是可信的，下面就介紹幾個我個人認為的機器學習的基礎原理。

Hoaffding定理

Hoaffding定理是泛化能力的一種解釋，現在在這我給出Hoaffding定理的證明和釋義。

Jensen不等式

若函式f(x)$f(x)$再x∈[a,b]$x\in [a,b]$上f′′(x)>0$f^{{″}^{}}(x)>0$，令

那麼

由f′′(x)>0$f^{{″}^{}}(x)>0$可知F′(q)$F^{{\prime }^{}}(q)$先小於0然後大於0，所以F(q)<=0$F(q)<=0$即函式x∈[a,b]$x\in [a,b]$時f′′(x)>0$f^{{″}^{}}(x)>0$時，q∈[0,1],qf(b)+(1−q)f(a)>f(qb+(1−q)a)$q\in [0,1],qf(b)+(1-q)f(a)>f(qb+(1-q)a)$

Markov不等式

假設x$x$是大於0$0$的隨機變數，則有

即P(x>ϵ)<E[x]ϵ$P(x>ϵ)<\frac{E[x]}{ϵ}$

引理

若x∈[a,b],E[x]=0,t>0$x\in [a,b],E[x]=0,t>0$，那麼