機器學習目標：（二分類）

經驗風險：

過度擬合：

經驗風險最小化：

結構風險最小化：

正則：

特點：

誤差錯誤估計錯誤：

誤差上界分析：

R(g)的經驗風險上界：

對錯誤分類的誤差F定義(值域[0或1])：

F和R的關系：

關於F的Hoe不等式：

意義：

統一上界：

與Hoe的差異：

增長函數：

VC維：

VC維無限的函數族：

證明：將給定的點進行+-+-劃分，如果有連續++或--的點在中間添加一個新點，保證一正一負，尋求一個sin函數的零點剛好過以上所有點時，給定一個微小增量t’，sin((t’)x)可滿足條件。尋找方法是求出所有相鄰點的距離，進行分子有理化，提公分母，求出所有分子最大公約數，乘以公分母即為所有點的一個單位長度，也是sin函數的半周期，可求出t。

典型的生長函數：

VC維與R(g)的關系：

VC商（分布相關）：

Covering Numbers：與VC維，VC商，生長函數一樣描述函數特特性

Rademacher averages：

（意義在於僅僅依靠樣本就能確定出邊界）

摘錄-Introduction to Statistical Learning Theory(統計機器學習導論)