機器學習中的數學

覺得有用的話,歡迎一起討論相互學習~Follow Me

原創文章,如需轉載請保留出處
本部落格為七月線上鄒博老師機器學習數學課程學習筆記

概率論

• 對概率的認識,x表示一個事件,則P(x)表示事件發生的概率,其中不可能發生的事件P(x)=0,一定會發生的事件P(x)=1.P(x)∈[0,1]
  
  • 但是事件出現的概率是0,並不意味著這個事件不可能發生.概率為1也並不意味著事件一定發生
  • 若x為離散/連續變數,則P(x=x0)表示X0發生的概率/概率分佈
  • 機器學習中不刻意區別離散/連續變數∑F(x)和∫f(x)意義完全相同公式可以等價看待,前者表示離散變數,後者表示連續變數
• 累計分佈函式:ϕ(x)=P(x<=x0)計算的是x<=x0的概率值的和.
  
  • 因為P(x)∈[0,1],是正數,所以ϕ(x)一定是 單增函式
  • min(ϕ(x))=0,max(ϕ(x))=1
• 因此可以將值域為[0,1]的單調遞增函式y=f(x)看成x事件的累積概率(cumulative distribution function,CDF),若y=f(x)可導,則p(x)=f′(x)為概率密度函數(probabilitydensityfunction,pdf)

古典概型

• 如果一個隨機試驗所包含的單位事件是有限的，且每個單位事件發生的可能性均相等，則這個隨機試驗叫做拉普拉斯試驗，這種條件下的概率模型就叫古典概型。
• 遇到古典概型的問題,首先計算出所有可能的情況,然後計算出滿足條件的情況,將兩者相除後得到的即為事件的概率.

概率公式

貝葉斯概率公式

百度詞條
以下內容部分或全部摘自百度詞條

定義–摘自百度

貝葉斯的統計學中有一個基本的工具叫貝葉斯公式、也稱為貝葉斯法則， 儘管它是一個數學公式，但其原理毋需數字也可明瞭。如果你看到一個人總是做一些好事，則那個人多半會是一個好人。這就是說，當你不能準確知悉一個事物的本質時，你可以依靠與事物特定本質相關的事件出現的多少去判斷其本質屬性的概率。 用數學語言表達就是：支援某項屬性的事件發生得愈多，則該屬性成立的可能性就愈大。
貝葉斯公式又被稱為貝葉斯定理、貝葉斯規則是概率統計中的應用所觀察到的現象對有關概率分佈的主觀判斷（即先驗概率）進行修正的標準方法。
所謂貝葉斯公式，是指當分析樣本大到接近總體數時，樣本中事件發生的概率將接近於總體中事件發生的概率。但行為經濟學家發現，人們在決策過程中往往並不遵循貝葉斯規律，而是給予最近發生的事件和最新的經驗以更多的權值，在決策和做出判斷時過分看重近期的事件。面對複雜而籠統的問題，人們往往走捷徑，依據可能性而非根據概率來決策。這種對經典模型的系統性偏離稱為“偏差”。由於心理偏差的存在，投資者在決策判斷時並非絕對理性，會行為偏差，進而影響資本市場上價格的變動。但長期以來，由於缺乏有力的替代工具，經濟學家不得不在分析中堅持貝葉斯法則。
條

• P(A)是A的先驗概率或邊緣概率,之所以成為”先驗”是因為它不考慮任何B方面的概率.
• P(A|B)是已知B發生後A的條件概率,也由於得自於B的取值,而稱為A的後驗概率.
• P(B|A)是已知A發生後B的條件概率,也由於得自於A的取值,而稱為B的後驗概率.
• P(B)是B的先驗概率或邊緣概率,也稱為”標準化常量”

Example

兩種認識下的兩個學派

分佈

Logistic函式/Sigmoid 函式