深度學習的數學基礎

• 微積分
  • 無窮小
    在17世紀下半葉，數學史上出現了無窮小的概念，而後發展處極限的概念
  • 極限
    • 數列的極限
    • 函式的極限
  • 導數
  • 微分
  • 積分
    • 不定積分
      也稱為原函式或反導數
    • 定積分
    • 定積分中值定理
  • 牛頓-萊布尼茨公式
  • 偏導數
• 概率統計
  • 樣本空間
    定義：隨機試驗 E 的所有結果構成的集合稱為 E 的 樣本空間，記為 S={e}
    稱 S 中的元素 e 為樣本點，一個元素的單點集稱為基本事件．
  • 概率
    條件概率/後驗概率
    P（A|B）
    邊緣概率/先驗概率
    A的邊緣概率表示為P（A）,B的邊緣概率表示為P（B）
    聯合概率
    全概率公式
    貝葉斯公式
  • 隨機變數
    離散型隨機變數
    對離散隨機變數用求和得全概率
    定義
    (0-1)分佈/兩點分佈/伯努利分佈
    二項分佈
    泊松分佈(Poisson分佈)
    連續型隨機變數
    對連續隨機變數用積分得全概率
    概率分佈函式F(x)
    概率密度函式f(x)
    均勻分佈
    X~U（a，b）
    指數分佈
    正態分佈/高斯分佈
    是研究誤差分佈的一個理論
  • 期望
    離散型隨機變數的期望
    連續型隨機變數的期望
  • 方差(Variance)
    一個隨機變數的方差（ Variance ）描述的是它的離散程度，也就是該變數離其期望值的距離
    標準差(Standard Deviation)
    方差的算術平方根稱為該隨機變數的標準差。
    樣本標準差
    協方差
    相關係數(Correlation coefficient)
    協方差矩陣
    主成分分析(PCA)
    在統計學中被稱為主成分分析 (principal components analysis ，簡稱 PCA) ，在影象處理中稱為 Karhunen-Loève 變換 (KL- 變換 ) 。
  • 大數定律
    大數定律負責給出估計——期望
  • 中心極限定理
    中心極限定理負責給出大數定律的估計的誤差——標準差乘以標準正態分佈
    大量相互獨立的隨機變數，其均值（或者和）的分佈以正態分佈為極限（意思就是當滿足某些條件的時候，比如 Sample Size 比較大，取樣次數區域無窮大的時候，就越接近正態分佈）。而這個定理 amazing 的地方在於，無論是什麼分佈的隨機變數，都滿足這個定理。
  • MLE(最大似然)
  • OLS(最小二乘)
  • 樣本和抽樣
  • 置信區間
  • 方差分析
  • 迴歸分析
  • bootstrap方法
  • 馬爾可夫鏈
• 線性代數
• 數值計算
  • sigmoid函式
    sigmoid函式只能分兩類
  • Softmax啟用函式
    softmax能分多類
  • logistic函式
  • Relu啟用函式
  • 網路引數
  • 梯度下降Gradient Descent
  • 學習率Learning Rate
    Subtopic
  • 誤差|損失
    均方誤差(Mean Squared Error)
    交叉熵(Cross-Entropy)
  • 損失函式(cost function)
    0-1損失函式
    當模型輸出值=樣本值，則為1，否則為0
    平方損失函式
    （模型輸出值 - 樣本值）^2
    絕對值損失函式
    |模型輸出值 - 樣本值|
    對數損失函式
    log (Y_模型輸出)