1. 程式人生 > >資訊基礎II | Homework 2

資訊基礎II | Homework 2

目錄

一、希臘字母表

二、方向(在某個空間的某個方向)

三、訊號卷積為什麼後面是g(t-τ),為什麼要倒過來

四、證明中心極限定理

五、閱讀朱軍(清華計算機) 的論文

六、卷積是線性的嗎?


一、希臘字母表

希臘字母發音對照表及其latex命令

Α α:阿爾法 Alpha
Β β:貝塔 Beta
Γ γ:伽瑪 Gamma
Δ δ:德爾塔 Delte
Ε ε:艾普西龍 Epsilon
Ζ ζ :捷塔 Zeta
Ε η:依塔 Eta
Θ θ:西塔 Theta
Ι ι:艾歐塔 Iota
Κ κ:喀帕 Kappa
∧ λ:拉姆達 Lambda
Μ μ:繆 Mu
Ν ν:拗 Nu
Ξ ξ:克西 Xi
Ο ο:歐麥克輪 Omicron
∏ π:派 Pi
Ρ ρ:柔 Rho
∑ σ:西格瑪 Sigma
Τ τ:套 Tau
Υ υ:宇普西龍 Upsilon
Φ φ:fai Phi
Χ χ:器 Chi
Ψ ψ:普賽 Psi
Ω ω:歐米伽 Omega

二、方向(在某個空間的某個方向)

  1. 維基百科上對於方向的定義
  2. 數學中空間的含義
  • 方向可以定義為從初位置指向末位置的指向
  • 向量的指向
  • 在某個空間和絕對參考系某一個軸的一個夾角

三、訊號卷積為什麼後面是g(t-τ),為什麼要倒過來

圖來自Zhu Alex

對於一個系統,輸入是f(x),衝擊響應是h(x)

第0時刻,系統的輸出是f(0)*h(0)

第1時刻,系統的輸出是f(1)*h(0)+f(0)*h(1)

第2時刻,系統的輸出是f(2)*h(0)+f(1)*h(1)+f(0)*h(2)

第n時刻,系統的輸出是f(n)*h(0)+f(n-1)*h(1)+...+f(0)*h(n)

這個其實就是離散時間的卷積公式

站在當前的時間點,系統的對我們的迴應都是h(0),而前一時刻迴應是h(1),再前是h(2),直到h(n)。

沒有翻轉前,從h(0)向右看,看到的是h(1),h(2)...,他們都是對未來的影響,翻轉後,再從h(0)向左看,看到的是過去對現在的影響,所以這樣乘起來,影響的時間就正確了。

參考:

  1. 在定義卷積時為什麼要對其中一個函式進行翻轉? 中微子 知乎回答
  2. 在定義卷積時為什麼要對其中一個函式進行翻轉? 銀toki 知乎回答

四、證明中心極限定理

維基百科上中心極限定理的定義

  • 中心極限定理
    ,是指概率論中討論隨機變數序列部分和分佈漸近於正態分佈的一類定理。這組定理是數理統計學和誤差分析的理論基礎,指出了大量隨機變數近似服從正態分佈的條件。它是概率論中最重要的一類定理,有廣泛的實際應用背景。在自然界與生產中,一些現象受到許多相互獨立的隨機因素的影響,如果每個因素所產生的影響都很微小時,總的影響可以看作是服從正態分佈的。
  • 中心極限定理的證明

五、閱讀朱軍(清華計算機) 的論文

筆記:

摘要:

本文總結了貝葉斯方法在機器學習中的最新進展,具體內容包括貝葉斯機器學習的基礎理論與方法,非引數貝葉斯方法及常用的推理方法、正則化貝葉斯方法等。最後還針對大規模貝葉斯學習問題進行了簡要的介紹和展望,對其發展趨勢作了總結和展望。

1.貝葉斯學習的基礎

貝葉斯定理:

2.貝葉斯機器學習:

貝葉斯方法在機器學習領域有諸多應用。從單一變數的分類與迴歸到多變數的結構化輸出預測,從有監督學習,到無監督學習及半監督學習等,貝葉斯方法幾乎用於任何一種學習任務。

共性任務:預測、模型選擇

3.非引數貝葉斯方法

  1. 狄利克雷過程
  2. 印度自助餐過程
  3. 應用及擴充套件

4.貝葉斯模型的推理方法

  1. 變分推理方法
  2. 蒙特卡洛方法

5.正則化貝葉斯理論及應用舉例

6.大資料貝葉斯學習

  1. 隨機梯度及線上學習方法
  2. 分散式推理演算法
  3. 基於硬體的加速

六、卷積是線性的嗎?

  • 卷積有很多種,如迴圈卷積,週期卷積以及線性卷積
  1. 雙線性運算子在維基百科的定義
  2. 《SIGNALS AND SYSTEMS》中對卷積的說明

卷積是一個雙線性運算子,即結合了向量空間的兩個元素,以產生同一空間的第三個元素,這個元素在每個引數中都是線性的

所以卷積也是線性的。