均勻分佈

若連續型隨機變數X具有概率密度

則稱X在區間（a,b）上服從均分分佈，記為X~U(a，b)

在區間中任意等長度的子區間的可能性是相同的，落在（a,b）的子區間的概率值依賴於子區間的長度與子區間的位置無關。

分佈函式：

指數分佈

連續隨機變數X的概率密度為

其中λ>0,為常數，則稱X服從引數為λ的指數分佈。在深度學習中，我們經常會需要一個x=0點處取得邊界點的分佈，而指數分佈就可以達到這一目的。

指數分佈示意圖

分佈函式：

期望：

方差：

       在概率論和統計學中，指數分佈是一種連續概率分佈。指數分佈可以用來表示獨立隨機事件發生的時間間隔，比如旅客進機場的時間間隔、中文維基百科新條目出現的時間間隔等等。指數分佈可以看作當威布林分佈中的形狀係數等於1的特殊分佈，指數分佈的失效率是與時間t無關的常數，所以分佈函式簡單。

正態分佈

連續隨機變數X的概率密度為

其中， ，（ >0）為常數，則X服從引數 ，的正態分佈或高斯分佈，記為

正態分佈示意圖

當時，正態分佈就成為了標準正態分佈。

標準正態分佈示意圖

正態分佈有兩個引數，期望和標準差，方差^2。

分佈函式：

影象特點：

（1）集中性：正態曲線的高峰位於正中央，即均數所在的位置。

（2）對稱性：正態曲線以均數為中心，左右對稱，曲線兩端永遠不與橫軸相交。

（3）均勻變動性：正態曲線由均數所在處開始，分別向左右兩側逐漸均勻下降。

引數性質：

（1）曲線關於x=對稱。

（2）當x=時得到了最大值f(

在x=±處曲線有拐點，如果固定，改變的值，則圖片沿著Ox軸為漸近線，可見正態分佈的概率密度曲線y=f(x)的位置完全由引數所確定，稱為位置引數。

正態分佈對線性變化和卷積運算是封閉的。性質如下：

（1）對於隨機變數X服從正態分佈，X'=aX+b（作為x的線性變換）也服從和X一樣的分佈時，證明該分佈對線性變換是封閉的。

（2）對於X和Y都服從正態分佈，Z=X+Y，W=X-Y，Z和W也服從正態分佈時，則說明該分佈對卷積操作也是封閉的。

如果一組數值做對數變換後服從正太分佈，我們就稱其服從對數正太分佈。對數正太分佈的CDF跟正太分佈一樣，只是用logx代替原來的x。

採用正態分佈在很多應用中都是一個明智的選擇。當我們缺乏關於某個資料上分佈的先驗知識而不知道該怎麼選擇形式時，正態分佈時預設的比較好的分佈。而我們現實中的很多分佈都是接近正態分佈的，在具有相同方差的所有可能的概率分佈中，正態分佈在實數上具有很大的不確定性，可以認為正態分佈時對模型加入的先驗知識量最少的分佈。

參考文獻

概率論與數理統計

深度學習

概率論與數理統計-同濟大學