正態分佈是最重要的一種概率分佈。正態分佈概念是由德國的數學家和天文學家Moivre於1733年首次提出的，但由於德國數學家Gauss率先將其應用於天文學家研究，故正態分佈又叫高斯分佈，高斯這項工作對後世的影響極大，他使正態分佈同時有了“高斯分佈”的名稱，後世之所以多將最小二乘法的發明權歸之於他，也是出於這一工作。高斯是一個偉大的數學家，重要的貢獻不勝列舉。但現今德國10馬克的印有高斯頭像的鈔票，其上還印有正態分佈的密度曲線。這傳達了一種想法：在高斯的一切科學貢獻中，其對人類文明影響最大者，就是這一項。在高斯剛作出這個發現之初，也許人們還只能從其理論的簡化上來評價其優越性，其全部影響還不能充分看出來。這要到20世紀正態小樣本理論充分發展起來以後。拉普拉斯很快得知高斯的工作，並馬上將其與他發現的中心極限定理聯絡起來，為此，他在即將發表的一篇文章（發表於1810年）上加上了一點補充，指出如若誤差可看成許多量的疊加，根據他的中心極限定理，誤差理應有高斯分佈。這是歷史上第一次提到所謂“元誤差學說”——誤差是由大量的、由種種原因產生的元誤差疊加而成。後來到1837年，海根（G.Hagen）在一篇論文中正式提出了這個學說。其實，他提出的形式有相當大的侷限性：海根把誤差設想成個數很多的、獨立同分布的“元誤差” 之和，每隻取兩值，其概率都是1/2，由此出發，按狄莫佛的中心極限定理，立即就得出誤差（近似地）服從正態分佈。拉普拉斯所指出的這一點有重大的意義，在於他給誤差的正態理論一個更自然合理、更令人信服的解釋。因為，高斯的說法有一點迴圈論證的氣味：由於

算術平均是優良的，推出誤差必須服從正態分佈；反過來，由後一結論又推出算術平均及最小二乘估計的優良性，故必須認定這二者之一（算術平均的優良性，誤差的正態性） 為出發點。但算術平均到底並沒有自行成立的理由，以它作為理論中一個預設的出發點，終覺有其不足之處。拉普拉斯的理論把這斷裂的一環連線起來，使之成為一個和諧的整體，實有著極重大的意義。