隨機過程（續）

中心極限定理

中心極限定理：研究何種條件下獨立隨機變數之和的極限分佈為正態分佈的一系列命題的統稱。它是數理統計學和誤差分析的理論基礎，指出了大量隨機變數積累分佈函式逐點收斂到正態分佈的積累分佈函式的條件。自然界與生產中，一些現象受到許多相互獨立的隨機因素的影響，如果每個因素所產生的影響都很微小時，總的影響可以看作是服從正態分佈的。

獨立同分布的中心極限定理

設相互獨立的隨機變數$X_1,X_2,\dots,X_n$具有相同的概率分佈，且有有限的數學期望和方差：$E(X_k)=\mu,D(X_k)=\mu ^2\neq 0(k=1,2,\dots,n)$

$Y_n=\frac{\sum\limits_{k=1}^nX_k-n\mu}{\sqrt n\sigma}$

的分佈函式$F_n(x)$對於任意實數x，都有：

$lim_{n\rightarrow \infty}F_n(x)=\int_{-\infty}^x\frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt$

由以上定理可知：

當n很大時，$Y_n$近似地服從標準正態分佈N(0,1)。 令$\overline{X}=\frac{1}{n}\sum_{k=1}^nX_k$，則當n很大時，$\overline{X}$近似服從正態分佈$N(\mu,\frac{\sigma ^2}{n})$。

由此可見：在獨立同分布的情況下，無論$X_1,X_2,\dots,X_n$的分佈函式為何，它們的平均數$\overline{X}$當n充分大的時候總是近似地服從正態分佈。

獨立不同分佈的中心極限定理

若隨機變數$X_1,X_2,\dots,X_n$相互獨立，有有限的數學期望和方差，且滿足林德貝格(Lindeberg)條件（每個隨機變數都均勻小），則當n充分大時，這些變數之和的概率分佈近似於正態分佈。

我們可以這樣理解大數定律和中心極限定理：

1、大數定律和中心極限定理可以看做隨機變數的零階和一階“泰勒展開”，其中大數定律是隨機變數的“零階估計”，中心極限定理是在大數定律成立下的“一階導數”，在極限下高階小量可忽略。

2、大數定律負責給出估計——期望，中心極限定理負責給出大數定律的估計的誤差——標準差乘以標準正態分佈。

3、其實我們還可以進行更高階的展開，貌似三階展開對應的統計量叫做skewness，wiki上常用分佈的詞條都會給出這一數值。不過，在實際應用中，中心極限定理已經足夠，所以通常也就不需要了。

參考：

中心極限定理通俗介紹

大數定律和中心極限定理的區別和聯絡

大數定律與中心極限定理

怎樣理解和區分中心極限定理與大數定律？

Bézier curve

Bézier curve在數學界發現的時間很早——它是1912年由Sergei Natanovich Bernstein提出的。然而，真正將之發揚廣大的，卻是法國工程師Pierre Étienne Bézier。

Sergei Natanovich Bernstein，1880～1968，蘇聯數學家。University of Paris博士（1904），先後執教於University of Paris、University of Goettingen、University of Kharkiv、Leningrad University、Steklov Institute of Mathematics等名校和研究所。解決了Hilbert的第19個問題。

Pierre Étienne Bézier，1910～1999，École nationale supérieure d’arts etmétiers本科（1930）。終身供職於法國雷諾汽車公司。開發了最早的CAD/CAM系統（1960），被稱為CAD/CAM之父。退休後，獲得Pierre-and-Marie-Curie University博士學位（1977）。注意，這可不是榮譽學位，人家可是有重量級的博士論文的。

Bézier curve的數學公式比較複雜，但是實際的繪製方法卻很簡單。

如上圖所示。假設我們要繪製曲線$C_{P_0P_2}$上0.25位置上的點，那麼可以線上段$L_{P_0P_1}$上找到0.25位置點$Q_0$,線上段$L_{P_1P_2}$上找到0.25位置點$Q_1$，最後線上段$L_{Q_0Q_1}$上找到0.25位置點B，即為所求。

這個過程連續起來，就如下圖所示：

可見Bézier curve具有良好的數值穩定性，可產生類似皮筋的影象效應，是擬合光滑曲線的利器，因此被廣泛應用於CAD/CAM領域。

熵

在《數學狂想曲（四）》的“玻爾茲曼分佈”一節，我們提到了Shannon entropy的公式。然而，這個公式是如何推匯出來的呢？

經典熱力學定義

1803年，Lazare Carnot發現熱機不能將所有的熱量轉換為機械能。1824年，其子Sadi Carnot在此基礎上提出了理想熱機的Carnot cycle。

Lazare Nicolas Marguerite, Count Carnot，1753～1823，法國政治家、數學家和物理學家。雖然他在熱機方面作出了重大貢獻，但他的名聲主要還是在政治領域。他當過國民會議主席（法國大革命期間的國家元首），曾力排眾議啟用拿破崙作為遠征義大利的主帥，算是拿破崙政治上的恩師。他是法國大革命和拿破崙時期的一位重要政治人物。

Nicolas Léonard Sadi Carnot，1796～1832，法國工程師和物理學家，被譽為“熱力學之父”。Lazare Carnot之子。

上圖是一個理想熱機的示意圖，其中,$T_H$是高溫熱源溫度，$T_C$是低溫熱源溫度，$Q_H$是熱機吸收的熱量，而$Q_C$是熱機釋放的熱量。W是熱機產生的機械能。

上圖是Carnot cycle的PV圖，其中，1->2（吸熱）和3->4（放熱）是等溫過程，而2->3和4->1是絕熱過程。

由熱力學第一定律可得：

$W=Q_H-Q_C\tag{1}$

理想氣體方程：

$pV=nRT\tag{2}$

等溫過程：

$p_1V_1=p_2V_2\tag{3}$

等溫過程的作功公式為：

$W=\int_{V_1}^{V_2}pdV=\int_{V_1}^{V_2}\frac{p_1V_1}{V}dV=p_1V_1\ln \frac{V_2}{V_1}=p_1V_1\ln \frac{p_1}{p_2}=nRT\ln \frac{p_1}{p_2}\tag{4}$

因為等溫過程，內能不變，因此：

$W=Q$

即：

$Q_1=nRT_1\ln \frac{V_2}{V_1}\tag{5}$

$Q_2=nRT_2\ln \frac{V_3}{V_4}\tag{6}$