大數定律

• 大數定律就以嚴格的數學形式表現了隨機現象的一個性質：平穩結果的穩定性（或者說頻率的穩定性）
• 大數定律從理論上解決：用頻率近似代替概率的問題：P(A)≈nAn$P(A)\approx \frac{n_A}{n}$；用樣本均值近似代替理論均值：Eξ=1n∑i=ni=1ξi$E\xi =\frac{1}{n}\sum _{i=1}^{i=n}{\xi }_i$

中心極限定理

當樣本量N逐漸趨於無窮大時，N個抽樣樣本的均值的頻數逐漸趨於正態分佈，其對原總體的分佈不做任何要求，意味著無論總體是什麼分佈，其抽樣樣本的均值的頻數的分佈都隨著抽樣數的增多而趨於正態分佈。

大數定律與中心極限定理之間的區別

• 大數定律是說，n只要越來越大，我把這n個獨立同分布的數加起來去除以n得到的這個樣本均值（也是一個隨機變數）會依概率收斂到真值u，但是樣本均值的分佈是怎樣的我們不知道。
• 中心極限定理是說，n只要越來越大，這n個數的樣本均值會趨近於正態分佈，並且這個正態分佈以u為均值，sigma^2/n為方差。
• 綜上所述，這兩個定律都是在說樣本均值性質。隨著n增大，大數定律說樣本均值幾乎必然等於均值。中心極限定律說，他越來越趨近於正態分佈。並且這個正態分佈的方差越來越小。直觀上來講，想到大數定律的時候，你腦海裡浮現的應該是一個樣本，而想到中心極限定理的時候腦海裡應該浮現出很多個樣本

具體解釋的參考資料

建議兩個資料，擇其一進行仔細閱讀即可。

程式碼實現

大數定律的模型

import numpy as np
from numpy import random as
 
 nprd

True_P=0.5

def sampling(N):
    ## 產生Bernouli樣本
    x=nprd.rand(N)<True_P
    return x

M=10000 #模擬次數
xbar=np.zeros(M)
N=np.array([i+1 for i in range(M)])
x=sampling(M)
for i in range(M):
    if i==0:
        xbar[i]=x[i]
    else:
        xbar[i]=(x[i]+xbar[i-1]*i)/(i+1)

## 匯入matplotlib
import
 
 matplotlib.pyplot as plt 
## 使圖形直接插入到jupyter中
%matplotlib inline
# 設定影象大小
plt.rcParams['figure.figsize'] = (10.0, 8.0)

plt.plot(N,xbar,label=r'$\bar{x}$',color='pink') ## xbar
xtrue=np.ones(M)*True_P
plt.plot(N,xtrue,label=r'$0.5$',color='black') ## true xbar
plt.xlabel('N')
plt.ylabel(r'$\bar{x}$')
plt.legend(loc='upper right', frameon=True)
plt.show() ## 畫圖

中心極限定理的模擬

import numpy as np
from numpy import random as nprd

def sampling(N):
    ## 產生一組樣本，以0.5的概率為z+3，0.5的概率為z-3，其中z~N(0,1)
    d=nprd.rand(N)<0.5
    z=nprd.randn(N)
    x=np.array([z[i]+3 if d[i] else z[i]-3 for i in range(N)])
    return x

N=[2,3,4,10,100,1000] # sample size
M=2000
MEANS=[]
for n in N:
    mean_x=np.zeros(M)
    for i in range(M):
        x=sampling(n)
        mean_x[i]=np.mean(x)/np.sqrt(10/n) ## 標準化，因為var(x)=10
    MEANS.append(mean_x)

## 匯入matplotlib
import matplotlib.pyplot as plt
import matplotlib.mlab as mlab
## 使圖形直接插入到jupyter中
%matplotlib inline
# 設定影象大小
plt.rcParams['figure.figsize'] = (10.0, 8.0)

x=sampling(1000)
plt.xlabel('x')
plt.ylabel('Density')
plt.title('Histogram of Mixed Normal')
plt.hist(x,bins=30,normed=1) ## histgram
plt.show() ## 畫圖

## 均值
ax1 = plt.subplot(2,3,1)
ax2 = plt.subplot(2,3,2)
ax3 = plt.subplot(2,3,3)
ax4 = plt.subplot(2,3,4)
ax5 = plt.subplot(2,3,5)
ax6 = plt.subplot(2,3,6)

## normal density
x=np.linspace(-3,3,100)
d=[1.0/np.sqrt(2*np.pi)*np.exp(-i**2/2) for i in x]

def plot_density(ax,data,N):
    ax.hist(data,bins=30,normed=1) ## histgram
    ax.plot(x,d)
    ax.set_title(r'Histogram of $\bar{x}$:N=%d' % N)

plot_density(ax1,MEANS[0],N[0])
plot_density(ax2,MEANS[1],N[1])
plot_density(ax3,MEANS[2],N[2])
plot_density(ax4,MEANS[3],N[3])
plot_density(ax5,MEANS[4],N[4])
plot_density(ax6,MEANS[5],N[5])


plt.show() ## 畫圖

參考文獻

1、漫談系列——大數定律
改文章直觀的解釋了弱/強大數定律，以及證明了切比雪夫不等式。
2、知乎問答
內容太多，並沒有仔細看，有意者可以仔細閱讀。