無偏估計

在概率論和數量統計中，學習過無偏估計，最近在學習論文時候，也經常論文中提到無偏估計。雖然對無偏估計有所瞭解，但是還是有些問題：

1）總體期望的無偏估計量是樣本均值x-，總體方差的無偏估計是樣本方差S^2,為什麼樣本方差需要除以n-1,而不是除以n;

2）樣本在總體中是怎樣的抽樣過程，是放回抽樣，是隨機抽樣，還是不放回抽樣等等。

為了解決這個問題，首先來回憶一下什麼叫無偏估計：

無偏估計是引數的樣本估計值的期望值等於引數的真實值。估計量的數學期望等於被估計引數，則稱此為無偏估計。
    設A'=g(X1,X2,...,Xn)是未知引數A的一個點估計量，若A'滿足
    E(A'）= A
    則稱A'為A的無偏估計量，否則為有偏估計量。
    注：無偏估計就是系統誤差為零的估計。

由於公式A'=g(X1,X2,...,Xn)中的X1,X2,...,Xn一般為一次抽樣的結果，沒有明確是怎麼抽樣的一個過程，所以導致不好理解為什麼A'就是A的無偏估計量，特別是很難舉出例項來給與證明。經過自己的查閱資料和理解，實際上無偏估計量可以理解如下：

簡單的理解，無偏估計量就是：在樣本中進行n次隨機的抽樣，每次抽樣都可以計算出一個對某一個引數的點估計量，計算n次，得到n個點估計量，然後對n個點估計量計算期望，得到的值和需要估計的總體引數相等，則稱n中的任何點估計量為總體引數的無偏估計量。

能否舉出一個例子呢？因為實際的應用中總體是不知道，只有樣本，這能夠舉例子嗎？是可以的，不妨設總體容量為3，樣本容量為2，計算出總體方差的無偏估計為樣本方差，而且樣本方差是除以n-1，而不是除以n。

上圖為手算的兩個例子，說明了總體方差的無偏估計量是樣本方差，總體方差是除以n,樣本方差是除以n-1。為了是上面的例子根據通用化，下面為matlab寫的程式碼：

% %總容量可以改變，抽樣樣本容量為固定2
% clc;
% clear;
% %%無偏估計驗證
% %%總共容量
% M=7;
% %%樣本容量
% N=2;
% %填充第一列
% %填充迴圈次數
% for t=1:M^(N-1)
%     for i=1:M
%         Sample1((i-1)*M^(N-1)+t) = i;
%     end
% end
% Sample1'
% %填充第二列
% for t=1:M
%     for i=1:M
%         Sample2(M*(t-1)+i) = i;
%     end
% end
% Sample2'
% Sample = [Sample1',Sample2']
% sLenght = length(Sample);
% for s=1:sLenght
%     subSample = Sample(s,:)
%     stdSample(s) = var(subSample,1);
% end
% stdSample =  var(Sample');
% stdSampleE = sum(stdSample)/M^N
% Total = 1:M;
% stdTotalE = var(Total,1)

% % %總容量可以改變，抽樣樣本容量為固定3
% clc;
% clear;
% %%無偏估計驗證
% %%總共容量
% M=7;
% %%樣本容量
% N=3;
% %填充第一列
% %填充迴圈次數
% for t=1:M^(N-1)
%     for i=1:M
%         Sample1((i-1)*M^(N-1)+t) = i;
%     end
% end
% Sample1'
% %填充第二列
% for t=1:M
%     for i=1:M
%         for j=1:M
%             Sample2(M*M*(t-1)+(i-1)*M+j) = i;
%         end
%     end
% end
% Sample2'
%  %填充第三列
% for t=1:M^2
%     for i=1:M
%         Sample3(M*(t-1)+i) = i;
%     end
% end
% Sample = [Sample1',Sample2',Sample3']
% stdSample =  var(Sample');
% stdSampleE = sum(stdSample)/M^N
% Total = 1:M;
% stdTotalE = var(Total,1)

% % %總容量可以改變，抽樣樣本容量為固定3
% clc;
% clear;
% %%無偏估計驗證
% %%總共容量
% M=4;
% %%樣本容量
% N=3;
% %填充第一列
% %填充迴圈次數
% for t=1:M^0
%     for i=1:M
%         for j=1:M^2
%             Sample1(M^3*(t-1)+(i-1)*M^2+j) = i;
%         end
%     end
% end
% Sample1'
% %填充第二列
% for t=1:M^1
%     for i=1:M
%         for j=1:M^1
%             Sample2(M^2*(t-1)+j+(i-1)*M) = i;
%         end
%     end
% end
% Sample2'
%  %填充第三列
% for t=1:M^2
%     for i=1:M
%          for j=1:M^0
%               Sample3(M^1*(t-1)+(i-1)*M^0+j) = i;
%          end
%     end
% end
% Sample = [Sample1',Sample2',Sample3']
% stdSample =  var(Sample');
% stdSampleE = sum(stdSample)/M^N
% Total = 1:M;
% stdTotalE = var(Total,1)

clear;
%%無偏估計驗證
%%總共容量
M=5;
%%樣本容量
N=2;

%構造抽樣的過程矩陣
for index=1:N  
    for t=1:M^(index-1)
        for i=1:M
            for j=1:M^(N-index)
                Sample(M^(N-index+1)*(t-1)+(i-1)*M^(N-index)+j,index) = i;
            end
        end
    end
end

%計算每一行的方差
varSample =  var(Sample');

%計算樣本方差
varSampleE = sum(varSample)/M^N
Total = 1:M;

%計算總體方差
varTotalE = var(Total,1)