本文主要介紹隨機向量及其基本性質，作為迴歸分析的基礎篇，是概率論的內容的拓展。 目錄

• 【迴歸分析】1. 隨機向量(1)
  • 2.1 均值向量與協方差陣
  • 2.2 隨機向量的二次型
  • 2.3 正態隨機向量

【迴歸分析】1. 隨機向量(1)

2.1 均值向量與協方差陣

當用矩陣形式來表示一個線性模型時，觀測向量和誤差向量都是隨機向量。

• 均值向量：設 \(X=(X_1,X_2,\cdots,X_n)'\) 為 \(n\) 維隨機向量，定義 \(X\) 的均值向量為

  \[{\rm E}(X)=\left({\rm E}(X_1),{\rm E}(X_2),\cdots,{\rm E}(X_n)\right)' \ . \]

• 協方差陣：定義 \(n\) 維隨機向量 \(X\) 的協方差陣為

  \[{\rm Cov}\left(X\right)={\rm E}\left[(X-{\rm E}(X))(X-{\rm E}(X))'\right] \ . \]

  這是一個 \(n\times n\)

  ​​ 的對稱矩陣。

  \({\rm Cov}(X)\)​ 的 \((i,j)\)​ 元為 \(X_i\)​ 和 \(X_j\)​ 的協方差 \({\rm Cov}(X_i,X_j)\)​ 。

  \({\rm Cov}(X)\)​ 的 \((i,i)\)​ 元為 \(X_i\)​ 的方差 \({\rm Var}(X_i)\)​ 。

定理 2.1.1：設 \(A\)​ 為 \(m\times n\)​ 非隨機矩陣，\(X\)​ 和 \(b\)​​ 分別為 \(n\times1\) 和 \(m\times1\) 隨機向量，記 \(Y=AX+b\)​ ，則

\[{\rm E}(Y)=A{\rm E}(X)+b \ . \]

設 \(A=(a_{ij}),\,b=(b_1,b_2,\cdots,b_m)',\,Y=(Y_1,Y_2,\cdots,Y_m)'\)

，於是

\[Y_i=\sum_{j=1}^na_{ij}X_j+b_i \ , \quad i=1,2,\cdots,m \ . \]

求均值得

\[{\rm E}(Y_i)=\sum_{j=1}^na_{ij}{\rm E}(X_j)+{\rm E}(b_i) \ , \quad i=1,2,\cdots,m \ . \]

改寫為矩陣形式得證。

推論 2.1.1：用 \({\rm tr}(\cdot)\)​ 表示矩陣的跡，即對角線元素之和，則有

\[{\rm tr}[{\rm Cov}(X)]=\displaystyle\sum_{i=1}^n{\rm Var}(X_i) \ . \]

定理 2.1.2

：設 \(X\) 為任意的 \(n\) 維隨機向量，則 \(X\) 的協方差矩陣是非負定對稱矩陣。

對稱性是顯然的。對任意的 \(n\times1\) 非隨機向量 \(c\) ，注意到 \(Y=c'X\)​ 是一個隨機變數，考慮其方差

\[\begin{aligned} {\rm Cov}(Y)&={\rm Cov}(c'X) \\ \\ &={\rm E}\left[\left(c'X-{\rm E}\left(c'X\right)\right)\left(c'X-{\rm E}\left(c'X\right)\right)'\right] \\ \\ &=c'{\rm E}\left[\left(X-{\rm E}(X)\right)\left(X-{\rm E}(X)\right)'\right]c \\ \\ &=c'{\rm Cov}(X)c \ . \end{aligned} \]

因為 \({\rm Cov}(Y)\) 是總是非負的，所以對任意的 \(c\) 都有 \(c'{\rm Cov}(X)c\)​ 是非負的，故非負定性得證。

定理 2.1.3：設 \(A\) 為 \(m\times n\) 非隨機矩陣，\(X\) 為 \(n\) 維隨機向量，\(Y=AX\) ，則

\[{\rm Cov}(Y)=A{\rm Cov}(X)A' \ . \]

根據定義可得，

\[\begin{aligned} {\rm Cov}(Y)&={\rm E}\left[(Y-{\rm E}(Y))(Y-{\rm E}(Y))'\right] \\ \\ &={\rm E}\left[(AX-{\rm E}(AX))(AX-{\rm E}(AX))'\right] \\ \\ &=A{\rm E}\left[(X-{\rm E}(X))(X-{\rm E}(X))'\right]A' \\ \\ &=A{\rm Cov}(X)A' \ . \end{aligned} \]

對於兩個不同維度的隨機向量 \(X\) 和 \(Y\)​​​ ，我們也可以定義協方差陣，但這裡的協方差陣不再是方陣。

• 設 \(X\)​ 和 \(Y\)​ 分別為 \(n\)​ 維和 \(m\)​ 維隨機向量，定義 \(X\)​ 和 \(Y\)​ 的協方差陣為\[{\rm Cov}(X,Y)={\rm E}\left[(X-{\rm E}(X))(Y-{\rm E}(Y))'\right] \ . \]這是一個 \(n\times m\)​ 的矩陣。\({\rm Cov}(X,Y)\)​ 的 \((i,j)\)​ 元為 \(X_i\)​ 和 \(Y_j\)​ 的協方差 \({\rm Cov}(X_i,Y_j)\) 。

定理 2.1.4：設 \(X\) 和 \(Y\) 分別為 \(n\) 維和 \(m\) 維隨機向量，\(A\) 和 \(B\) 分別為 \(p\times n\) 和 \(q\times m\)​ 非隨機矩陣，則

\[{\rm Cov}(AX,BY)=A{\rm Cov}(X,Y)B' \ . \]

根據定義可得，

\[\begin{aligned} {\rm Cov}(AX,BY)&={\rm E}\left[(AX-{\rm E}(AX))(BY-{\rm E}(BY))'\right] \\ \\ &=A{\rm E}\left[(X-{\rm E}(X))(Y-{\rm E}(Y))'\right]B' \\ \\ &=A{\rm Cov}(X,Y)B' \ . \end{aligned} \]

2.2 隨機向量的二次型

設 \(X=(X_1,X_2,\cdots,X_n)'\) 為 \(n\) 維隨機向量，\(A\) 為 \(n\times n\) 對稱陣，則稱隨機變數

\[X'AX=\sum_{i=1}^n\sum_{j=1}^na_{ij}X_iX_j \]

為 \(X\)​ 的二次型。這裡要求 \(X\) 的協方差陣 \({\rm Cov}(X)\) 存在。

定理 2.2.1：設 \({\rm E}(X)=\mu,\,{\rm Cov}(X)=\Sigma\)​ ，則

\[{\rm E}\left(X'AX\right)=\mu'A\mu+{\rm tr}(A\Sigma) \ . \]

對隨機向量 \(X\) 的二次型作如下的變換：

\[\begin{aligned} X'AX&=(X-\mu+\mu)'A(A-\mu+\mu) \\ \\ &=(X-\mu)'A(X-\mu)+\mu'A(X-\mu)+(X-\mu)'A\mu+\mu'A\mu \ . \end{aligned} \]

可以證明上式的第二項和第三項的期望為 \(0\)​ ，即

\[\begin{aligned} {\rm E}\left[\mu'A(X-\mu)\right]=\mu'A[{\rm E}\left(X\right)-\mu]=0 \ , \\ \\ {\rm E}\left[(X-\mu)'A\mu\right]=[{\rm E}\left(X\right)-\mu]'A\mu=0 \ , \\ \\ \end{aligned} \]

注意到 \((X-\mu)'A(X-\mu)\)​ 是一個隨機變數​，所以有

\[(X-\mu)'A(X-\mu)={\rm tr}\left((X-\mu)'A(X-\mu)\right) \ , \]

利用矩陣的跡的性質 \({\rm tr}(AB)={\rm tr}(BA)\)​​​​​ ，以及求跡和求期望可交換次序，可得

\[\begin{aligned} {\rm E}\left[(X-\mu)'A(X-\mu)\right]&={\rm E}\left[{\rm tr}\left((X-\mu)'A(X-\mu)\right)\right] \\ \\ &={\rm E}\left[{\rm tr}\left(A(X-\mu)(X-\mu)'\right)\right] \\ \\ &={\rm tr}\left[{\rm E}\left[A(X-\mu)(X-\mu)'\right]\right] \\ \\ &={\rm tr}\left[A{\rm E}\left[(X-\mu)(X-\mu)'\right]\right] \\ \\ &={\rm tr}(A\Sigma) \ . \end{aligned} \]

所以對 \(X\) 的二次型求期望可得

\[\begin{aligned} {\rm E}\left(X'AX\right)&={\rm E}\left[(X-\mu)'A(X-\mu)\right]+0+0+\mu'A\mu \\ \\ &={\rm tr}(A\Sigma)+\mu'A\mu \ . \end{aligned} \]

推論 2.2.1：設 \({\rm E}(X)=\mu,\,{\rm Cov}(X)=\Sigma\) ，則

(1) 若 \(\mu=0\)​​ ，則

\[{\rm E}\left(X'AX\right)={\rm tr}(A\Sigma) \ . \]

(2) 若 \(\Sigma=\sigma^2I\)​ ，則

\[{\rm E}\left(X'AX\right)=\mu'A\mu+\sigma^2{\rm tr}(A) \ . \]

(3) 若 \(\mu=0,\,\Sigma=I\) ，則

\[{\rm E}\left(X'AX\right)={\rm tr}(A) \ . \]

定理 2.2.2：設隨機變數 \(X_1,X_2,\cdots,X_n\) 相互獨立，且 \({\rm E}(X_i)=\mu_i\) 。假設 \(X_i-\mu_i\) 獨立同分布，且有

\[{\rm Var}(X_i)=\sigma^2 \ , \quad m_r={\rm E}\left(X_i-\mu_i\right)^r \ , \quad r=3,4 \ . \]

記 \(X=(X_1,X_2,\cdots,X_n)'\) 為 \(n\) 維隨機向量，其均值向量為 \(\mu=(\mu_1,\mu_2,\cdots,\mu_n)'\) ，設 \(A=(a_{ij})\) 為 \(n\times n\)​​​ 非隨機對稱矩陣，設 \(a=(a_{11},a_{22},\cdots,a_{nn})'\) 為 \(A\)​ 的對角線元素組成的列向量，則有

\[{\rm Var}\left(X'AX\right)=\left(m_4-3\sigma^4\right)a'a+2\sigma^4{\rm tr}\left(A^2\right)+4\sigma^2\mu'A^2\mu+4m_3\mu'Aa \ . \]

寫出二次型的方差公式

\[{\rm Var}\left(X'AX\right)={\rm E}\left(X'AX\right)^2-\left[{\rm E}\left(X'AX\right)\right]^2 \ . \]

由 \({\rm E}(X)=\mu\)​ 和 \({\rm Cov}(X)=\sigma^2I\)​ 可推得

\[{\rm E}\left(X'AX\right)=\mu'A\mu+\sigma^2{\rm tr}(A) \ . \]

令 \(Z=X-\mu\) ，則 \({\rm E}(Z)=0\) ，對隨機向量 \(X\)​​​ 的二次型作類似的變換：

\[\begin{aligned} X'AX&=(X-\mu)'A(X-\mu)+\mu'A(X-\mu)+(X-\mu)'A\mu+\mu'A\mu \\ \\ &=Z'AZ+\mu'AZ+Z'A\mu+\mu'A\mu \\ \\ &=Z'AZ+2\mu'AZ+\mu'A\mu \ . \end{aligned} \]

注意到 \(\mu'AZ\) 和 \(Z'A\mu\) 都是隨機變數，且互為轉置關係，所以 \(\mu'AZ=Z'A\mu\) 。

對 \(X\)​​ 的二次型的平方可得

\[\begin{aligned} \left(X'AX\right)^2&=\left(Z'AZ\right)^2+4\left(\mu'AZ\right)^2+\left(\mu'A\mu\right)^2 \\ \\ &\quad\ +2\mu'A\mu\left[Z'AZ+2\mu'AZ\right]+4\mu'AZZ'AZ \ . \end{aligned} \]

下面逐個計算上式所含的每個期望。

首先計算第一項的期望，由於

\[\left(Z'AZ\right)^2=\sum_i\sum_j\sum_k\sum_la_{ij}a_{kl}Z_iZ_jZ_kZ_l \ , \]

又因為 \(Z_i\) 的獨立同分布可得

\[{\rm E}\left(Z_iZ_jZ_kZ_l\right)=\left\{\begin{array}{ll} m_4 \ , & i=j=k=l \ , \\ \sigma^4 \ , & i=j\neq k=l\ ; \ i=k\neq j=l \ ; \ i=l\neq j=k \ , \\ 0 \ , & \text{otherwise} \ . \end{array} \right. \]

於是有

\[\begin{aligned} {\rm E}\left(Z'AZ\right)^2&=m_4\left(\sum_{i=1}^na_{ii}^2\right)+\sigma^4\left(\sum_{i\neq k}a_{ii}a_{kk}+\sum_{i\neq j}a_{ij}^2+\sum_{i\neq j}a_{ij}a_{ji}\right) \\ \\ &=m_4\left(\sum_{i=1}^na_{ii}^2\right)+\sigma^4\left(\sum_{i\neq k}a_{ii}a_{kk}+2\sum_{i\neq j}a_{ij}^2\right) \\ \\ &=m_4\left(\sum_{i=1}^na_{ii}^2\right)+\sigma^4\left(\sum_{i\neq k}a_{ii}a_{kk}+2\left(\sum_{i=1}^n\sum_{j=1}^na_{ij}^2-\sum_{i=1}^na_{ii}^2\right)\right) \\ \\ &=m_4a'a+\sigma^4\left[\left[{\rm tr}(A)\right]^2-a'a+2\left[{\rm tr}\left(A^2\right)-a'a\right]\right] \\ \\ &=(m_4-3\sigma^4)a'a+\sigma^4\left[\left[{\rm tr}(A)\right]^2+2{\rm tr}\left(A^2\right)\right] \ . \end{aligned} \]

然後計算第二項的期望

\[\begin{aligned} {\rm E}\left(\mu'AZ\right)^2&={\rm E}\left(Z'A\mu\mu'AZ\right) \\ \\ &=\sigma^2\cdot{\rm tr}\left(A\mu\mu'A'\right) \\ \\ &=\sigma^2\mu'A^2\mu \ . \end{aligned} \]

接著計算第四項的期望，注意到

\[{\rm E}\left(Z'AZ\right)=\sigma^2{\rm tr}(A) \ , \quad {\rm E}\left(\mu'AZ\right)=0 \ , \]

所以有

\[{\rm E}\left[\mu'A\mu\left[Z'AZ+2\mu'AZ\right]\right]=\mu'A\mu\left(\sigma^2{\rm tr}(A)\right) \ . \]

最後計算第五項的期望，定義 \(b=A\mu\) ，則有

\[{\rm E}\left(\mu'AZZ'AZ\right)=\sum_i\sum_j\sum_kb_ia_{jk}{\rm E}\left(Z_iZ_jZ_k\right) \ . \]

又因為 \(Z_i\) 的獨立同分布可得

\[{\rm E}\left(Z_iZ_jZ_k\right)=\left\{\begin{array}{ll} m_3 \ , & i=j=k \ , \\ 0 \ , & \text{otherwise} \ . \end{array} \right. \]

於是有

\[{\rm E}\left(\mu'AZZ'AZ\right)=m_3\sum_{i}b_ia_{ii}=m_3b'a=m_3\mu'Aa \ . \]

將上述結果代入二次型的方差公式可得

\[\begin{aligned} {\rm Var}\left(X'AX\right)&=(m_4-3\sigma^4)a'a+\sigma^4\left[\left[{\rm tr}(A)\right]^2+2{\rm tr}\left(A^2\right)\right]+4\sigma^2\mu'A^2\mu+\left(\mu'A\mu\right)^2 \\ &\quad \ +2\mu'A\mu\left(\sigma^2{\rm tr}(A)\right)+m_3\mu'Aa-\left[\mu'A\mu+\sigma^2{\rm tr}(A)\right]^2 \\ \\ &=(m_4-3\sigma^4)a'a+2\sigma^4{\rm tr}\left(A^2\right)+4\sigma^2\mu'A^2\mu+4m_3\mu'Aa \ . \end{aligned} \]

2.3 正態隨機向量

設 \(n\) 維隨機向量 \(X=(X_1,X_2,\cdots,X_n)'\) 具有密度函式

\[f(x)=\frac{1}{(2\pi)^{n/2}\left({\rm det}(\Sigma)\right)^{1/2}}\exp\left\{-\frac12(x-\mu)'\Sigma^{-1}(x-\mu)\right\} \ , \]

其中 \(x=(x_1,x_2,\cdots,x_n)'\in\mathbb{R}^n\) ，\(\mu=(\mu_1,\mu_2,\cdots,\mu_n)'\) 是 \(n\) 維非隨機向量 ，\(\Sigma\) 是對稱正定矩陣，則稱 \(X\) 為 \(n\) 維正態隨機向量，記為 \(N(\mu,\Sigma)\) 。

可以證明，\(\mu\) 和 \(\Sigma\) 分別是 \(X\) 的均值向量和協方差矩陣。

記 \(\Sigma^{1/2}\) 為 \(\Sigma\) 的平方根陣，\(\Sigma^{-1/2}\) 為 \(\Sigma\) 的逆矩陣，定義

\[Y=\Sigma^{-1/2}\left(X-\mu\right) \ , \]

則有 \(X=\Sigma^{1/2}Y+\mu\) ，於是 \(Y\) 的密度函式為

\[g(y)=f\left(\Sigma^{1/2}y+\mu\right)\left|J\right| \ , \]

其中 \(J\) 為向量變換的 Jocobi 行列式：

\[J=\left| \begin{array}{cccc} \cfrac{\partial x_1}{\partial y_1} & \cfrac{\partial x_1}{\partial y_2} & \cdots & \cfrac{\partial x_1}{\partial y_n} \\ \cfrac{\partial x_2}{\partial y_1} & \cfrac{\partial x_2}{\partial y_2} & \cdots & \cfrac{\partial x_2}{\partial y_n} \\ \vdots & \vdots & \ddots & \vdots \\ \cfrac{\partial x_n}{\partial y_1} & \cfrac{\partial x_n}{\partial y_2} & \cdots & \cfrac{\partial x_n}{\partial y_n} \\ \end{array} \right|={\rm det}\left(\Sigma^{1/2}\right)={\rm det}\left(\Sigma\right)^{1/2} \ . \]

所以

\[g(y)=\frac{1}{(2\pi)^{n/2}}\exp\left\{-\frac12y'y\right\}=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}}e^{-y_i^2/2} \ . \]

這表明 \(Y\) 的 \(n\) 個分量相互獨立，且同服從 \(N(0,1)\) 。因此

\[{\rm E}(Y)=0 \ , \quad {\rm Cov}(Y)=I_n \ . \]

於是有

\[{\rm E}(X)=\mu \ , \quad {\rm Cov}(X)=\Sigma \ . \]

這裡我們稱 \(Y\sim N\left(0,I_n\right)\) 為多元標準正態分佈。

若 \(X\) 的協方差矩陣具有如下分塊對角矩陣的形式：

\[\Sigma=\left(\begin{array}{cc} \Sigma_{11} & 0 \\ 0 & \Sigma_{22} \end{array}\right) \ , \]

這裡 \(\Sigma_{11}\) 為 \(m\times m\) 矩陣，其中 \(m<n\) ，將 \(X,x\) 和 \(\mu\) 也分塊為

\[X=\left(\begin{array}{cc} X_1 \\ X_2 \\ \end{array}\right) \ , \quad x=\left(\begin{array}{cc} x_1 \\ x_2 \\ \end{array}\right) \ , \quad \mu=\left(\begin{array}{cc} \mu_1 \\ \mu_2 \\ \end{array}\right) \ , \]

這裡 \(X_1,x_1\) 和 \(\mu_1\) 均為 \(m\times1\) 向量，則 \(X\) 的密度函式可以寫為

\[f(x)=f_1(x_1)f_2(x_2) \ , \]

其中

\[\begin{aligned} &f_1(x_1)=\frac{1}{(2\pi)^{m/2}\left({\rm det}(\Sigma_{11})\right)^{1/2}}\exp\left\{-\frac12(x_1-\mu_1)'\Sigma_{11}^{-1}(x_1-\mu_1)\right\} \ , \\ \\ &f_2(x_2)=\frac{1}{(2\pi)^{(n-m)/2}\left({\rm det}(\Sigma_{22})\right)^{1/2}}\exp\left\{-\frac12(x_2-\mu_2)'\Sigma_{22}^{-1}(x_2-\mu_2)\right\} \ , \end{aligned} \]

這表明 \(X_1\sim N\left(\mu_1,\Sigma_{11}\right),\,X_2\sim N\left(\mu_2,\Sigma_{22}\right)\) ，且 \(X_1\) 和 \(X_2\) 相互獨立。

定理 2.3.1：設 \(X\sim N(\mu,\Sigma)\) 是 \(n\) 維正態隨機向量，

(1) 若 \(X,\mu\) 和 \(\Sigma\) 分別具有如下的分塊形式

\[X=\left(\begin{array}{cc} X_1 \\ X_2 \\ \end{array}\right) \ , \quad \mu=\left(\begin{array}{cc} \mu_1 \\ \mu_2 \\ \end{array}\right) \ , \quad \Sigma=\left(\begin{array}{cc} \Sigma_{11} & 0 \\ 0 & \Sigma_{22} \end{array}\right) \ , \]

則 \(X_1\sim N\left(\mu_1,\Sigma_{11}\right),\,X_2\sim N\left(\mu_2,\Sigma_{22}\right)\) ，且 \(X_1\) 和 \(X_2\) 相互獨立。

(2) 若 \(\Sigma=\sigma^2I_n\) ，且 \(X=(X_1,X_2,\cdots,X_n)',\,\mu=(\mu_1,\mu_2,\cdots,\mu_n)'\) ，則 \(X\) 的 \(n\) 個分量相互獨立，且 \(X_i\sim N(\mu_i,\sigma^2)\) 。

這裡隱含了一個定理：對多元正態分佈來說，\(X_1\) 與 \(X_2\) 不相關，即 \({\rm Cov}(X_1,X_2)=\Sigma_{12}=0\) ，可以推出 \(X_1\) 與 \(X_2\) 相互獨立。

定理 2.3.2：設 \(n\) 維隨機向量 \(X\sim N(\mu,\Sigma)\) ，\(A\) 為 \(n\times n\) 非隨機可逆矩陣，\(b\) 為 \(n\) 維非隨機向量， 記 \(Y=AX+b\) ，則 \(Y\sim N(A\mu+b,A\Sigma A')\) 。

由於 \(A\) 可逆，所以 \(X=A^{-1}(Y-b)\) ，所以 \(Y\) 的密度函式為

\[g(y)=f\left(A^{-1}(y-b)\right)|J| \ , \]

其中 \(J\) 為向量變換的 Jacobi 行列式：

\[J=\left| \begin{array}{cccc} \cfrac{\partial x_1}{\partial y_1} & \cfrac{\partial x_1}{\partial y_2} & \cdots & \cfrac{\partial x_1}{\partial y_n} \\ \cfrac{\partial x_2}{\partial y_1} & \cfrac{\partial x_2}{\partial y_2} & \cdots & \cfrac{\partial x_2}{\partial y_n} \\ \vdots & \vdots & \ddots & \vdots \\ \cfrac{\partial x_n}{\partial y_1} & \cfrac{\partial x_n}{\partial y_2} & \cdots & \cfrac{\partial x_n}{\partial y_n} \\ \end{array} \right|={\rm det}\left(A\right)^{-1} \ . \]

注意到

\[\begin{aligned} &\left({\rm det}(\Sigma)\right)^{1/2}|J|^{-1}=\left[\big({\rm det}(\Sigma)({\rm det}(A))^2\big)\right]^{1/2}=\left[{\rm det}(A\Sigma A')\right]^{1/2} \ , \end{aligned} \]

又注意到

\[\begin{aligned} &\left(A^{-1}(y-b)-\mu\right)'\Sigma^{-1}\left(A^{-1}(y-b)-\mu\right) \\ \\ =\; &\left(A^{-1}\left(y-(A\mu+b)\right)\right)'\Sigma^{-1}\left(A^{-1}\left(y-(A\mu+b)\right)\right) \\ \\ =\; &(y-(A\mu+b))'\left(A^{-1}\right)'\Sigma^{-1}A^{-1}(y-(A\mu+b)) \\ \\ =\; &(y-(A\mu+b))'\left(A\Sigma A'\right)^{-1}(y-(A\mu+b)) \ , \end{aligned} \]

所以 \(Y\) 的密度函式為

\[\begin{aligned} g(y)&=\frac{1}{(2\pi)^{n/2}\left({\rm det}(\Sigma)\right)^{1/2}}\exp\left\{-\frac12\left(A^{-1}(y-b)-\mu\right)'\Sigma^{-1}\left(A^{-1}(y-b)-\mu\right)\right\}|J| \\ \\ &=\frac{1}{(2\pi)^{n/2}\left({\rm det}\left(A\Sigma A'\right)\right)^{1/2}}\exp\left\{-\frac12(y-(A\mu+b))'\left(A\Sigma A'\right)^{-1}(y-(A\mu+b))\right\} \end{aligned} \]

這正是 \(N\left(A\mu+b,A\Sigma A'\right)\) 的密度函式。

推論 2.3.1：設 \(X\sim N(\mu,\Sigma)\) ，則

\[Y\xlongequal{def}\Sigma^{-1/2}X\sim N\left(\Sigma^{-1/2}\mu,I_n\right) \ , \quad Z\xlongequal{def}\Sigma^{-1/2}(X-\mu)\sim N\left(0,I_n\right) \ . \]

這個推論表明，我們可以用一個線性變換把各個分量相關且方差不等的多元正態隨機向量 \(X\) 變換為多元標準正態隨機向量 \(Z\) 。

推論 2.3.2：設 \(X\sim N\left(\mu,\sigma^2I_n\right)\) ，\(Q\) 為 \(n\times n\) 的正交陣，則

\[QX\sim N\left(Q\mu,\sigma^2I_n\right) \ . \]

這個推論表明，各個分量相互獨立且具有等方差的正態隨機向量，經過正交變換後，變為各個分量仍然相互獨立且具有等方差的正態隨機向量。

定理 2.3.3：設 \(X\sim N(\mu,\Sigma)\) ，將 \(X,\mu,\Sigma\) 分塊為

\[X=\left(\begin{array}{cc} X_1 \\ X_2 \\ \end{array}\right) \ , \quad \mu=\left(\begin{array}{cc} \mu_1 \\ \mu_2 \\ \end{array}\right) \ , \quad \Sigma=\left(\begin{array}{cc} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{22} & \Sigma_{22} \end{array}\right) \ , \]

其中 \(X_1\) 和 \(\mu_1\) 為 \(m\times1\) 維向量，\(\Sigma_{11}\) 為 \(m\times m\) 矩陣，則 \(X_1\sim N\left(\mu_1,\Sigma_{11}\right)\) 。

在定理 2.3.2 中取

\[A=\left(\begin{array}{cc} I_m & 0 \\ -\Sigma_{21}\Sigma_{11}^{-1} & I_{n-m} \end{array}\right) \ , \quad b=0 \ , \]

則有 \(Y=AX\sim N\left(A\mu,A\Sigma A'\right)\) ，由於

\[A\Sigma A'=\left(\begin{array}{cc} \Sigma_{11} & 0 \\ 0 & \Sigma_{22\cdot1} \end{array}\right) \ , \quad \Sigma_{22\cdot1}=\Sigma_{22}-\Sigma_{21}\Sigma_{11}^{-1} \Sigma_{12} \ , \]

所以有

\[Y=\left(\begin{array}{c} X_1 \\ X_2-\Sigma_{21}\Sigma_{11}^{-1}X_1 \end{array}\right)\sim N\left(\left(\begin{array}{c} \mu_1 \\ \mu_2-\Sigma_{21}\Sigma_{11}^{-1}\mu_1 \end{array}\right),\left(\begin{array}{cc} \Sigma_{11} & 0 \\ 0 & \Sigma_{22\cdot1} \end{array}\right)\right) \ , \]

由定理 2.3.1.(1) 可知 \(X_1\sim N\left(\mu_1,\Sigma_{11}\right)\) 得證。

此外可知 \(X_1\) 與 \(X_2-\Sigma_{21}\Sigma_{11}^{-1}X_1\) 相互獨立。類似地，可以證明 \(X_2\sim N\left(\mu_2,\Sigma_{22}\right)\) 。

更一般地，對任意的 \(1\leq i_1<i_2<\cdots<i_k\leq n\) ，有

\[\left(X_{i_1},X_{i_2},\cdots,X_{i_k}\right)'\sim N\left(\mu_0,\Sigma_0\right) \ , \]

其中

\[\mu_0=\left( \begin{array}{cccc} \mu_{i_1} \\ \vdots \\ \mu_{i_k} \\ \end{array}\right) \ , \quad \Sigma_0=\left( \begin{array}{cccc} \sigma_{i_1i_1} & \cdots & \sigma_{i_1i_k}\\ \vdots & \ddots & \vdots \\ \sigma_{i_ki_1} & \cdots & \sigma_{i_ki_k} \\ \end{array}\right) \ . \]

即正態隨機向量的任意維數的子向量仍是正態隨機向量。

定理 2.3.4：設 \(X\sim N_n(\mu,\Sigma)\) 是 \(n\) 維正態隨機向量，\(A\) 是 \(m\times n\) 矩陣且 \({\rm rank}(A)=m<n\) ，則

\[Y=AX\sim N_m\left(A\mu,A\Sigma A'\right) \ . \]

將 \(A\) 擴充為 \(n\times n\) 可逆矩陣

\[C=\left(\begin{array}{c} A \\ B \end{array}\right) \ , \]

由定理 2.3.2 得

\[Z=CX=\left(\begin{array}{c} AX \\ BX \end{array}\right)\sim N\left( \left(\begin{array}{c} A\mu \\ B\mu \end{array}\right), \left(\begin{array}{cc} A\Sigma A' & A\Sigma B' \\ B\Sigma A' & B\Sigma B' \end{array}\right)\right) \ . \]

再由定理 2.3.3 得

\[Y=AX\sim N_m\left(A\mu,A\Sigma A'\right) \ . \]

推論 2.3.3：設 \(X\sim N_n(\mu,\Sigma)\) ，\(c\) 是 \(n\) 維非零向量，則

\[c'X\sim N(c'\mu,c'\Sigma c) \ . \]

這個推論表明，多元正態隨機向量的任意非退化線性組合是一元正態隨機變數。

推論 2.3.4：設 \(X\sim N_n(\mu,\Sigma)\) ，均值向量為 \(\mu=(\mu_1,\mu_2,\cdots,\mu_n)'\) ，協方差陣為 \(\Sigma=\left(\sigma_{ij}\right)\) ，則

\[X_i\sim N\left(\mu_i,\sigma_{ii}\right) \ , \quad i=1,2,\cdots,n \ . \]

這個推論表明，多元正態隨機向量的任一分量為正態隨機變數，反之不成立。