[toc] # 平穩時間序列 ## 平穩時間序列 在時間序列分析中，平穩時間序列是一類重要的特殊的隨機序列。時間序列分析的基本用途是根據過去的資訊預測未來，而平穩時間序列的歷史記錄 $X_1,X_2,\cdots,X_n$ 中往往含有 $X_{n+1}$ 的資訊，這就使得利用歷史樣本預測將來成為可能。 首先介紹一下平穩時間序列的概念，分為兩種：寬平穩序列和嚴平穩序列。 **嚴平穩過程** 對於時間序列 $\{ X_t: t=1,2,\cdots\}$ ，如果對於每一個時間指標集 $1\leq t_1\leq t_2\leq...\leq t_m$ 和任意的正整數 $h$，滿足 $\{X_{t_1},X_{t_2},\cdots,X_{t_m}\}$ 的聯合概率分佈與 $ \{X_{t_1+h},X_{t_2+h},\cdots,X_{t_m+h}\}$ 的聯合概率分佈相同，則稱 $X_t$ 是嚴平穩的。 **寬平穩過程** 對於時間序列 $\{ X_t: t=1,2,\cdots\}$ ，如果其均值和方差不隨著時間而變化，協方差只依賴於兩個觀測值之間的距離 $k$ ，而與所處的時間點 $t$ 的位置無關，則稱 $X_t$ 是寬平穩的。 - ${\rm E}(X_t)=\mu$ ； - ${\rm Var}(X_t)=\sigma^2$ ； - ${\rm Cov}(X_t,\,X_{t+k})=\gamma_k$ 。 我們通常所說時間序列的平穩性是指寬平穩性。 ## 偽迴歸現象 採用平穩時間序列建立計量經濟學模型的其中一個優點在於可以有效地避免偽迴歸現象。Granger 曾通過模擬試驗發現，完全無關的非平穩時間序列之間可以得到擬合很好但毫無道理的迴歸結果。這說明非平穩時間序列由於具有共同的變化趨勢，即使它們之間在經濟行為上並不存在因果關係，但也能夠顯示較強的統計上的因果關係。 這就是偽迴歸現象，例如下面的兩個模型： $$ Y_t=Y_{t-1}+u_{t} \ , \ \ \ \ u_t \sim N(0,\sigma^2) \ , $$ $$ X_t=X_{t-1}+v_t \ , \ \ \ \ v_t \sim N(0,\sigma^2) \ , $$ 顯然 $Y_t$ 和 $X_t$ 無關，但由於這兩個時間序列由同分布的正態白噪聲生成，如果做 $Y_t$ 對 $X_t$ 的簡單迴歸，結果的 $t$ 檢驗會十分顯著。 我們需要注意的是，並不是平穩時間序列之間不會出現偽迴歸現象，只是非平穩時間序列之間出現偽迴歸的可能性更大，因此對時間序列進行平穩性檢驗可以有效地減少偽迴歸現象。當然，杜絕偽迴歸的根本方法是正確的設定模型。 ## 白噪聲序列 白噪聲是用來描述簡單隨機干擾的平穩序列，是最簡單的平穩序列。定義如下： 設 $\{\varepsilon_t\}$ 是一個平穩序列，如果對任何 $s,\,t\in\mathbb{N}$ ， $$ {\rm E}(\varepsilon_t)=\mu \ , \ \ \ \ {\rm Cov}(\varepsilon_t,\,\varepsilon_s)=\left\{ \begin{array}{ll} \sigma^2\ , & t=s\ ,\\ 0\ , & t\neq s\ , \end{array} \right. $$ 就稱 $\{\varepsilon_t\}$ 是一個白噪聲，記作 ${\rm WN}(\mu,\,\sigma^2)$ 。 一般地，我們研究的都是零均值白噪聲情況，即 $$ {\rm E}(\varepsilon_t)=0\ , \ \ \ \ {\rm Var}(\varepsilon_t)=\sigma^2\ , \ \ \ \ {\rm Cov}(\varepsilon_t,\,\varepsilon_{t+h})=0 \ . $$ 此外，我們還會遇到獨立白噪聲和正態白噪聲的情況： - 獨立白噪聲：$\varepsilon_t\sim\ {\rm i.i.d.}\ \ {\rm WN}(0,\,\sigma^2)$ ； - 正態白噪聲：$\varepsilon_t \sim N(0,\sigma^2)$ ； 其中正態白噪聲一定滿足獨立同分布性質。 ## 隨機遊走過程 隨機遊走是一種常見的非平穩時間序列，主要包括無漂移項的隨機遊走和加漂移項的隨機遊走。 **隨機遊走** $$ y_t = y_{t-1} + \varepsilon_t \ , $$ 其中， $\varepsilon_t$ 是均值為 $0$ 和方差為 $\sigma^2$ 的白噪聲，$\varepsilon_t\sim {\rm WN}(0,\sigma^2)$ 。 隨機遊走也被稱為自相關係數為 $1$ 的 ${\rm AR}(1)$ 過程，通常被作為股票價格的一個統計學模擬，用來檢驗股票市場是否有效率。 我們可以把隨機遊走寫成移動平均的表示式。設 $y_t$ 的初值為常數 $y_0$ 且獨立於 $\varepsilon_t,\,t\geq1$，則有 $$ y_t=y_0+\varepsilon_1+\varepsilon_2+\cdots+\varepsilon_t \ , $$ 實際應用的時候常假定為 $y_0=0$ 。通過計算其均值和方差： $$ {\rm E}(y_t)={\rm E}(y_{t-1})={\rm E}(y_0+\varepsilon_1+\varepsilon_2+\cdots+\varepsilon_t)=y_0 \ , $$ $$ {\rm Var}(y_t)={\rm Var}(y_0+\varepsilon_1+\varepsilon_2+\cdots+\varepsilon_t)=t\sigma^2 \ , $$ 其方差與 $t$ 有關，因此隨機遊走是非平穩的。 **加漂移的隨機遊走** $$ y_t=\delta+y_{t-1}+\varepsilon_t \ . $$ 其中 $\delta$ 為隨機遊走的漂移項，可以代表價格的時間趨勢。這是因為如果我們代入 $y_t$ 的初值 $y_0$ ，通過迭代即可寫成價格序列的構成： $$ y_t=\delta t+y_0+\sum_{i=1}^t\varepsilon_i \ , $$ 在這樣的模型設定下，其經濟意義為：正（負）的 $\delta$ ，表示價格序列最終走向正（負）無窮。 ## 自相關函式 ACF 對於平穩時間序列，我們可以用自相關函式來刻畫其平穩性。首先定義**總體自相關函式**： $$ \rho_k=\frac{{\rm Cov}(y_t,\,y_{t+k})}{{\rm Var}(y_t)}=\frac{\gamma_k}{\gamma_0} \ , $$ 自相關函式只有對於平穩序列才有意義，它表明一個過程記憶長度以及強度。根據上述定義可以看到 $\rho_k$ 是關於滯後期 $k$ 的遞減函式，滿足 $\rho_0=1$，$\rho_k=\rho_{-k}$，$-1\leq \rho_k \leq 1$ ，並趨近於 $0$ 。 但實際上，對於一個時間序列只能有一個樣本實現，因此我們只能計算**樣本自相關函式**： $$ r_k=\frac{\displaystyle\sum_{t=1}^{n-k}(y_t-\overline{y})(y_{t+k}-\overline{y})}{\displaystyle\sum_{t=1}^n(y_t-\overline{y})^2} \ . $$ 和總體自相關函式一樣，隨著 $k$ 的增加，樣本自相關函式 $r_k$ 下降且趨近於 $0$ ，但從下降速度來看，平穩序列比非平穩序列快得多。 關於自相關函式還有一個定理，這是我們之前提到的 Ljung-Box 檢驗的理論基礎。 > **Bartlett 定理**：如果時間序列由白噪聲過程生成，則對所有的 $k>0$ ，樣本自相關函式近似地服從以 $0$ 為均值，$\displaystyle\frac{1}{n}$ 為方差的正態分佈，其中 $n$ 為樣本數。 ## 偏相關函式 PACF 對於平穩序列我們還有偏相關函式的概念，在這裡我們只引入樣本偏相關函式 PACF 的概念，總體偏相關函式需要引入專業課《時間序列分析》中的知識才可以討論。 用 $y_t$ 對連續的 $k$ 階滯後項 $y_{t-1},y_{t-2},...,y_{t-k}$ 進行迴歸： $$ y_t=\beta_0+\beta_1y_{t-1}+...+\beta_ky_{t-k}+\varepsilon_t \ , $$ 定義 $k$ 階偏相關函式 $p(k)=\hat\beta_k$ 。同樣地，隨著 $k$ 的增加，偏相關函式下降且趨近於 $0$ 。但我們需要注意的是，此時的 $\hat\beta_1\neq p(1),\,\hat\beta_2\neq p(2),\cdots,\hat\beta_{k-1}\neq p(k-1)$ 。 事實上，計算 $p(1)$ 的時候需要做 $y_t$ 對 $y_{t-1}$ 迴歸並求出 $y_{t-1}$ 的估計係數；計算 $p(2)$ 的時候需要做 $y_t$ 對 $y_{t-1},\,y_{t-2}$ 迴歸並求出 $y_{t-2}$ 的估計係數；以此類推。 PACF 和 ACF 的聯絡： - ACF 衡量的是僅 $y_t$ 和 $y_{t-k}$ 之間的相關性； - PACF 衡量的是排除了 $y_{t-1},...,y_{t-k+1}$ 對 $y_t$ 的影響之後的 $y_t$ 和 $y_{t-k}$ 之間的相關性。 ## 平穩性的單位根檢驗 ### ${\rm AR}(1)$ 序列 為了引入平穩性的檢驗方法，我們首先介紹一階自迴歸模型，即 ${\rm AR}(1)$ 模型。模型設定如下： $$ y_t=\phi y_{t-1}+u_t \ , $$ 其中，$u_t\sim{\rm WN}(0,\,\sigma^2)$ 。我們可以根據係數 $\phi$ 和 $1$ 的關係判斷時間序列 $\{y_t\}$ 的平穩性。 當 $|\phi|>1$ 時，該隨機過程生成的時間序列是發散的，表現為持續上升或持續下降，因此是非平穩的。當 $\phi=1$ 時，是一個隨機遊走過程，也是非平穩的。只有當 $|\phi|<1$ 時，該隨機過程才是平穩的。 ### Dickey-Fuller 檢驗 簡記為 DF 檢驗，只能用於檢驗一階自迴歸模型是否具有平穩性，並且要求隨機誤差項必須是白噪聲序列。對如下 ${\rm AR}(1)$ 序列進行迴歸， $$ y_t=\phi \, y_{t-1}+\varepsilon_t \ , $$ 如果 $\phi=1$，則非平穩，此時稱 $y_t$ 有一個單位根；如果 $|\phi|<1$，則平穩。 可以將模型寫成差分形式： $$ \Delta \, y_t=(\phi-1)y_{t-1}+\varepsilon_t \triangleq \delta y_{t-1}+\varepsilon_t \ . $$ 檢驗是否存在單位根，我們需要進行左側單尾檢驗，即 $H_0:\delta=0\longleftrightarrow H_1:\delta<0$ 。 若拒絕零假設，則 $y_t$ 是平穩的，否則為非平穩的。 需要注意的是，在零假設（非平穩）情況下，即使在大樣本下 $t$ 統計量也是有偏誤的（向下偏倚），通常的 $t$ 檢驗無法使用。Dickey-Fuller 提出了這一情形下 $t$ 統計量服從的分佈，此時我們將這個統計量稱為 $\tau$ 統計量，服從的分佈稱為 DF 分佈。 簡單概括 DF 檢驗的步驟：通過 OLS 估計 $\hat\delta$ ，計算 $\tau$ 統計量的值，與 DF 分佈表中給定顯著性水平下的臨界值比較。 $\tau$ 統計量的計算公式如下所示： $$ \tau=\frac{\hat\delta}{{\rm se}(\hat\delta)} \ . $$ 在左側單尾檢驗中，如果 $\tau$ 統計量小於臨界值，則 $\delta$ 足夠小以致於拒絕原假設，認為時間序列 $y_t$ 不存在單位根，即 $y_t$ 為平穩序列。 ### Augmented Dickey-Fuller 檢驗 在實際的平穩性檢驗中，時間序列可能由更高階的自迴歸過程生成，或是存在隨機誤差項並非是白噪聲的情況，這樣用 OLS 估計會表現出自相關問題，導致 DF 檢驗失效。另外，如果時間序列包含有明顯的隨時間變化的趨勢項，則也容易導致隨機誤差項的自相關問題。因此，我們對 DF 檢驗進行了擴充，提出了 ADF 檢驗。 我們可以用 ADF 檢驗形如 ${\rm AR}(p+1)$ 過程的平穩性，通過下面三個模型完成： $$ \Delta \, y_t=\delta \, y_{t-1}+\sum_{i=1}^p\phi_i\Delta \,y_{t-i}+\varepsilon_t \ , $$ $$ \Delta \, y_t=\alpha+\delta \, y_{t-1}+\sum_{i=1}^p\phi_i\Delta \,y_{t-i}+\varepsilon_t \ , $$ $$ \Delta \, y_t=\alpha+\beta t+\delta \, y_{t-1}+\sum_{i=1}^p\phi_i\Delta \,y_{t-i}+\varepsilon_t \ . $$ 檢驗的原假設仍然為存在單位根，即 $H_0:\delta=0\longleftrightarrow H_1:\delta<0$ 。 實際檢驗時從模型3開始，然後模型2，最後是模型1。 當其中有一個模型的檢驗結果拒絕原假設時，即不存在單位根時，則停止檢驗，認為時間序列是平穩的。 當三個模型的檢驗結果都不能拒絕原假設時，則認為時間序列是非平穩的。 檢驗原理與 DF 檢驗相同，只是對模型 1、2、3 進行檢驗時，有各自相應的臨界值。 $\alpha$ 和 $\beta$ 仍為雙側檢驗，$\delta$ 為單側檢驗。 ## 單整時間序列 隨機遊走序列經差分後等價地變形為 $$ \Delta \, y_t=y_t-y_{t-1}=\varepsilon_t \ , $$ 由於 $\varepsilon_t$ 是一個白噪聲，因此差分後的序列 $\{\Delta \, y_t \}$ 是平穩的，稱為一階單整序列，記為 ${\rm I}(1)$。 如果一個時間序列經過 $d$ 次差分後變成平穩時間序列，則稱原序列為 $d$ 階單整序列，記為 ${\rm I}(d)$ 。 ${\rm I}(0)$ 為平穩時間序列。 無論經過多少次差分都不能變為平穩的，稱為非單整的。 大多數非平穩的時間序列一般都可以通過一次或多次差分的形式變為平穩時間