隨機過程筆記1：相關函式
b站張顥老師隨機過程筆記。建議先修課程：概率論，矩陣論或線性代數，高等數學。
由於張顥老師似乎是教電子的，裡面的很多舉例和訊號相關，可以根據自己的實際來看，或者看看訊號與系統。
目錄隨機過程（Stochastic Process）
一組隨機變數，著眼於隨機變數之間的關聯，t只是一個index不一定是時間，t是兩維就是隨機場
-
Correlation(linear)：相關
-
時域 Time Domain：相關函式 correlation function
-
頻域 Frequency Domain：功率譜密度 Spectrum
-
典型的相關過程：高斯過程 Gaussian Process
-
-
Markov Property
-
離散時間
-
連續時間
-
典型的馬爾可夫過程：泊松過程 Poisson Process
-
-
Martingale
- Optional Theorem
1.相關函式
線性相關
對於多個隨機變數的關係研究，最開始是聯合概率密度。對於隨機變數 x,y。聯合分佈Joint Distribution
\(f_{x,y}(x,y)=\frac{\partial^{2}}{\partial x\partial y}F_{x,y}(x,y)\)
\(F_{x,y}(x,y)=P(X\leq x,Y\leq y)\)
從影象看相關性：看一個變數發生變化時，另外一個變數的分佈或者概率是否發生變化
相關係數：對於線性相關，相關係數越大，相關性越高，對於二維變數，其影象表現得越細窄
我們試圖建立兩個隨機變數的線性關係 \(Y=\alpha X\)，但是這樣忽略了變數的變化是有範圍的，不是單純的線性關係，可以將其擴充套件為\(E(Y-\alpha X)^{2}\)，即均方誤差（mean square error）。對於\(\alpha\)，由於希望找到\(\min\limits_{\alpha}E(Y-\alpha X)^{2}\)，則\(\alpha_{opt}=\frac{E(XY)}{E(X^{2})}\)
相關、不相關和獨立
-
相關\(E(XY)\)
-
去中心化的相關\(E(X-EX)E(Y-EY)=E(XY)-E(XEY)-E(YEX)-EXEY=E(XY)-EXEY\)，減去了一個常數，兩者不再區分。
-
不相關 Uncorrelated：\(E(XY)=0\) 或者 \(E(X-EX)E(Y-EY)=0\)，即\(E(XY)=EXEY\)。是線性的關係不存在，可能存在其他關係
-
獨立：更強
相關係數
一個重要的理解：幾何上的理解 Geometric View，看作是一種內積 \(E(XY)=<X,Y>\)
內積滿足：對稱性，非負性，雙線性性（雙變數各自滿足線性性）
內積量化成角度：\(cos<x,y>=\frac{<x,y>}{(<x,x><u,y>)^{\frac{1}{2}}}\)
隨機變數的相關對應到線性空間裡兩個向量的夾角：Randow Variable to Vector
flowchart LR A[相關]-->|幾何角度|B[內積]-->|量化|C[夾角]由此，將線性空間內的夾角擴充套件到隨機變數的相關係數有\(cos=\frac{E(XY)}{(EX^2EY^2)^{\frac{1}{2}}}\)
這裡的\(EX^2\)是\(E(X^{2})\)
根據Cauchy-Schwars不等式，保證\(-1\leq cos\leq 1\)
Cauchy-Schwars的不同形式：
\(|\sum\limits_{k}x_{x}y_{k}|\leq(\sum\limits_{k}x^{2}_{k})^{\frac{1}{2}}(\sum\limits_{k}y^{2}_{k})^{\frac{1}{2}}\)
\(\int f(x)g(x)dx\leq (\int f^{2}(x)dx\int g^2(x)dx)^{\frac{1}{2}}\)
一般形式：\(|<x,y>|\leq|<x,x><y,y>|^{\frac{1}{2}}\)
都是內積。反映測不準原理。
有了幾何上的理解，對於兩個隨機變數X，Y，線上性空間有夾角\(\theta\)，計算Y在X上的投影，則有\(||Y||cos(\theta)\frac{X}{||X||}=(\frac{||Y||}{||X||}cos(\theta))X\)，由於\(\frac{||Y||}{||X||}\frac{E(XY)}{||X||||Y||}=\frac{E(XY)}{EX^2}=\alpha\)，所以Y在X上的投影為\(\alpha X\)，和上面的\(\alpha\)一致（上面沒有寫代數上的推導）
相關函式
相關函式 Correlation Funtion，定義在隨機過程上
-
Auto自相關：\(R_{X}(t,s)=E(X(t)X(s))\)，Binary二元的。性質
- 對稱性：\(R_{X}(t,s)=R_{X}(s,t)\)
- 非負性：\(R_X(t,t)=E(X^2(t))\geq 0\)，對角線上是非負的
- 滿足Cauchy-Schwars不等式：\(|R_{X}(t,s)|\leq (R_{X}(t,t)R_{X}(s,s))^{\frac{1}{2}}\)
特點來自於相關運算，即內積
由於這樣的相關還是二元的，希望把它轉化成一元的，因此，我們需要做一個假設，即平穩性。
證明過程：
\(g(\alpha)=<\alpha x+y,\alpha x+y>=<x,x>\alpha^2+2<x,y>\alpha+<y,y>\)
-
Invariance to Stationary（平穩性）：平穩性是一種不變特徵，指隨機過程的某一類統計特性隨著時間變化而保持不變的特性
-
寬平穩
-
均值不變，是常數：\(E[X(t)]=m(t)=m\)
-
相關函式滿足\(R_X(t,s)=R_X(t+D,s+D),\forall D \in \mathbb{R}\)，這時相關函式只與兩個時刻的差值有關，即\(R_X(t,s)=R_X(t-s)=R_X(\tau)\)，而和時刻的具體位置無關。相關函式變成了一元的了。
- 搞清楚什麼是確定的，什麼是隨機的
- 因此更加關注上面的第二條。
- 此時相關函式的性質：
-
對稱性：\(R_X(\tau)=R_X(-\tau)\)。即寬平穩情況下相關函式是偶函式
-
柯西不等式：\(|R_X(\tau)|\leq R_X(0)\)
-
Positive Definite正定性：
矩陣正定：\(A\in \mathbb{R}^{n\times n},\alpha \in \mathbb{R}^n,\alpha^TA\alpha \geq 0\)
函式正定：函式\(f(x)\)正定，即任取n個變數\(x_1,x_2,...,x_n\)，構成矩陣的\(A=(a_{ij})_{n\times n},a_{ij}=f(x_i-x_j)\)正定
- 若正定，則\(R_X(0)\geq0\)。取1個變數，則\(A=|R_X(x_1-x_1)|\)，一個元素，\(R_X(x_1-x_1)=R_X(0)\geq0\)
- 若正定，則一定滿足柯西不等式\(|R_X(\tau)|\leq R_X(0)\)。取兩個變數\(x_1=0,x_2=\tau\)，則有矩陣
因為，正定矩陣對稱，所以\(R_X(\tau)=R_X(-\tau)\)。柯西不等式也因行列式為正可得。
-
驗證正定：任取n個時刻，有\(\tau_1,\tau_2,...,\tau_n\)，構成矩陣\(A=(f(x_i-x_j))_{ij}\geq 0\)。任取\(\alpha \in \mathbb{R}^n,\alpha = (\alpha_1,...,\alpha_n)^T\)。計算
\[\begin{aligned} \alpha ^TA\alpha &=\sum_{i=1}^n\sum_{j=1}^nR_X(\tau_i-\tau_j)\alpha_i\alpha_j\\ &=\sum_{i=1}^n\sum_{j=1}^nE[X(\tau_i)X(\tau_j)]\alpha_i\alpha_j\\ &=E[\sum_{i=1}^n\sum_{j=1}^nX(\tau_i)X(\tau_j)\alpha_i\alpha_j](因為此處\alpha沒有隨機性)\\ &=E[\sum_{i=1}^nX(\tau_i)\alpha_i]^2\geq0(最後一步化簡可能比較難理解，注意這裡不是E[\sum_{i=1}^n(X(\tau_i)\alpha_i)^2] \end{aligned} \]相關矩陣Correlation Matrix。下面是正定證明的另一種寫法。
\(X=(X(\tau_1),...,X(\tau_n))^T,(R_X(\tau_i-\tau_j))_{ij}=E(XX^T)=R\)
\(\alpha^TR\alpha=\alpha^TE(XX^T)\alpha=E(\alpha^TXX^T\alpha)=E(\alpha^TX)^2\)
-
相關函式是正定函式，這是其特徵性質Characteristic Property，即充分必要。正定函式一定是相關函式，任何一個正定函式一定能找到某個隨機過程，使得該正定函式是其相關函式。
- 如果有\(R(0)=R(\tau),\tau\neq0\)，則一定能推斷出\(R(\tau)=R(\tau+T)\)，即相關函式一定是週期的。
驗證：
均方週期性mean square Periodic
\[\begin{aligned} E|X(\tau+T)-X(\tau)|^2&=E[X^2(\tau+T)]+E[X^2(\tau)]-2E[X(\tau+T)X(\tau)]\\ &=2R_X(0)-2R_X(T)=0\\ |R(\tau+T)-R(\tau)|&=|E[X(\tau+T)X(0)]-E[X(\tau)X(0)]|\\ &=|E[X(0)(X(\tau+T)-X(\tau))]|\\ &\leq (E[X^2(0)]E|X(\tau+T)-X(\tau)|^2)^\frac{1}{2}=0 \end{aligned} \]- 是否存在Rectangle Window（矩形窗）一樣的相關函式？不存在。
- 相關函式的一個特性：相關函式在0點連續，則在任意點連續（區域性--->總體，來源於平穩的特點）
- 不是正定的，因為傅立葉函式不是正的，不是相關函式
- 三角波是否是相關函式？是。
- 時域卷積為頻域乘積。則傅立葉變換為正，故正定，是相關函式
證明1：
兩個隨機變數之間的距離，是均方距離mean square distance ，進而推廣到隨機極限（滿足範數的定義：非負性、對稱性、三角不等式（通過柯西不等式可推導））
均方連續性mean square continuous
\[\begin{aligned} &E|X(\tau+\Delta)-X(\tau)|^2 =2R_X(0)-2R_X(\Delta)\\ &因為在0點連續，因此 \lim_{\Delta\rightarrow0}E|X(\tau+\Delta)-X(\tau)|^2=0\\ &|R(\tau+\Delta)-R(\tau)|\leq(E[X^2(0)]E|X(\tau+\Delta)-X(\tau)|^2)^\frac{1}{2}=0\\ &因此\lim_{\Delta\rightarrow0}|R(\tau+\Delta)-R(\tau)|=0 \end{aligned} \]證明2：
Bochner指出：一個函式是正定的，當且僅當該函式的傅立葉變換是正的。（這裡提供了頻域研究的思路，而寬平穩是可以做頻域分析的）
\[f(x)\ is\ P.d\Leftrightarrow\int_{-\infty}^{+\infty}f(x)e^{-j\omega x}dx\geq0 \]矩形窗的傅立葉變換是Sa函式，不滿足條件。
下面驗證Bochner提出的那句話：
已知\(F(\omega)=\int_{-\infty}^{+\infty}f(x)e^{-j\omega x}dx\geq0\)。證明：\(f(x)=\frac{1}{2\pi}\int_{-\infty}^{+\infty}F(\omega)e^{j\omega x}d\omega\)正定。
先看\(g(x)=e^{j\omega x}\)：即\(\forall x_1,x_2,...,x_n.(e^{j\omega(x_i-x_j)})_{ij}=B,\forall \alpha\in C^n\Rightarrow\alpha^HB\alpha\geq0\)
\[\begin{aligned} \alpha^HB\alpha&=\sum_{i=1}^n\sum_{j=1}^ne^{j\omega(x_i-x_j)}\overline{\alpha_i}\alpha_j\\ &=|\sum_{i=1}^ne^{j\omega(x_i)}\overline{\alpha_i}|^2\geq0 \end{aligned} \]\(h(\omega,x)\ is \ P.d\Rightarrow\sum_{k=1}^na_kh(\omega_k,x)\ is \ P.d,a_k\geq0\Rightarrow\int_{-\infty}^{+\infty}a(\omega)h(\omega,x)d\omega\)
隨機變數：樣本空間對映到實數軸的確定性函式。
概率：樣本空間包含了所有的可能性，然後P(A)=p，這是一個確定性函式，本身表示的是樣本空間某個子集的出現可能性的大小。是先驗的。
概率：從模型(先驗)到決策
統計：從資料得到模型
flowchart LR A[資料data]-->|統計statistic|B[模型model]-->|概率Probability|C[決策decision] A-->|大資料big data|C -
-
例1：Modulated Signal。\(X(t)=A(t)cos(2\pi f_0t+\theta),A(t):隨機,\theta \sim v(0,a\pi)，A(t)與\theta\) 獨立。證明寬平穩：
先看一階矩：
\[\begin{aligned} E[X(t)]&=E[A(t)]E[cos(2\pi f_0t+\theta)]\\ &=E[A(t)]\int^{2\pi}_{0}cos(2\pi f_0t+\theta)d\theta \\ &=0 \end{aligned} \]再看相關函式：
\[\begin{aligned} R_X(t,s)&=E[X(t)X(s)]\\ &=E[A(t)A(s)]E[cos(2\pi f_0t+\theta)cos(2\pi f_0s+\theta)]\\ &=E[A(t)A(s)]\frac{1}{2}(E[cos(2\pi f_0(t-s))]+E[cos(2\pi f_0(t+s)+2\theta)])\\ &=\frac{1}{2}E[A(t)A(s)]E[cos(2\pi f_0(t-s))] \end{aligned} \]可見，如果振幅調製本身是寬平穩的，則整體的訊號是寬平穩的。
例2：Random Telegraph Signal。隨機取1或-1。已知在[s,t]時間內，切換k次的概率為 \(P=\frac{\lambda(t-s)^k}{k!}e^{-\lambda(t-s)}\)。泊松分佈Poisson Distribution。證明寬平穩。
計算二階矩（相關函式）：
\[\begin{aligned} E[X(t)X(s)]&=R_X(t,s)\\ &=1\cdot P_1+(-1)\cdot P_{-1}\\ &=\sum_{k \in even}\frac{\lambda(t-s)^k}{k!}-\sum_{k \in odd}\frac{\lambda(t-s)^k}{k!}\\ &=e^{-2\lambda(t-s)} \end{aligned} \]其中，結果只有1和-1兩種可能，故需處理兩種結果的概率即可。而結果是1說明訊號翻轉了偶數次，結果是-1說明翻轉了奇數次。因為
\[\begin{aligned} \sum \frac{\lambda(t-s)^k}{k!}&=e^{\lambda(t-s)}\\ \sum \frac{[-\lambda(t-s)]^k}{k!}&=e^{-\lambda(t-s)} \end{aligned} \]則
\[\begin{aligned} \sum_{k \in even}\frac{\lambda(t-s)^k}{k!} &=\frac{1}{2}[e^{\lambda(t-s)}+e^{-\lambda(t-s)}]\\ &=\frac{1}{2}[1+e^{-2\lambda(t-s)}]\\ \sum_{k \in odd}\frac{\lambda(t-s)^k}{k!} &=\frac{1}{2}[e^{\lambda(t-s)}-e^{-\lambda(t-s)}]\\ &=\frac{1}{2}[1-e^{-2\lambda(t-s)}] \end{aligned} \]2.從相關到隨機過程
相關
相關是對兩個隨機變數而言的\(X,Y\)，計算相關\(E(XY)\)。
- 從代數上講，內積
- 從幾何上講，夾角。如此有了正交、投影等概念
- 從隨機上講，期望
隨機過程
隨機過程X(t)，t：Index Set只是一個指標集（Time就是隨機過程，Space就是隨機場）。用相關函式研究隨機過程，\(R_X(t,s)=E(X(t)X(s))\)，是一個確定性的二元函式。如果隨機過程滿足平穩性，如寬平穩，則相關函式只依賴於時間差,即\(R_X(t,s)=R_X(t-s)\)
\(X(t)=X(\omega,t),\Omega\times\mathbb{R}\rightarrow\mathbb{R}\)
-
對映關係：給定t，得到一個隨機變數X（關心隨機變數之間的關係）。需要知道的是，隨機變數本身也是一個函式
-
\(X(t,w)\)，實際上是一個二元函式，不止依賴於t，還依賴於樣本空間裡的樣本點w，w體現了隨機性
-
因此，給定w，得到一個關於時間的函式，不再有不確定性，該函式稱為樣本軌道Sample Path
樣本軌道在不同時刻的取值不是完全獨立的，受到一種關係的約束，隨機過程在不同時刻得到的不同的隨機變數之間有著相互的約束
希望研究，不確定性下確定的東西，隨著時間變化下的趨勢