[系統理論] 透過 Fourier transform of correlation function 求隨機過程的頻譜

這次要介紹對於一個 隨機過程而言，如何對其討論 Fourier transform ?

給定 廣義平穩 (Wide-sense stationary (WSS) )隨機過程 $X_t$，其 autocorrelation function  僅與任意給定兩時刻 $t_1, t_2$之差有關，故我們定義
$$E[X_{t_1} X_{t_2}] :=R_X(t_1 - t_2)$$ 現在令 $t_1 = t + \tau$ 且 $t_2 = t$ 我們可將上式 autocorrelation function, $R_X(t_1 - t_2)$ 用一單變數函數改寫，記做 $R_X( \tau)$ 且滿足下列定義
$$R_X(\tau) :=E[X_{t + \tau}X_{t}]$$

我們可對 $R_X(\tau)$ 取 Fourier transform 如下
$$S_X(f) := \int_{-\infty}^{\infty}R_X(\tau)e^{-j 2 \pi f \tau}d\tau$$ 且 Inverse Fourier transform
$$R_X(\tau) = \int_{-\infty}^{\infty}S_X(f) e^{j 2 \pi f \tau} d f$$
Comment:
上述 $S_X(f)$ 又稱為功率頻譜密度( power spectral density )，我們會在以下說明。


隨機過程的功率 以及 功率頻譜 (Power Spectral and Power in Process)
為了解釋上述的結果現在我們從能量觀點來觀察一個隨機過程：
對一個隨機過程 $X_t$ 其 total energy 定義為
$$\int_{-\infty}^{\infty} X_t^2dt$$ 而我們亦可定義 平均功率 (average power) 為
$$\lim_{T \rightarrow \infty} \frac{1}{2T} \int_{-T}^{T} X_t^2 dt$$ 但由於上述 total energy 與 average power 為對隨機過程平方做積分，其積分結果仍為隨機變數。故我們需加上期望值確保其不再隨機。故我們定義 期望平均功率(expected average power)
$$P_X := E\left[ \lim_{T \rightarrow \infty} \frac{1}{2T} \int_{-T}^{T} X_t^2 dt \right]$$ 對於 WSS 隨機過程，我們改寫上式 (透過 Fubini's theorm可以對換 期望值 與 積分順序。)
$$\begin{array}{l} {P_X} = \mathop {\lim }\limits_{T \to \infty } \frac{1}{{2T}}\int_{ - T}^T {E\left[ {X_t^2} \right]} dt\\ \begin{array}{*{20}{c}} {}&{} \end{array} = \mathop {\lim }\limits_{T \to \infty } \frac{1}{{2T}}\int_{ - T}^T {{R_X}\left( {t - t} \right)} dt = \mathop {\lim }\limits_{T \to \infty } \frac{1}{{2T}}\int_{ - T}^T {{R_X}\left( 0 \right)} dt\\ \begin{array}{*{20}{c}} {}&{} \end{array} = \mathop {\lim }\limits_{T \to \infty } \frac{1}{{2T}}{R_X}\left( 0 \right)\int_{ - T}^T 1 dt\\ \begin{array}{*{20}{c}} {}&{} \end{array} = {R_X}\left( 0 \right) \end{array}$$ 由之前我們定義的對 WSS隨機過程之 Fourier transform (事實上這邊我們用 Inverse Fourier transform)，可知
$$\begin{array}{l} {R_X}(\tau ) = \int_{-\infty} ^\infty  {{S_X}} (f){e^{j2\pi f\tau }}df\\  \Rightarrow {R_X}\left( 0 \right) = \int_{-\infty} ^\infty  {{S_X}} (f)df \end{array}$$ 且由於我們有 $E[X_t^2] = R_X(t-t) = R_X(0)$，故總結以上結果，我們有
$$P_X := E[X_t^2] = R_X(0) = \int_{-\infty} ^\infty  {{S_X}} (f)df$$

注意到 $S_X(f)$ 為頻率的函數，故我們稱其為 spectral，且又如同機率 $P(\cdot)$ 為機率密度 $f$ 的積分 e.g., $P(X \in B)  =  \int_B f(x)dx$，對於 expected average power 而言
$${P_X} = \int_{-\infty} ^\infty  {{S_X}} (f)df$$ 亦可發現 $S_X(\cdot)$ 扮演類似 機率密度的角色，故我們稱之為 spectral density。

以下我們羅列幾個重要的已知結果：

========================
FACT 1: WSS 隨機過程的 autocorrelation function $R_X(t)$ 確實為 real even function ($R_X(t)$ 為實 偶函數)。
========================

Proof: 
由 $R_X(\tau)$ 之定義 $E[X_{t + \tau}X_t]$  可知其為 real function，故我們僅須證明其亦為 even function，也就是要證明 $R_X(\tau) = R_X(-\tau)$，故我們寫下
$$\begin{array}{l} {R_X}\left( \tau  \right) = {R_X}\left( {\left( {t + \tau } \right) - t} \right)\\ \begin{array}{*{20}{c}} {}&{}&{} \end{array} = E\left[ {{X_{t + \tau }}{X_t}} \right]\\ \begin{array}{*{20}{c}} {}&{}&{} \end{array} = E\left[ {{X_t}{X_{t + \tau }}} \right] = {R_X}\left( {t - \left( {t + \tau } \right)} \right) = {R_X}\left( { - \tau } \right)  \ \ \ \ \square \end{array}$$

========================
FACT 2: 令WSS 隨機過程 $X_t$ 的 autocorrelation function $R_X(\tau)$ ，則對任意 $\tau$，
$$|R_X(\tau)| \le R(0)$$ ========================

Proof: 
我們要證明 $R(0)$ 確實為 $R_X(\tau)$ 的最大值。現在觀察
$$|{R_X}(\tau )| = |E[{X_{t + \tau }}{X_t}]|$$ 由 Cauchy-Schwarz inequality $|E[XY]|^2 \le E[X^2]E[Y^2]$ 可知
$$\begin{array}{l} |{R_X}(\tau )| = |E[{X_{t + \tau }}{X_t}]|\\ \begin{array}{*{20}{c}} {}&{}&{} \end{array} \le \sqrt {E[{X_{t + \tau }}^2]E[{X_t}^2]} \end{array}$$ 且 ${R_X}(0) = \underbrace {E[X_t^2]}_{ \ge 0} = \underbrace {E[{X_{t + \tau }}^2]}_{ \ge 0} \ge 0$ 我們可得
$${R_X}(0) \ge \sqrt {{R_X}^2\left( 0 \right)}  = {R_X}\left( 0 \right) \ \ \ \ \square$$


透過上述結果 (FACT 1 )我們可以證明 $S_X(f)$ 亦為 real and even function。

========================
FACT 2:
$S_X(f)$ 為 real even function
========================

Proof
利用 Euler formula: $e^{j \omega t} = \cos(\omega t) + j \sin (\omega t)$，我們可改寫 $S_X(f)$
$$\begin{array}{l} {S_X}(f): = \int_{ - \infty }^\infty  {{R_X}} (\tau ){e^{ - j2\pi f\tau }}d\tau \\ \begin{array}{*{20}{c}} {}&{}&{}&{} \end{array} = \int_{ - \infty }^\infty  {{R_X}} (\tau )\cos \left( {2\pi f\tau } \right)d\tau  + j\int_{ - \infty }^\infty  {{R_X}} (\tau )\sin \left( {2\pi f\tau } \right)d\tau \ \ \ \ (*) \end{array}$$ 由 FACT 1 於 $R_X(\tau)$ 為 real 且 even。且 $\cos(2 \pi f \tau)$ 為 even function，$\sin( 2 \pi f \tau)$ 為 odd function，故我們可推知

${R_X}(\tau )\cos \left( {2\pi f\tau } \right)$ 為 even function

${R_X}(\tau )\sin \left( {2\pi f\tau } \right)$ 為 odd function

又注意到 $(*)$ 中 等號右方第二個積分式：
$$\int_{ - \infty }^\infty  {{R_X}} (\tau )\sin \left( {2\pi f\tau } \right)d\tau$$ 其中的 integrand 為 real odd function，故積分值為 $0$，亦即 $(*)$ 式變為
$$S_X(f) = \int_{ - \infty }^\infty  {{R_X}} (\tau )\cos \left( {2\pi f\tau } \right)d\tau$$ 上式積分中的 integrand 為 real even function，故 $S_X(f)$ 亦為 real and even。 $\square$