[系統理論] 透過 Fourier transform of correlation function 求隨機過程的頻譜

這次要介紹對於一個 隨機過程而言，如何對其討論 Fourier transform ?

給定 廣義平穩 (Wide-sense stationary (WSS) )隨機過程 $X_t$，其 autocorrelation function  僅與任意給定兩時刻 $t_1, t_2$之差有關，故我們定義
\[
E[X_{t_1} X_{t_2}] :=R_X(t_1 - t_2)
\]現在令 $t_1 = t + \tau$ 且 $t_2 = t$ 我們可將上式 autocorrelation function, $R_X(t_1 - t_2)$ 用一單變數函數改寫，記做 $R_X( \tau)$ 且滿足下列定義
\[
R_X(\tau) :=E[X_{t + \tau}X_{t}]
\]

我們可對 $R_X(\tau)$ 取 Fourier transform 如下
\[
S_X(f) := \int_{-\infty}^{\infty}R_X(\tau)e^{-j 2 \pi f \tau}d\tau
\]且 Inverse Fourier transform
\[
R_X(\tau) = \int_{-\infty}^{\infty}S_X(f) e^{j 2 \pi f \tau} d f
\]
Comment:
上述 $S_X(f)$ 又稱為功率頻譜密度( power spectral density )，我們會在以下說明。


隨機過程的功率 以及 功率頻譜 (Power Spectral and Power in Process)
為了解釋上述的結果現在我們從能量觀點來觀察一個隨機過程：
對一個隨機過程 $X_t$ 其 total energy 定義為
\[
\int_{-\infty}^{\infty} X_t^2dt
\] 而我們亦可定義 平均功率 (average power) 為
\[
\lim_{T \rightarrow \infty} \frac{1}{2T} \int_{-T}^{T} X_t^2 dt
\]但由於上述 total energy 與 average power 為對隨機過程平方做積分，其積分結果仍為隨機變數。故我們需加上期望值確保其不再隨機。故我們定義 期望平均功率(expected average power)
\[
P_X := E\left[ \lim_{T \rightarrow \infty} \frac{1}{2T} \int_{-T}^{T} X_t^2 dt \right]
\]對於 WSS 隨機過程，我們改寫上式 (透過 Fubini's theorm可以對換 期望值 與 積分順序。)
\[\begin{array}{l}
{P_X} = \mathop {\lim }\limits_{T \to \infty } \frac{1}{{2T}}\int_{ - T}^T {E\left[ {X_t^2} \right]} dt\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \mathop {\lim }\limits_{T \to \infty } \frac{1}{{2T}}\int_{ - T}^T {{R_X}\left( {t - t} \right)} dt = \mathop {\lim }\limits_{T \to \infty } \frac{1}{{2T}}\int_{ - T}^T {{R_X}\left( 0 \right)} dt\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \mathop {\lim }\limits_{T \to \infty } \frac{1}{{2T}}{R_X}\left( 0 \right)\int_{ - T}^T 1 dt\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = {R_X}\left( 0 \right)
\end{array}
\]由之前我們定義的對 WSS隨機過程之 Fourier transform (事實上這邊我們用 Inverse Fourier transform)，可知
\[\begin{array}{l}
{R_X}(\tau ) = \int_{-\infty} ^\infty  {{S_X}} (f){e^{j2\pi f\tau }}df\\
 \Rightarrow {R_X}\left( 0 \right) = \int_{-\infty} ^\infty  {{S_X}} (f)df
\end{array}\]且由於我們有 $E[X_t^2] = R_X(t-t) = R_X(0)$，故總結以上結果，我們有
\[
P_X := E[X_t^2] = R_X(0) = \int_{-\infty} ^\infty  {{S_X}} (f)df
\]

注意到 $S_X(f)$ 為頻率的函數，故我們稱其為 spectral，且又如同機率 $P(\cdot)$ 為機率密度 $f$ 的積分 e.g., $P(X \in B)  =  \int_B f(x)dx $，對於 expected average power 而言
\[
{P_X} = \int_{-\infty} ^\infty  {{S_X}} (f)df
\]亦可發現 $S_X(\cdot)$ 扮演類似 機率密度的角色，故我們稱之為 spectral density。

以下我們羅列幾個重要的已知結果：

========================
FACT 1: WSS 隨機過程的 autocorrelation function $R_X(t)$ 確實為 real even function ($R_X(t)$ 為實 偶函數)。
========================

Proof: 
由 $R_X(\tau)$ 之定義 $E[X_{t + \tau}X_t]$  可知其為 real function，故我們僅須證明其亦為 even function，也就是要證明 $R_X(\tau) = R_X(-\tau)$，故我們寫下
\[\begin{array}{l}
{R_X}\left( \tau  \right) = {R_X}\left( {\left( {t + \tau } \right) - t} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = E\left[ {{X_{t + \tau }}{X_t}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = E\left[ {{X_t}{X_{t + \tau }}} \right] = {R_X}\left( {t - \left( {t + \tau } \right)} \right) = {R_X}\left( { - \tau } \right)  \ \ \ \ \square
\end{array}\]

========================
FACT 2: 令WSS 隨機過程 $X_t$ 的 autocorrelation function $R_X(\tau)$ ，則對任意 $\tau$，
\[
|R_X(\tau)| \le R(0)
\]========================

Proof: 
我們要證明 $R(0)$ 確實為 $R_X(\tau)$ 的最大值。現在觀察
\[|{R_X}(\tau )| = |E[{X_{t + \tau }}{X_t}]|
\]由 Cauchy-Schwarz inequality $|E[XY]|^2 \le E[X^2]E[Y^2]$ 可知
\[\begin{array}{l}
|{R_X}(\tau )| = |E[{X_{t + \tau }}{X_t}]|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \le \sqrt {E[{X_{t + \tau }}^2]E[{X_t}^2]}
\end{array}\]且 $ {R_X}(0) = \underbrace {E[X_t^2]}_{ \ge 0} = \underbrace {E[{X_{t + \tau }}^2]}_{ \ge 0} \ge 0$ 我們可得
\[{R_X}(0) \ge \sqrt {{R_X}^2\left( 0 \right)}  = {R_X}\left( 0 \right) \ \ \ \ \square
\]


透過上述結果 (FACT 1 )我們可以證明 $S_X(f)$ 亦為 real and even function。

========================
FACT 2:
$S_X(f)$ 為 real even function
========================

Proof
利用 Euler formula: $e^{j \omega t} = \cos(\omega t) + j \sin (\omega t)$，我們可改寫 $S_X(f)$
\[\begin{array}{l}
{S_X}(f): = \int_{ - \infty }^\infty  {{R_X}} (\tau ){e^{ - j2\pi f\tau }}d\tau \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  {{R_X}} (\tau )\cos \left( {2\pi f\tau } \right)d\tau  + j\int_{ - \infty }^\infty  {{R_X}} (\tau )\sin \left( {2\pi f\tau } \right)d\tau \ \ \ \ (*)
\end{array}
\]由 FACT 1 於 $R_X(\tau)$ 為 real 且 even。且 $\cos(2 \pi f \tau)$ 為 even function，$\sin( 2 \pi f \tau)$ 為 odd function，故我們可推知

${R_X}(\tau )\cos \left( {2\pi f\tau } \right)$ 為 even function

${R_X}(\tau )\sin \left( {2\pi f\tau } \right)$ 為 odd function

又注意到 $(*)$ 中 等號右方第二個積分式：
\[
\int_{ - \infty }^\infty  {{R_X}} (\tau )\sin \left( {2\pi f\tau } \right)d\tau
\] 其中的 integrand 為 real odd function，故積分值為 $0$，亦即 $(*)$ 式變為
\[
S_X(f) = \int_{ - \infty }^\infty  {{R_X}} (\tau )\cos \left( {2\pi f\tau } \right)d\tau
\]上式積分中的 integrand 為 real even function，故 $S_X(f)$ 亦為 real and even。 $\square$

[系統理論] (弱)平穩隨機過程特性 與 線性非時變系統 (2)- Jointly wide-sense stationary and Frequency domain property

回憶對於 具有脈衝響應為 $h(t)$ 的 LTI 系統 而言，若輸入 $X_t$ 為 WSS 隨機過程，則輸出 $Y_t$ 必定也為一 WSS 隨機過程，且 $Y_t$ 與 $X_t$ 的輸入輸出關係為 convolution integral：
\[{Y_t} = \int_{ - \infty }^\infty  h (t - \tau ){X_\tau }d\tau  = \int_{ - \infty }^\infty  {{X_{t - \tau }}h} (\tau )d\tau
\]且其 輸出隨機過程 $Y_t$ 的 mean function $m_Y(t)$ 與 autocorrelation function $R_Y(\tau)$為
\[\begin{array}{l}
{m_Y}\left( t\right) = E[{Y_t}] = E[\int_{ - \infty }^\infty  {{X_{t - \theta }}h} (\theta )d\theta ]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  {\underbrace {E[{X_{t - \theta }}]}_{ = {m_X}\left( {t - \theta } \right)}h} (\theta )d\theta \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  {{m_X}\left( {t - \theta } \right)h} (\theta )d\theta
\end{array}\]與
\[\begin{array}{l}
{R_Y}\left( \tau  \right) = E[{Y_{t + \tau }}{Y_t}]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E\left[ {\int_{ - \infty }^\infty  {{X_{t + \tau  - \beta }}h} (\beta )d\beta \int_{ - \infty }^\infty  {{X_{t - \theta }}h} (\theta )d\theta } \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E\left[ {\int_{ - \infty }^\infty  {\left( {\int_{ - \infty }^\infty  {{X_{t + \tau  - \beta }}h(\beta )} d\beta } \right){X_{t - \theta }}h(\theta )d\theta } } \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  {\left( {\int_{ - \infty }^\infty  {\underbrace {E[{X_{t + \tau  - \beta }}{X_{t - \theta }}]}_{ = {R_X}\left( {\left( {t + \tau  - \beta } \right) - \left( {t - \theta } \right)} \right)}} h(\beta )d\beta } \right)h(\theta )d\theta } \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  {\left( {\int_{ - \infty }^\infty  {{R_X}\left( {\tau  - \left( {\beta  - \theta } \right)} \right)} h(\beta )d\beta } \right)h(\theta )d\theta }  \ \ \ \ \ (*)
\end{array}\]

現在我們定義 jointly WSS 隨機過程
============================
Definition (Jointly wide-sense stationary, J-WSS)
考慮 $X_t$ 與 $Y_t$ 為兩 WSS 隨機過程，現給定任意兩時刻 $t_1, t_2$， 若其 cross-crorelation $E[X_{t_1}Y_{t_2}]$ 只與 $t_1 - t_2$ 有關，則我們稱 $X_t$ 與 $Y_t$ 為 Jointly wide-sense stationary。
============================

現在回憶 WSS隨機過程之 auto-correlation function 可以用單變數改寫，同樣的，J-WSS 的 $X_t$ 與 $Y_t$ 亦可改寫成單變數 univariate cross-correlation function ；亦即，令 $t_1 := t + \tau$ 且 $t_2 := t$ 則我們有
\[
R_{XY}(t_1 - t_2) = E[X_{t_1} Y_{t_2}] = E[X_{t+ \tau} Y_{t}] = R_{XY}(t+ \tau - t) = R_XY(\tau)
\]亦即 J-WSS 有 univariate cross-correlation function 定義如下：
\[
R_XY(\tau) := E[X_{t+\tau}Y_t]
\]

上述討論我們可知，若一個 WSS 隨機過程 輸入到 LTI 系統，則輸入與輸出為 J-WSS 且其 cross-correlation function 可寫為
\[\begin{array}{*{20}{l}}
{R_{XY}}\left( \tau  \right) = E\left[ {{X_{t + \tau }}{Y_t}} \right] = E\left[ {{X_{t + \tau }}\int_{ - \infty }^\infty  {{X_{t - \gamma }}h} (\gamma )d\gamma } \right]\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  {\underbrace {E[{X_{t + \tau }}{X_{t - \gamma }}]}_{ = {R_X}\left( {\left( {t + \tau } \right) - \left( {t - \gamma } \right)} \right)}h} (\gamma )d\gamma }\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  {{R_X}\left( {\tau  + \gamma } \right)h} (\gamma )d\gamma  \ \ \ \ \ \ (\star)}
\end{array}\] 上式已經非常接近 convolution 形式，但並非 convolution 形式；因為上式積分中的 integrand 為 $R_X(t+\gamma)h(\gamma)$ 但我們要的形式是 $R_X(t - \text{something})h(\text{something})$ ，故我們現在用變數變換：令 $\gamma := - \alpha$ 可得
\[ \Rightarrow {R_{XY}}\left( \tau  \right) = \int_{ - \infty }^\infty  {{R_X}\left( {\tau  - \alpha } \right)h} ( - \alpha )d\alpha \]此即具備 convolution 形式

另外觀察上式 $(\star)$ 與之前計算的 $Y_t$ 之auto-correlation function $(*)$ ：
\[{R_Y}\left( \tau  \right) = \int_{ - \infty }^\infty  {\underbrace {\left( {\int_{ - \infty }^\infty  {{R_X}\left( {\tau  - \left( {\beta  - \gamma } \right)} \right)} h(\beta )d\beta } \right)}_{ = {R_{XY}}\left( {\tau  - \beta } \right)}h(\gamma )d\gamma } \]亦即
\[{R_Y}\left( \tau  \right) = \int_{ - \infty }^\infty  {{R_{XY}}\left( {\tau  - \beta } \right)h(\gamma )d\gamma }  \]也就是說 $R_Y$ 為 $h$ 與 $R_{XY}$ 的 convolution。

現在我們將手邊結果總結如下 $(\star \star)$：
\[\left\{ \begin{array}{l}
{R_Y}\left( \tau  \right) = \int_{ - \infty }^\infty  {h(\gamma ){R_{XY}}\left( {\tau  - \beta } \right)d\gamma } \\
{R_{XY}}\left( \tau  \right) = \int_{ - \infty }^\infty  {h( - \alpha ){R_X}\left( {\tau  - \alpha } \right)} d\alpha
\end{array} \right.\]回憶之前我們曾定義對 correlation function 定義 Fourier transform 如下：
\[\begin{array}{l}
{S_X}\left( f \right): = \int_{ - \infty }^\infty  {{R_X}\left( \tau  \right){e^{ - j2\pi f\tau }}d\tau } \\
H\left( f \right): = \int_{ - \infty }^\infty  {h\left( \tau  \right){e^{ - j2\pi f\tau }}d\tau }
\end{array}\]且由 Fourier transform 的 multiplication property：時域convolution = 頻域相乘。故對 $(\star \star ) $ 取 Fourier transform 可得
\[\left\{ \begin{array}{l}
{R_Y}\left( \tau  \right) = \int_{ - \infty }^\infty  {h(\gamma ){R_{XY}}\left( {\tau  - \beta } \right)d\gamma } \\
{R_{XY}}\left( \tau  \right) = \int_{ - \infty }^\infty  {h( - \alpha ){R_X}\left( {\tau  - \alpha } \right)} d\alpha
\end{array} \right.\mathop  \Rightarrow \limits^{F\left\{ . \right\}} \left\{ \begin{array}{l}
{S_Y}\left( f \right) = H(f){S_{XY}}\left( f \right)\\
{S_{XY}}\left( \tau  \right) = {H^*}\left( f \right){S_X}\left( f \right)
\end{array} \right.\] (上述轉換用了一個FACT: $\cal{F}\{ h(-t) \}$ $= H^*(f)$ 我們會在後面給出證明)。

故輸入與輸出的頻域關係為
\[{S_Y}\left( f \right) = H(f){S_{XY}}\left( f \right) = H(f){H^*}\left( f \right){S_X}\left( f \right) = \left| {H\left( f \right)} \right|^2{S_X}\left( f \right)\]亦即
\[
S_Y(f) = |H(f)|^2 S_X(f)
\]

Comments:
1. $S_X(f)$ 稱為 power spectral density。 (nonnegative, real, and even function)
2. $S_{XY}(f)$ 稱為 cross power spectral density。

=================
FACT:
若 LTI 系統脈衝響應 $h(t)$ 之 Fourier transform 為 $H(f)$，則 $h(-t)$之 Fourier transform 為 $H^*(f)$：
=================
Proof
由Fourier transform 定義
\[H\left( f \right) = \int_{ - \infty }^\infty  {h(\tau ){e^{ - j2\pi f\tau }}d\tau } \]現在對兩邊同取 complex conjugate可得
\[{H^*}\left( f \right) = {\left( {\int_{ - \infty }^\infty  {h(\tau ){e^{ - j2\pi f\tau }}d\tau } } \right)^*} = \int_{ - \infty }^\infty  {{h^*}(\tau ){e^{j2\pi f\tau }}d\tau } \]又因為 LTI 系統脈衝響應 $h(t)$ 為 real function 故 $h^*(t) = h(t)$ 我們可改寫上式
\[{H^*}\left( f \right) = \int_{ - \infty }^\infty  {h(\tau ){e^{j2\pi f\tau }}d\tau } \]做變數變換令 $\theta := - \tau$ 可得
\[{H^*}\left( f \right) = \int_{ - \infty }^\infty  {h(\tau ){e^{j2\pi f\tau }}d\tau }  = \int_{ - \infty }^\infty  {h( - \theta ){e^{ - j2\pi f\theta }}d\theta }  = H\left( { - f} \right)\]亦即 $h(-t)$之 Fourier transform 為 $H(-f) = H^*(f)$。 $\square$。

[系統理論] (弱)平穩隨機過程特性 與 線性非時變系統 (1) -Time domain property

以下將專注在幾類比較特別的隨機過程，首先是嚴格平穩過程(也就是這一類的 隨機過程 可被稱為 "嚴格平穩")

============================
Definition: (Stationary Processes)
嚴格平穩過程 (Strict-sense stationary (SSS) or Strictly stationary process)
1. 隨機過程 $X_t$ 被稱為 nth-order strictly stationary 若下列條件成立：
給定任意 $n$ 個 時間集合 $\{t_1, ..., t_n \}$ 與時間平移量 $\Delta t$， 其對應的  $X_{t1 + \Delta t}, ..., X_{t_n + \Delta t}$ 之 聯合機率分布(joint probabilities) 與其 時間平移量 $\Delta t$ 無關。亦即 對任意 $n$ 維 集合 $B$，
\[
P((X_{t_1 + \Delta t},...,X_{t_n + \Delta t}) \in B)
\]與 $\Delta t$無關。

2. 考慮一隨機過程 $X_t$，若其對任意 正有限整數 $n$ ，都為 n-th order strictly stationary，則我們稱此隨機過程為 strictly stationary。
==============================
Comment:
1.  "平穩 (stationary)" 一詞 概念上表示 對抗 時間平移的能力也就是 Time invariant 的能力。

2. 若隨機過程為 1st-order strictly stationary，則對任意 $t_1$，其對應於 $P(X_{t_1 + \Delta t})$ 與時間平移量 $\Delta t$ 無關，(亦即其機率分布與 $P(X_{t_1})$ 相等 )

3. Strict stationary 是一個非常強的條件。e.g., 如 comment 1，1st-order strictly stationary 由於要求對任意 $t$ 與 $\Delta t$ 機率分布都相同，故期望值必定也要相同，且取函數之後的期望值亦同，亦即我們有以下結果：
對任意函數 $g(x)$，期望值 $E[g(X_{t_1})] = E[g(X_{t_1 + \Delta t})] $

也就是說 對 1st-order strictly stationary 而言，對任意函數 $g(x)$上式期望值都要成立。可想而知，光要求對任意"函數" 就是非常嚴苛的條件，故我們以下將會介紹一個較弱的 stationary 想法 (只對 $E[X_t]$ 與 $E[X_{t_1}X_{t_2}]$ 有要求 (不需要要求對任意函數"$g(x)$"))：

===========================
Definition: 廣義平穩 or 弱平穩過程 (Wide-sense stationary (WSS) or weakly stationary process)
隨機過程 $X_t$ 被稱為 Wide-sense stationary (WSS)若下列條件成立：
1. 其 mean function, $E[X_t]$ 與時間 $t$ 無關 (i.e., $E[X_t]$ 為 constant)
2. 其 auto-correlation function, $ E[X_{t_1}X_{t_2}]$ 只與 $t_1 - t_2$ 有關。亦即
\[
E[X_{t_1}X_{t_2}] = R_X(t_1 - t_2)
\]其中 $R_X(\cdot)$ 表 $X_t$ 的 autocorrelation function
============================

Comment:
WSS 過程 $\nRightarrow$ Strictly stationary。( 特例: 若 WSS 過程 為 Gaussian process，則其必為 stirctly stationary。)


現在我們看幾個 平穩過程的例子

---------------
Example 1
令 $Z$ 為任意隨機變數，且對任意時間 $t$，令 $ X_t := Z$。試判斷此 $X_t$ 是否為 strictly stationary。
---------------

Proof
首先觀察 $Z$ 為與時間無關的隨機變數，故由 strictly stationary 定義：給定 $n$ 為有限任意正整數，且令 $B$ 為 n 維 集合，則其 time shfited joint probability
\[P(({X_{{t_1} + \Delta t}},...,{X_{{t_n} + \Delta t}}) \in B) = P((Z,...,Z) \in B) \ \ \ \ (*)
\]上式成立由於 $X_t$ 定義 : (對任意時間 $t$，令 $ X_t := Z$ $\Rightarrow X_{t + \Delta t} = Z$)。觀察 $(*)$ 式可發現其確實與時間平移的量無關。故 $X_t$ 為 strictly stationary。$\square$

---------------
Example 2 (Correlation function is even)
回憶 WSS 隨機過程的 autocorrelation 條件：
\[
E[X_{t_1}X_{t_2}] := R_X(t_1 - t_2)
\]現在我們讓 $t_1 : = t+\tau $ 且 $t_2 = t$，則我們有單變數的autocorelation ( univariate autocorrelation function)
\[
R_X(\tau) := E[X_{t + \tau} X_t]
\]試證此 univariate autocorrelation function $R_X(\tau)$ 為 even function。
---------------

Proof
回憶 even function 的定義: $\forall \tau,$ $R_x(\tau) = x(-\tau)$
故給定 $\tau$，現在觀察
\[{R_X}(\tau ): = E[{X_{t + \tau }}{X_t}] = E[{X_t}{X_{t + \tau }}]
\]上式透過期望值乘法交換性，接著我們由 atuocorrelation function 的定義 可推知上式為
\[E[{X_t}{X_{t + \tau }}] = {R_X}\left( {t - \left( {t + \tau } \right)} \right) = {R_X}\left( { - \tau } \right)\]亦即 univariate autocorrelation function $R_X(\tau)$ 確實為 even function。$\square$

---------------
Example 3 (Delayed WSS process is WSS)
令 $X_t$ 為 WSS 隨機過程，且 mean function $E[X_t] =0$, autocorrelation function 為 $R_X(\tau)$。現考慮一 延遲的隨機過程 $Y_t := X_{t - t_0}$。試證此 $Y_t$ 為 WSS 隨機過程。
---------------

Proof
欲證 $Y_t $ 為WSS 我們必須證明兩個性質：
1. $E[Y_t] $ 與時間 $t$ 無關
2. $E[Y_{t_1}Y_{t_2}]$ 只與 $t_1 - t_2$ 有關

現在我們先證 1. 我們寫下 $E[Y_t] = E[X_{t-t_0}]$。因為 $X_t$ 為 WSS 隨機過程，且 $E[X_t] = E[X_{t + t_0}] =0$。亦即我們有
\[
E[Y_t] =0
\]接著我們證明 2.
\[\begin{array}{l}
E[{Y_{{t_1}}}{Y_{{t_2}}}] = E[{X_{{t_1} + {t_0}}}{X_{{t_2} + {t_0}}}]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {R_X}\left( {\left( {{t_1} + {t_0}} \right) - \left( {{t_2} + {t_0}} \right)} \right) = {R_X}\left( {{t_1} - {t_2}} \right) \ \ \  \ (*)
\end{array}\] 亦即，$Y_t$ 為 WSS 隨機過程。

注意到事實上 $E[Y_{t_1}Y_{t_2}] = R_X(\tau)$。因為  $X_t$ 為 WSS 隨機過程且其 autocorrelation function 為 $ R_X(\tau)$，故不失一般性的情況下我們可令 $t_1 := t + \tau$, $t_2 = t$ 則 $(*)$變為
\[\begin{array}{l}
E[{Y_{{t_1}}}{Y_{{t_2}}}] = E[{X_{{t_1} + {t_0}}}{X_{{t_2} + {t_0}}}]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = E[{X_{t + \tau  + {t_0}}}{X_{t + {t_0}}}]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {R_X}\left( {\left( {t + \tau  + {t_0}} \right) - \left( {t + {t_0}} \right)} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {R_X}\left( \tau  \right). \ \ \ \  \square
\end{array}\]

WSS processes through LTI systems
現在我們考慮一個 WSS的隨機過程 $X_t$ ，且讓此 $X_t$ 作為 LTI system 的輸入時，我們想知道 輸出 $Y_t $ 會有甚麼特性。

由系統理論我們知道 當 系統為 LTI ，則輸出 $Y_t$ 為 輸入 $X_t$ 之間的關係為 Convolution integral：
\[
{Y_t} = \int_{ - \infty }^\infty  h (t - \tau ){X_\tau }d\tau  = \int_{ - \infty }^\infty  h (\tau ){X_{t - \tau }}d\tau
\]除了 convolution 之外，我們還有下面重要結果：

========================
Theorem: (WSS signal is preserved by LTI system)
考慮輸入 $X_t$ 為 WSS 隨機過程，且考慮穩定的 LTI 系統 具有脈衝響應 $h(t)$ 則輸出 $Y_t$ 為 與 $h(t)$ 做 convolution：
\[
{Y_t} = \int_{ - \infty }^\infty  h (t - \tau ){X_\tau }d\tau  = \int_{ - \infty }^\infty  h (\tau ){X_{t - \tau }}d\tau
\]且輸出 $Y_t$ 仍為 WSS 隨機過程。
========================
Proof
我們現在證明 $Y_t$ 仍為 WSS 隨機過程，亦即要證明
1. mean function, $E[Y_t]$ 與時間無關
2. correlation function, $E[Y_{t_1}Y_{t_2}]$ 只與 $t_1 - t_2$有關

我們先證 mean function 性質
\[E\left[ {{Y_t}} \right] = E\left[ {\int_{ - \infty }^\infty  h (t - \tau ){X_\tau }d\tau } \right] = E\left[ {\int_{ - \infty }^\infty  h (\tau ){X_{t - \tau }}d\tau } \right]\]我們可改寫
\[E\left[ {{Y_t}} \right] = \int_{ - \infty }^\infty  {E\left[ {h(\tau ){X_{t - \tau }}} \right]} d\tau
\]注意到上式我們使用了積分與期望值對調：此法可由下面將積分寫成 Rieman sum 近似而得 (或者讀者可使用 Fuibini's theorem )故
\[E\left[ {{Y_t}} \right] = \int_{ - \infty }^\infty  {E\left[ {h(\tau ){X_{t - \tau }}} \right]} d\tau  = \int_{ - \infty }^\infty  h (\tau )E\left[ {{X_{t - \tau }}} \right]d\tau
\]由於 $X_t$ 為 WSS，故 $E[X_t] $ 與時間無關，亦即存在一常數 $m$ 使得
\[
E[X_t] = m
\]故
\[E\left[ {{Y_t}} \right] = \int_{ - \infty }^\infty  h (\tau )E\left[ {{X_{t - \tau }}} \right]d\tau  = m\int_{ - \infty }^\infty  h (\tau )d\tau \]亦即與時間 $t$ 無關。

現在我們計算 auto-correlation function $E[Y_{t_1}Y_{t_2}]$，用相同近似方法將積分與 期望值互換順序。
\[\begin{array}{l}
E[{Y_{{t_1}}}{Y_{{t_2}}}] = E\left[ {\int_{ - \infty }^\infty  h (\tau ){X_{{t_1} - \tau }}d\tau \int_{ - \infty }^\infty  h (\theta ){X_{{t_2} - \theta }}d\theta } \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = E\left[ {\int_{ - \infty }^\infty  h (\tau )\left( {\int_{ - \infty }^\infty  h (\theta ){X_{{t_1} - \tau }}{X_{{t_2} - \theta }}d\theta } \right)d\tau } \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  h (\tau )\left( {\int_{ - \infty }^\infty  h (\theta )E\left[ {{X_{{t_1} - \tau }}{X_{{t_2} - \theta }}} \right]d\theta } \right)d\tau \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  h (\tau )\left( {\int_{ - \infty }^\infty  h (\theta ){R_X}\left( {\left( {{t_1} - \tau } \right) - \left( {{t_2} - \theta } \right)} \right)d\theta } \right)d\tau \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  h (\tau )\left( {\int_{ - \infty }^\infty  h (\theta ){R_X}\left( {\left( {{t_1} - {t_2}} \right) - \left( {\tau  - \theta } \right)} \right)d\theta } \right)d\tau
\end{array}\]上式顯示 $E[Y_{t_1}Y_{t_2}]$ 只與 $t_1 - t_2$ 有關。
故 若 $X_t$ 為 WSS訊號 輸入 LTI 系統，則其輸出 $Y_t$ 亦為 WSS。$\square$

Comment:
回憶對於 確定訊號作為輸入的 LTI 系統，我們有 Fourier transform 作為工具幫助我們分析。現在由於輸入訊號變為隨機過程，但並無對隨機訊號做出定義的 Fourier tranform，不過所幸，注意到若輸入為 WSS 隨機過程，則我們可針對其 correlation function 做 Fourier transform。所得的結果稱為 spectrum analysis。