[隨機過程] Wiener Integral (2) - arbitrary function

回憶先前我們曾定義對於 (nonrandom) simple function 的 Wiener integral，亦即對時間 $t$ 做有限個數區間內做分割 且對 $t_i < t \le t_{i+1}$， $g(\tau) = g_i$，反之則 $g(\tau) = 0$。

則我們定義 Wiener integral 為
\[\int_0^\infty  {g\left( \tau  \right)d{W_\tau }} : = \sum\limits_i^{} {{g_i}\left( {{W_{{t_{i + 1}}}} - {W_{{t_i}}}} \right)}
\]且由於此積分為對一組 independent, zero mean Gaussian random variable 做 summation，故此積分必為 zero mean Gaussian random variable 且 variance 為
\[E\left[ {{{\left( {\int_0^\infty  {g\left( \tau  \right)d{W_\tau }} } \right)}^2}} \right] = {\sigma ^2}\sum\limits_i^{} {{g_i}^2\left( {{t_{i + 1}} - {t_i}} \right)}  = {\sigma ^2}\int_0^\infty  {{g^2}\left( \tau  \right)d\tau } \]

現在我們要拓展 Wiener integral 到對任意函數 $g$ 。為了拓展到更廣的函數 $g$ 需要一些限制，我們要求 $g$ 必須滿足平方可積條件亦即
\[
\int_0^\infty g^2(\tau) d\tau < \infty
\]
現在我們看個結果：
===================
FACT: (Dense property) 若 $g$ 為平方可積 (亦即 $\int_0^\infty g^2(\tau) d\tau < \infty$)，則必定存在一 piecewise-constant 函數 sequence $g_n$ 且此 $g_n \rightarrow g$ in $L^2$
\[\mathop {\lim }\limits_{n \to \infty } \int_0^\infty  {{{\left| {{g_n}\left( \tau  \right) - g\left( \tau  \right)} \right|}^2}d\tau }  = 0 \ \ \ \ (*)
\]===================
Proof: omitted.

現在我們回憶 函數的 $L^2$-norm：
\[\left\| g \right\|_2^2: = \int_0^\infty  {{g^2}\left( \tau  \right)d\tau } \]那麼對於上述 FACT的式 $(*)$ 而言，事實上我們有
\[
\lim_{n \rightarrow \infty}||g_n - g||_2^2 =0
\]另外，由於 $g_n$ 為收斂到 $g$ 的 piecewise-constant 函數 sequence，且我們知道收斂 sequence 必為 Cauchy sequence。故存在一夠大的 $N>0$ 使得 $n,m \ge N$，
\[
||g_n - g_m||_2^2 \rightarrow 0
\]故我們知道 $g_n$ 為 Cauchy，且由於 $g_n$ 為 nonrandom simple function (piecewise-constant 函數)，故我們可以利用之前對 piecewise-constant 的定義建構 Wiener integral。故令隨機變數 $Y_n$ 定為 Wiener integral
\[
Y_n := \int_0^\infty g_n(\tau) dW_{\tau}
\]其中 $g_n$ 為 piecewise-constant function 。由之前討論可知 $Y_n$ 為 zero mean 的 Gaussian 隨機變數且 variance 為
\[{\sigma ^2}\int_0^\infty  {{g^2}\left( \tau  \right)d\tau }
\]現在我們觀察
\[\begin{array}{l}
\left\| {{Y_n} - {Y_m}} \right\|_2^2: = {\rm{E}}\left[ {{{\left| {{Y_n} - {Y_m}} \right|}^2}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = {\rm{E}}\left[ {{{\left| {\int_0^\infty  {{g_n}} (\tau )d{W_\tau } - \int_0^\infty  {{g_m}} (\tau )d{W_\tau }} \right|}^2}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = {\rm{E}}\left[ {{{\left| {\int_0^\infty  {\left[ {{g_n}(\tau ) - {g_m}(\tau )} \right]} d{W_\tau }} \right|}^2}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = {\sigma ^2}\underbrace {\int_0^\infty  {{{\left[ {{g_n}(\tau ) - {g_m}(\tau )} \right]}^2}} d\tau }_{: = \left\| {{g_n}(\tau ) - {g_m}(\tau )} \right\|_2^2}
\end{array}\]故我們有
\[\left\| {{Y_n} - {Y_m}} \right\|_2^2 = {\sigma ^2}\left\| {{g_n}(\tau ) - {g_m}(\tau )} \right\|_2^2\]又因為$g_n$ 為 Cauchy，故 $Y_n$ 亦為 Cauchy，由 $L^2$ 為 complete，可知必存在一個隨機變數 $Y \in L^2$ 使得 $||Y_n - Y||_2 \rightarrow 0$。故此我們定義此隨機變數為
\[
Y:= \int_0^\infty g(\tau) dW_{\tau}
\]並稱其為對任意函數 $g$ 的 Wiener integral。

[隨機過程] 隨機變數 的 賦範向量空間 (Normed Vector Space of random variables)

在分析中，有幾類重要的 函數空間 經常在實際問題中被使用，以下我們給出 隨機變數 (可測函數) 的  $L^p$ 空間之定義 ：

=====================
Definition: $L^p$ Space of Random Variable
令 $0<p<\infty$，我們稱 $L^p$ space 為由所有隨機變數 $X$ 所組成的集合且滿足 $
E[|X|^p] < \infty $ 所成的集合，亦即
\[
L^p := \{X: E[|X|^p] < \infty \}
\] 且對任意 $X \in L^p$，我們定義其上的 norm 為
\[
||X||_p := E[|X|^p]^{1/p}
\]=====================

Comment:

1. 上述提及的 $|| \cdot ||_p$ 為 $L^p$ space 的 norm 且滿足下列三個條件

1. $||X||_p \ge 0$, 且 $||X||_p =0 \Rightarrow X$ 為 零 隨機變數 (亦即 機率 $P(X = 0) \; \text{almost surely}$)
2. 對 $a \in \mathbb{R}$，$||aX|| = |a| \cdot ||X||$
3. 對任意 $X, Y \in L^p$，滿足三角不等式(triangle inequality)
   \[||X+Y||_p \le ||X||_p + ||Y||_p\] 

讀者可自行驗證我們 norm 的定法，亦即 $||X||_p := E[|X|^p]^{1/p}$ 確實滿足上述三個條件。(第三個條件可由 Minkowski's inequality 直接證得。)

2. $L^p$ space 是一個 function space 。


另外我們說 $L^p$ space 確實為一 向量空間。亦即可以在上面定義 向量加法 與 純量乘法 以及其線性組合：

=====================
Fact 1: $L^p$ space 為向量空間 (Vector space)
=====================

Proof:
由 Vector space 定義可知其為具有 加法 與乘法的集合且滿足線性組合規則。故給定 $X,Y \in L^p$ 且  $a,b \in \mathbb{R}$，我們需證明
\[
aX+bY \in L^p
\]亦即須證明 給定 $E[|X|^p]< \infty$ 與 $E[|Y|^p] < \infty$，須證明
\[
E[|aX + aY|^p]< \infty
\]利用 FACT: $|x + y |^p \le 2^p (|x|^p + |y|^p), 0<p<\infty$ 我們可得
\[\begin{array}{l}
E\left[ {|x + y{|^p}} \right] \le {2^p}{\rm{E}}\left[ {(|x{|^p} + |y{|^p})} \right]\\
 \Rightarrow E\left[ {|x + y{|^p}} \right] \le \underbrace {{2^p}}_{{\rm{ < }}\infty }\left( {\underbrace {{\rm{E}}\left[ {|x{|^p}} \right]}_{{\rm{ < }}\infty }{\rm{ + }}\underbrace {{\rm{E}}\left[ {|y{|^p}} \right]}_{{\rm{ < }}\infty }} \right){\rm{ < }}\infty
\end{array}\]故 $aX+bY \in L^p$ $\square$。

=====================

Definition: Convergence in L^p
我們稱 $X_n$ 收斂到 $X$ in mean of order p，記做
\[{X_n}\mathop  \to \limits^{{L^p}} X
\]若下列條件成立
\[
\lim_{n \rightarrow \infty}E[|X_n - X|^p]  =0
\]=====================


接著我們要介紹 $L^p$其上的 Cauchy sequence of random variable

=====================

Definition: Cauchy sequence of random variable in L^p
我們稱 $X_n \in L^p$ 為 一 隨機變數的 sequence 為 Cauchy，若滿足下列條件：
對任意 $\varepsilon >0$ 存在一個 $N>0$ 使得 $n,m \ge N$，我們有
\[
||X_n - X_m ||_p < \varepsilon
\]=====================


=====================
Fact: $L^p$ space 為完備空間( complete space)；亦即 任意 Cauchy sequence in $L^p$ 必定在 $L^p$ space 收斂。
=====================
Proof: omitted.

Comment:
1. 任意 complete normed vector space 我們稱為 巴拿赫空間( Banach space).

2. 我們特別有興趣的空間是 $p=2$ 的空間，此空間又稱為 $L^2$ space。此時 $L^2$ norm 可以表示成內積(inner product)的形式；亦即 若我們考慮兩隨機變數 $X,Y \in L^2$，則其 inner product 定為
\[
\left\langle {X,Y} \right\rangle : = E[XY]
\]若 $Y=X$ 則我們有
\[\begin{array}{l}
\left\langle {X,X} \right\rangle : = E[{X^2}] = \left\| X \right\|_2^2\\
 \Rightarrow \left\| X \right\|_2^{} = {\left\langle {X,X} \right\rangle ^{1/2}}
\end{array}\]由於 上述 norm 可由 inner product 推得，故我們又稱 $L^2$ space 為一個 inner product space。

3.  一個 完備 內積空間 (Complete inner-product space) 稱為 希爾伯特空間( Hilbert space)


下面我們看個例子：
Example
考慮 $\{ X_k \}$ 為$L^2$ space 的隨機變數 sequence，現在設  $\sum_{k=1}^\infty |h_k| < \infty$ 且 對任意 $k$， $E[|X_k|^2] \le B$，試證
\[
\sum_{k=1}^\infty h_k X_k \in L^2
\]Proof
首先觀察 partial sum
\[{Y_n}: = \sum\limits_{k = 1}^n {{h_k}} {X_k}
\]想法：
由於 $L^2$ 為 complete space，故我們如果可以證明 $Y_n$ 為 Cauchy，則必存在一個 ranodm variable $Y$ 使得 $Y_n \rightarrow Y \in L^2$那麼我們便可稱此 $Y$ 為我們 partial sum 的 mean square limit $=\sum_{k=1}^\infty h_k X_k \in L^2$。

故現在令 $n > m$ 且觀察
\[{Y_n} - {Y_m} = \sum\limits_{k = 1}^n {{h_k}} {X_k} - \sum\limits_{k = 1}^m {{h_k}} {X_k} = \sum\limits_{k = m + 1}^n {{h_k}} {X_k}
\]欲證明為 Cauchy，則必須要讓 $||Y_n - Y_m||_2 \rightarrow 0$。故我們觀察其 $L^2$ norm：
\[\begin{array}{l}
\left\| {{Y_n} - {Y_m}} \right\|_2^2 = E\left[ {{{\left| {\sum\limits_{k = m + 1}^n {{h_k}} {X_k}} \right|}^2}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = E\left[ {\sum\limits_{k = m + 1}^n {{h_k}} {X_k}\sum\limits_{j = m + 1}^n {{h_j}} {X_j}} \right] = \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {{h_k}{h_j}E\left[ {{X_k}{X_j}} \right]} } \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|\left| {E\left[ {{X_k}{X_j}} \right]} \right|} }
\end{array}\]由 Cauchy-Schwarz inequality $|E[XY]|^2 \le E[X^2] E[Y^2]$ 我們可改寫上式
 \[\begin{array}{l}
\left\| {{Y_n} - {Y_m}} \right\|_2^2 \le \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|\left| {E\left[ {{X_k}{X_j}} \right]} \right|} } \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|\sqrt {E[{X_k}^2]E[{X_j}^2]} } }
\end{array}\]又由假設可知 對任意 $k$， $E[|X_k|^2] \le B$，故我們有
\[\begin{array}{l}
\left\| {{Y_n} - {Y_m}} \right\|_2^2 \le \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|\sqrt {E[{X_k}^2]E[{X_j}^2]} } } \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} \le B\sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|} }  = B{\left( {\sum\limits_{k = m + 1}^n {\left| {{h_k}} \right|} } \right)^2}
\end{array}\]現在我們再由假設  $\sum_{k=1}^\infty |h_k| < \infty$  可知必存在一個數 $A_n$ 使得 $\sum_{k=1}^\infty |h_k|  = A_n < \infty$ 且當 $m \rightarrow \infty$，此數 $A_n$ 亦必須收斂，也就是說 $A_n \rightarrow A < \infty$ 故我們可寫成下式
\[\sum\limits_{k = 1}^\infty  | {h_k}| = {A_n} \Rightarrow \underbrace {\sum\limits_{k = 1}^m | {h_k}|}_{part1} + \underbrace {\sum\limits_{k = m + 1}^\infty  | {h_k}|}_{part2} = {A_n}\]現在若讓 $m \rightarrow \infty$ 則上式中 part 1 必定收斂到 $A$ 故 part 2 必定要收斂到 $0$。亦即
\[\left\| {{Y_n} - {Y_m}} \right\|_2^2 \le B{\left( {\sum\limits_{k = m + 1}^n {\left| {{h_k}} \right|} } \right)^2} \to 0\]故 $Y_n$ 為 Cauchy sequence in $L^2$。現在由 $L^2$ 的完備性，任意 Cauchy sequence 都會在 $L^2$ space 收斂，故我們稱其 $Y_n$ 對應的收斂點為 $Y:= \sum_{k=1}^\infty h_k X_k \in L^2$。至此證畢。$\square$

接著我們看一個 FACT: convergence in $L^p$ $\Rightarrow $ 積分與極限可以互換次序
===================
Fact 2: 若隨機變數的 sequence $Y_n$ 收斂到 $Y$ in $L^p$，則
\[\mathop {\lim }\limits_{n \to \infty } E[{Y_n}] = E[\mathop {\lim }\limits_{n \to \infty } {Y_n}] = E[Y]
\]===================
Proof
我們要證明  $\mathop {\lim }\limits_{n \to \infty } E[{Y_n}] = E[Y]$，亦即要證明
\[\mathop {\lim }\limits_{n \to \infty } \left| {E[{Y_n}] - E[Y]} \right| = 0\]
首先觀察
\[\left| {E[{Y_n}] - E[Y]} \right| = \left| {E[Y_n - {Y}]} \right| \le E\left[ {\left| {Y_n - {Y}} \right|} \right]\]且由假設可知 ${Y_n}\mathop  \to \limits^{{L^p}} Y \Leftrightarrow \mathop {\lim }\limits_{n \to \infty } E[{\left| {{Y_n} - Y} \right|^p}] = 0$  對 $0<p<\infty$故取 $p=1$ 我們有
\[\mathop {\lim }\limits_{n \to \infty } E\left[ {\left| {Y_n - {Y}} \right|} \right] = 0 \Rightarrow \mathop {\lim }\limits_{n \to \infty } E[{Y_n}] = E[Y] \ \ \ \ \square
\]

現在回憶之前的 Example (基於一些假設之下 $\sum_{k=1}^\infty |h_k| < \infty$ 且 對任意 $k$， $E[|X_k|^2] \le B$，)，我們知道
\[\sum\limits_{k = 1}^n {{h_k}{X_k}\mathop  \to \limits^{{L^2}} } \sum\limits_{k = 1}^\infty  {{h_k}{X_k}} \]由 Fact 2 可知
\[\sum\limits_{k = 1}^n {{h_k}{X_k}\mathop  \to \limits^{{L^2}} } \sum\limits_{k = 1}^\infty  {{h_k}{X_k}}  \Rightarrow \mathop {\lim }\limits_{n \to \infty } E\left[ {\sum\limits_{k = 1}^n {{h_k}{X_k}} } \right] = E\left[ {\sum\limits_{k = 1}^\infty  {{h_k}{X_k}} } \right]
\]又注意到
\[\mathop {\lim }\limits_{n \to \infty } E\left[ {\sum\limits_{k = 1}^n {{h_k}{X_k}} } \right] = \mathop {\lim }\limits_{n \to \infty } \sum\limits_{k = 1}^n {E\left[ {{h_k}{X_k}} \right]} : = \sum\limits_{k = 1}^\infty  {E\left[ {{h_k}{X_k}} \right]} \]故我們有
\[\sum\limits_{k = 1}^\infty  {E\left[ {{h_k}{X_k}} \right]}  = E\left[ {\sum\limits_{k = 1}^\infty  {{h_k}{X_k}} } \right]\]亦即 期望值與 infinite summation 可以互換次序。

[隨機過程] Wiener Integral (1) - simple function

在介紹之前，建議讀者須具備 Brownian motion (or Wiener process)的基本定義與相關性質。

事實上，Brownian motion $W_t$ 的行為可被視為是對 White noise 隨機過程 積分；也就是說 如果我們令 $X_t$ 為一 White noise 隨機過程 ，則 Brownian motion 可視為是 將此 White noise 送入 一組 積分器 (integrator) ，且其對應的輸出隨機過程 $Y_t$可表示成
\[
Y_t := \int_0^t X_{\tau} d\tau = W_t
\]

Comment:
1. White noise 為( Wide-sense stationary, WSS )隨機過程
2. WSS 隨機過程訊號輸入 LTI系統 必得到輸出亦為 WSS，且輸入輸出互為 Jointly-WSS。關ˊ於 jointly-WSS 的部分有興趣的讀者請參閱：[系統理論] (弱)平穩隨機過程特性 與 線性非時變系統 (2)- Jointly wide-sense stationary and Frequency domain property

現在如果將 White noise 送入一個具有脈衝響應為 $h(t)$的 relaxed LTI 系統 (relaxed 意指在初始時間為 $0$之前系統為靜止狀態 )，那麼其輸出仍可寫為 convolution integral 形式如下：
\[\int_0^\infty  {h\left( {t - \tau } \right){X_\tau }} d\tau  = \int_0^\infty  {h\left( \tau  \right){X_{t - \tau }}} d\tau \]或者我們令 $g(\tau) := h(t- \tau)$可改寫上式如下
\[\int_0^\infty  {g\left( \tau  \right){X_\tau }} d\tau  \ \ \ \ (*)
\]那麼上述對 "White noise" 的積分是否可以定義??

現在我們令 $g(\tau)$ 為在 (被分割 partitioned)區間 $(t_i, t_{i+1}]$上取值為 $g_i$ 的分段常數(piecewise constant) 或稱為 simple function：
\[g(\tau ): = \sum\limits_{i = 1}^n {{{\rm{g}}_i}{1_{\left( {{t_i},{t_{i + 1}}} \right]}}\left( \tau  \right)} \]其中 $1(\cdot)$為 indicator function。
則我們可以將 $(*)$ 改寫為
\[\begin{array}{*{20}{l}}
{\int_0^\infty  {g\left( \tau  \right){X_\tau }} d\tau  = \int_0^\infty  {\sum\limits_{i = 1}^n {{{\rm{g}}_i}{1_{\left( {{t_i},{t_{i + 1}}} \right]}}\left( \tau  \right)} {X_\tau }} d\tau }\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{i = 1}^n {{{\rm{g}}_i}\int_0^\infty  {{1_{\left( {{t_i},{t_{i + 1}}} \right]}}\left( \tau  \right)} {X_\tau }} d\tau }\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{i = 1}^n {{g_i}\int_{{t_i}}^{{t_{i + 1}}} {{X_\tau }} d\tau } }\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{i = 1}^n {{g_i}\left( {\int_0^{{t_{i + 1}}} {{X_\tau }} d\tau  - \int_0^{{t_i}} {{X_\tau }} d\tau } \right)} : = \sum\limits_{i=1}^{n} {{g_i}\left( {{W_{{t_{i+1}} }} - {W_{{t_i}}}} \right)} }
\end{array}\]其中 $W_t$ 為 Wiener process 或稱 Brownian motion。


故我們定義 Wiener integral 如下
============================
Definition: Wiener Integral for piecewise constant function
對一個 piecewise constant 函數 $g(\tau)$，其 Wiener integral 定義為
\[
\int_0^\infty g(\tau) dW_\tau := \sum_{i=1}^n g_i (W_{t_{i+1}} - W_{t_i})
\]============================

注意到上式定義中，等號右方為 加總(summation ) 一組 互相獨立 且 zero mean 的 Gaussian 隨機變數。故此 summation 之後亦必仍為 Gaussian 隨機變數 且其 mean 為 $0$ ， variance 為
\[\begin{array}{l}
E\left[ {{{\left( {\int_0^\infty  g (\tau )d{W_\tau }} \right)}^2}} \right] = E\left[ {{{\left( {\sum\limits_{i = 1}^n {{g_i}} ({W_{{t_{i + 1}}}} - {W_{{t_i}}})} \right)}^2}} \right]\\
 = E\left[ {\sum\limits_{i = 1}^n {{g_i}^2} {{({W_{{t_{i + 1}}}} - {W_{{t_i}}})}^2} + \sum\limits_{i = 1}^n {{g_i}} ({W_{{t_{i + 1}}}} - {W_{{t_i}}})\sum\limits_{j = 1}^n {{g_j}} ({W_{{t_{j + 1}}}} - {W_{{t_j}}})} \right]\\
 = \underbrace {E\left[ {\sum\limits_{i = 1}^n {{g_i}^2} {{({W_{{t_{i + 1}}}} - {W_{{t_i}}})}^2}} \right]}_{for\begin{array}{*{20}{c}}
{}
\end{array}i = j} + \underbrace {E\left[ {\sum\limits_{i = 1}^n {{g_i}} ({W_{{t_{i + 1}}}} - {W_{{t_i}}})\sum\limits_{j = 1}^n {{g_j}} ({W_{{t_{j + 1}}}} - {W_{{t_j}}})} \right]}_{for\begin{array}{*{20}{c}}
{}
\end{array}i \ne j}\\
 = \sum\limits_{i = 1}^n {{g_i}^2} E\left[ {{{({W_{{t_{i + 1}}}} - {W_{{t_i}}})}^2}} \right] + \sum\limits_{i = 1}^n {{g_i}} \sum\limits_{j = 1}^n {{g_j}} E\left[ {({W_{{t_{i + 1}}}} - {W_{{t_i}}})({W_{{t_{j + 1}}}} - {W_{{t_j}}})} \right]\\
 = \sum\limits_{i = 1}^n {{g_i}^2} {\sigma ^2}\left( {{t_{i + 1}} - {t_i}} \right) + \underbrace {\sum\limits_{i = 1}^n {{g_i}} \sum\limits_{j = 1}^n {{g_j}} E\left[ {{W_{{t_{i + 1}}}} - {W_{{t_i}}}} \right]E\left[ {{W_{{t_{j + 1}}}} - {W_{{t_j}}}} \right]}_{ = 0}\\
 = \sum\limits_{i = 1}^n {{g_i}^2} {\sigma ^2}\left( {{t_{i + 1}} - {t_i}} \right) = \int_0^\infty  {{g^2}} (\tau )d\tau
\end{array}\]故我們得到
\[E\left[ {{{\left( {\int_0^\infty  g (\tau )d{W_\tau }} \right)}^2}} \right] = \int_0^\infty  {{g^2}} (\tau )d\tau \]

Comment:
1. 對於 $g(\tau)$ 不再是 piecewise constant，但若滿足平方可積條件
\[
\int_0^\infty g(\tau)^2d\tau <\infty
\]則 Wiener integral 仍可透過取極限來定義。
2. \[E\left[ {{{\left( {\int_0^\infty  g (\tau )d{W_\tau }} \right)}^2}} \right] = \int_0^\infty  {{g^2}} (\tau )d\tau \]又稱為 Ito isometry。
3. 若 Wiener integral 允許對隨機過程積分，如
\[
\int_0^\infty W_\tau d W_\tau, \;\; \int_0^\infty B_{\tau} d B_\tau
\]其中 $W_t$ (or $B_t$) 稱為 Wiener process 或者 Brownian motion。此種 積分稱為 Ito integral。有興趣讀者請參閱
[隨機分析] Ito Integral 淺談 (I) - Ito Integral 的建構與 Ito Isometry property

[系統理論] (弱)平穩隨機過程特性 與 線性非時變系統 (2)- Jointly wide-sense stationary and Frequency domain property

回憶對於 具有脈衝響應為 $h(t)$ 的 LTI 系統 而言，若輸入 $X_t$ 為 WSS 隨機過程，則輸出 $Y_t$ 必定也為一 WSS 隨機過程，且 $Y_t$ 與 $X_t$ 的輸入輸出關係為 convolution integral：
\[{Y_t} = \int_{ - \infty }^\infty  h (t - \tau ){X_\tau }d\tau  = \int_{ - \infty }^\infty  {{X_{t - \tau }}h} (\tau )d\tau
\]且其 輸出隨機過程 $Y_t$ 的 mean function $m_Y(t)$ 與 autocorrelation function $R_Y(\tau)$為
\[\begin{array}{l}
{m_Y}\left( t\right) = E[{Y_t}] = E[\int_{ - \infty }^\infty  {{X_{t - \theta }}h} (\theta )d\theta ]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  {\underbrace {E[{X_{t - \theta }}]}_{ = {m_X}\left( {t - \theta } \right)}h} (\theta )d\theta \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  {{m_X}\left( {t - \theta } \right)h} (\theta )d\theta
\end{array}\]與
\[\begin{array}{l}
{R_Y}\left( \tau  \right) = E[{Y_{t + \tau }}{Y_t}]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E\left[ {\int_{ - \infty }^\infty  {{X_{t + \tau  - \beta }}h} (\beta )d\beta \int_{ - \infty }^\infty  {{X_{t - \theta }}h} (\theta )d\theta } \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E\left[ {\int_{ - \infty }^\infty  {\left( {\int_{ - \infty }^\infty  {{X_{t + \tau  - \beta }}h(\beta )} d\beta } \right){X_{t - \theta }}h(\theta )d\theta } } \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  {\left( {\int_{ - \infty }^\infty  {\underbrace {E[{X_{t + \tau  - \beta }}{X_{t - \theta }}]}_{ = {R_X}\left( {\left( {t + \tau  - \beta } \right) - \left( {t - \theta } \right)} \right)}} h(\beta )d\beta } \right)h(\theta )d\theta } \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  {\left( {\int_{ - \infty }^\infty  {{R_X}\left( {\tau  - \left( {\beta  - \theta } \right)} \right)} h(\beta )d\beta } \right)h(\theta )d\theta }  \ \ \ \ \ (*)
\end{array}\]

現在我們定義 jointly WSS 隨機過程
============================
Definition (Jointly wide-sense stationary, J-WSS)
考慮 $X_t$ 與 $Y_t$ 為兩 WSS 隨機過程，現給定任意兩時刻 $t_1, t_2$， 若其 cross-crorelation $E[X_{t_1}Y_{t_2}]$ 只與 $t_1 - t_2$ 有關，則我們稱 $X_t$ 與 $Y_t$ 為 Jointly wide-sense stationary。
============================

現在回憶 WSS隨機過程之 auto-correlation function 可以用單變數改寫，同樣的，J-WSS 的 $X_t$ 與 $Y_t$ 亦可改寫成單變數 univariate cross-correlation function ；亦即，令 $t_1 := t + \tau$ 且 $t_2 := t$ 則我們有
\[
R_{XY}(t_1 - t_2) = E[X_{t_1} Y_{t_2}] = E[X_{t+ \tau} Y_{t}] = R_{XY}(t+ \tau - t) = R_XY(\tau)
\]亦即 J-WSS 有 univariate cross-correlation function 定義如下：
\[
R_XY(\tau) := E[X_{t+\tau}Y_t]
\]

上述討論我們可知，若一個 WSS 隨機過程 輸入到 LTI 系統，則輸入與輸出為 J-WSS 且其 cross-correlation function 可寫為
\[\begin{array}{*{20}{l}}
{R_{XY}}\left( \tau  \right) = E\left[ {{X_{t + \tau }}{Y_t}} \right] = E\left[ {{X_{t + \tau }}\int_{ - \infty }^\infty  {{X_{t - \gamma }}h} (\gamma )d\gamma } \right]\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  {\underbrace {E[{X_{t + \tau }}{X_{t - \gamma }}]}_{ = {R_X}\left( {\left( {t + \tau } \right) - \left( {t - \gamma } \right)} \right)}h} (\gamma )d\gamma }\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  {{R_X}\left( {\tau  + \gamma } \right)h} (\gamma )d\gamma  \ \ \ \ \ \ (\star)}
\end{array}\] 上式已經非常接近 convolution 形式，但並非 convolution 形式；因為上式積分中的 integrand 為 $R_X(t+\gamma)h(\gamma)$ 但我們要的形式是 $R_X(t - \text{something})h(\text{something})$ ，故我們現在用變數變換：令 $\gamma := - \alpha$ 可得
\[ \Rightarrow {R_{XY}}\left( \tau  \right) = \int_{ - \infty }^\infty  {{R_X}\left( {\tau  - \alpha } \right)h} ( - \alpha )d\alpha \]此即具備 convolution 形式

另外觀察上式 $(\star)$ 與之前計算的 $Y_t$ 之auto-correlation function $(*)$ ：
\[{R_Y}\left( \tau  \right) = \int_{ - \infty }^\infty  {\underbrace {\left( {\int_{ - \infty }^\infty  {{R_X}\left( {\tau  - \left( {\beta  - \gamma } \right)} \right)} h(\beta )d\beta } \right)}_{ = {R_{XY}}\left( {\tau  - \beta } \right)}h(\gamma )d\gamma } \]亦即
\[{R_Y}\left( \tau  \right) = \int_{ - \infty }^\infty  {{R_{XY}}\left( {\tau  - \beta } \right)h(\gamma )d\gamma }  \]也就是說 $R_Y$ 為 $h$ 與 $R_{XY}$ 的 convolution。

現在我們將手邊結果總結如下 $(\star \star)$：
\[\left\{ \begin{array}{l}
{R_Y}\left( \tau  \right) = \int_{ - \infty }^\infty  {h(\gamma ){R_{XY}}\left( {\tau  - \beta } \right)d\gamma } \\
{R_{XY}}\left( \tau  \right) = \int_{ - \infty }^\infty  {h( - \alpha ){R_X}\left( {\tau  - \alpha } \right)} d\alpha
\end{array} \right.\]回憶之前我們曾定義對 correlation function 定義 Fourier transform 如下：
\[\begin{array}{l}
{S_X}\left( f \right): = \int_{ - \infty }^\infty  {{R_X}\left( \tau  \right){e^{ - j2\pi f\tau }}d\tau } \\
H\left( f \right): = \int_{ - \infty }^\infty  {h\left( \tau  \right){e^{ - j2\pi f\tau }}d\tau }
\end{array}\]且由 Fourier transform 的 multiplication property：時域convolution = 頻域相乘。故對 $(\star \star ) $ 取 Fourier transform 可得
\[\left\{ \begin{array}{l}
{R_Y}\left( \tau  \right) = \int_{ - \infty }^\infty  {h(\gamma ){R_{XY}}\left( {\tau  - \beta } \right)d\gamma } \\
{R_{XY}}\left( \tau  \right) = \int_{ - \infty }^\infty  {h( - \alpha ){R_X}\left( {\tau  - \alpha } \right)} d\alpha
\end{array} \right.\mathop  \Rightarrow \limits^{F\left\{ . \right\}} \left\{ \begin{array}{l}
{S_Y}\left( f \right) = H(f){S_{XY}}\left( f \right)\\
{S_{XY}}\left( \tau  \right) = {H^*}\left( f \right){S_X}\left( f \right)
\end{array} \right.\] (上述轉換用了一個FACT: $\cal{F}\{ h(-t) \}$ $= H^*(f)$ 我們會在後面給出證明)。

故輸入與輸出的頻域關係為
\[{S_Y}\left( f \right) = H(f){S_{XY}}\left( f \right) = H(f){H^*}\left( f \right){S_X}\left( f \right) = \left| {H\left( f \right)} \right|^2{S_X}\left( f \right)\]亦即
\[
S_Y(f) = |H(f)|^2 S_X(f)
\]

Comments:
1. $S_X(f)$ 稱為 power spectral density。 (nonnegative, real, and even function)
2. $S_{XY}(f)$ 稱為 cross power spectral density。

=================
FACT:
若 LTI 系統脈衝響應 $h(t)$ 之 Fourier transform 為 $H(f)$，則 $h(-t)$之 Fourier transform 為 $H^*(f)$：
=================
Proof
由Fourier transform 定義
\[H\left( f \right) = \int_{ - \infty }^\infty  {h(\tau ){e^{ - j2\pi f\tau }}d\tau } \]現在對兩邊同取 complex conjugate可得
\[{H^*}\left( f \right) = {\left( {\int_{ - \infty }^\infty  {h(\tau ){e^{ - j2\pi f\tau }}d\tau } } \right)^*} = \int_{ - \infty }^\infty  {{h^*}(\tau ){e^{j2\pi f\tau }}d\tau } \]又因為 LTI 系統脈衝響應 $h(t)$ 為 real function 故 $h^*(t) = h(t)$ 我們可改寫上式
\[{H^*}\left( f \right) = \int_{ - \infty }^\infty  {h(\tau ){e^{j2\pi f\tau }}d\tau } \]做變數變換令 $\theta := - \tau$ 可得
\[{H^*}\left( f \right) = \int_{ - \infty }^\infty  {h(\tau ){e^{j2\pi f\tau }}d\tau }  = \int_{ - \infty }^\infty  {h( - \theta ){e^{ - j2\pi f\theta }}d\theta }  = H\left( { - f} \right)\]亦即 $h(-t)$之 Fourier transform 為 $H(-f) = H^*(f)$。 $\square$。

[系統理論] (弱)平穩隨機過程特性 與 線性非時變系統 (1) -Time domain property

以下將專注在幾類比較特別的隨機過程，首先是嚴格平穩過程(也就是這一類的 隨機過程 可被稱為 "嚴格平穩")

============================
Definition: (Stationary Processes)
嚴格平穩過程 (Strict-sense stationary (SSS) or Strictly stationary process)
1. 隨機過程 $X_t$ 被稱為 nth-order strictly stationary 若下列條件成立：
給定任意 $n$ 個 時間集合 $\{t_1, ..., t_n \}$ 與時間平移量 $\Delta t$， 其對應的  $X_{t1 + \Delta t}, ..., X_{t_n + \Delta t}$ 之 聯合機率分布(joint probabilities) 與其 時間平移量 $\Delta t$ 無關。亦即 對任意 $n$ 維 集合 $B$，
\[
P((X_{t_1 + \Delta t},...,X_{t_n + \Delta t}) \in B)
\]與 $\Delta t$無關。

2. 考慮一隨機過程 $X_t$，若其對任意 正有限整數 $n$ ，都為 n-th order strictly stationary，則我們稱此隨機過程為 strictly stationary。
==============================
Comment:
1.  "平穩 (stationary)" 一詞 概念上表示 對抗 時間平移的能力也就是 Time invariant 的能力。

2. 若隨機過程為 1st-order strictly stationary，則對任意 $t_1$，其對應於 $P(X_{t_1 + \Delta t})$ 與時間平移量 $\Delta t$ 無關，(亦即其機率分布與 $P(X_{t_1})$ 相等 )

3. Strict stationary 是一個非常強的條件。e.g., 如 comment 1，1st-order strictly stationary 由於要求對任意 $t$ 與 $\Delta t$ 機率分布都相同，故期望值必定也要相同，且取函數之後的期望值亦同，亦即我們有以下結果：
對任意函數 $g(x)$，期望值 $E[g(X_{t_1})] = E[g(X_{t_1 + \Delta t})] $

也就是說 對 1st-order strictly stationary 而言，對任意函數 $g(x)$上式期望值都要成立。可想而知，光要求對任意"函數" 就是非常嚴苛的條件，故我們以下將會介紹一個較弱的 stationary 想法 (只對 $E[X_t]$ 與 $E[X_{t_1}X_{t_2}]$ 有要求 (不需要要求對任意函數"$g(x)$"))：

===========================
Definition: 廣義平穩 or 弱平穩過程 (Wide-sense stationary (WSS) or weakly stationary process)
隨機過程 $X_t$ 被稱為 Wide-sense stationary (WSS)若下列條件成立：
1. 其 mean function, $E[X_t]$ 與時間 $t$ 無關 (i.e., $E[X_t]$ 為 constant)
2. 其 auto-correlation function, $ E[X_{t_1}X_{t_2}]$ 只與 $t_1 - t_2$ 有關。亦即
\[
E[X_{t_1}X_{t_2}] = R_X(t_1 - t_2)
\]其中 $R_X(\cdot)$ 表 $X_t$ 的 autocorrelation function
============================

Comment:
WSS 過程 $\nRightarrow$ Strictly stationary。( 特例: 若 WSS 過程 為 Gaussian process，則其必為 stirctly stationary。)


現在我們看幾個 平穩過程的例子

---------------
Example 1
令 $Z$ 為任意隨機變數，且對任意時間 $t$，令 $ X_t := Z$。試判斷此 $X_t$ 是否為 strictly stationary。
---------------

Proof
首先觀察 $Z$ 為與時間無關的隨機變數，故由 strictly stationary 定義：給定 $n$ 為有限任意正整數，且令 $B$ 為 n 維 集合，則其 time shfited joint probability
\[P(({X_{{t_1} + \Delta t}},...,{X_{{t_n} + \Delta t}}) \in B) = P((Z,...,Z) \in B) \ \ \ \ (*)
\]上式成立由於 $X_t$ 定義 : (對任意時間 $t$，令 $ X_t := Z$ $\Rightarrow X_{t + \Delta t} = Z$)。觀察 $(*)$ 式可發現其確實與時間平移的量無關。故 $X_t$ 為 strictly stationary。$\square$

---------------
Example 2 (Correlation function is even)
回憶 WSS 隨機過程的 autocorrelation 條件：
\[
E[X_{t_1}X_{t_2}] := R_X(t_1 - t_2)
\]現在我們讓 $t_1 : = t+\tau $ 且 $t_2 = t$，則我們有單變數的autocorelation ( univariate autocorrelation function)
\[
R_X(\tau) := E[X_{t + \tau} X_t]
\]試證此 univariate autocorrelation function $R_X(\tau)$ 為 even function。
---------------

Proof
回憶 even function 的定義: $\forall \tau,$ $R_x(\tau) = x(-\tau)$
故給定 $\tau$，現在觀察
\[{R_X}(\tau ): = E[{X_{t + \tau }}{X_t}] = E[{X_t}{X_{t + \tau }}]
\]上式透過期望值乘法交換性，接著我們由 atuocorrelation function 的定義 可推知上式為
\[E[{X_t}{X_{t + \tau }}] = {R_X}\left( {t - \left( {t + \tau } \right)} \right) = {R_X}\left( { - \tau } \right)\]亦即 univariate autocorrelation function $R_X(\tau)$ 確實為 even function。$\square$

---------------
Example 3 (Delayed WSS process is WSS)
令 $X_t$ 為 WSS 隨機過程，且 mean function $E[X_t] =0$, autocorrelation function 為 $R_X(\tau)$。現考慮一 延遲的隨機過程 $Y_t := X_{t - t_0}$。試證此 $Y_t$ 為 WSS 隨機過程。
---------------

Proof
欲證 $Y_t $ 為WSS 我們必須證明兩個性質：
1. $E[Y_t] $ 與時間 $t$ 無關
2. $E[Y_{t_1}Y_{t_2}]$ 只與 $t_1 - t_2$ 有關

現在我們先證 1. 我們寫下 $E[Y_t] = E[X_{t-t_0}]$。因為 $X_t$ 為 WSS 隨機過程，且 $E[X_t] = E[X_{t + t_0}] =0$。亦即我們有
\[
E[Y_t] =0
\]接著我們證明 2.
\[\begin{array}{l}
E[{Y_{{t_1}}}{Y_{{t_2}}}] = E[{X_{{t_1} + {t_0}}}{X_{{t_2} + {t_0}}}]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {R_X}\left( {\left( {{t_1} + {t_0}} \right) - \left( {{t_2} + {t_0}} \right)} \right) = {R_X}\left( {{t_1} - {t_2}} \right) \ \ \  \ (*)
\end{array}\] 亦即，$Y_t$ 為 WSS 隨機過程。

注意到事實上 $E[Y_{t_1}Y_{t_2}] = R_X(\tau)$。因為  $X_t$ 為 WSS 隨機過程且其 autocorrelation function 為 $ R_X(\tau)$，故不失一般性的情況下我們可令 $t_1 := t + \tau$, $t_2 = t$ 則 $(*)$變為
\[\begin{array}{l}
E[{Y_{{t_1}}}{Y_{{t_2}}}] = E[{X_{{t_1} + {t_0}}}{X_{{t_2} + {t_0}}}]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = E[{X_{t + \tau  + {t_0}}}{X_{t + {t_0}}}]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {R_X}\left( {\left( {t + \tau  + {t_0}} \right) - \left( {t + {t_0}} \right)} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {R_X}\left( \tau  \right). \ \ \ \  \square
\end{array}\]

WSS processes through LTI systems
現在我們考慮一個 WSS的隨機過程 $X_t$ ，且讓此 $X_t$ 作為 LTI system 的輸入時，我們想知道 輸出 $Y_t $ 會有甚麼特性。

由系統理論我們知道 當 系統為 LTI ，則輸出 $Y_t$ 為 輸入 $X_t$ 之間的關係為 Convolution integral：
\[
{Y_t} = \int_{ - \infty }^\infty  h (t - \tau ){X_\tau }d\tau  = \int_{ - \infty }^\infty  h (\tau ){X_{t - \tau }}d\tau
\]除了 convolution 之外，我們還有下面重要結果：

========================
Theorem: (WSS signal is preserved by LTI system)
考慮輸入 $X_t$ 為 WSS 隨機過程，且考慮穩定的 LTI 系統 具有脈衝響應 $h(t)$ 則輸出 $Y_t$ 為 與 $h(t)$ 做 convolution：
\[
{Y_t} = \int_{ - \infty }^\infty  h (t - \tau ){X_\tau }d\tau  = \int_{ - \infty }^\infty  h (\tau ){X_{t - \tau }}d\tau
\]且輸出 $Y_t$ 仍為 WSS 隨機過程。
========================
Proof
我們現在證明 $Y_t$ 仍為 WSS 隨機過程，亦即要證明
1. mean function, $E[Y_t]$ 與時間無關
2. correlation function, $E[Y_{t_1}Y_{t_2}]$ 只與 $t_1 - t_2$有關

我們先證 mean function 性質
\[E\left[ {{Y_t}} \right] = E\left[ {\int_{ - \infty }^\infty  h (t - \tau ){X_\tau }d\tau } \right] = E\left[ {\int_{ - \infty }^\infty  h (\tau ){X_{t - \tau }}d\tau } \right]\]我們可改寫
\[E\left[ {{Y_t}} \right] = \int_{ - \infty }^\infty  {E\left[ {h(\tau ){X_{t - \tau }}} \right]} d\tau
\]注意到上式我們使用了積分與期望值對調：此法可由下面將積分寫成 Rieman sum 近似而得 (或者讀者可使用 Fuibini's theorem )故
\[E\left[ {{Y_t}} \right] = \int_{ - \infty }^\infty  {E\left[ {h(\tau ){X_{t - \tau }}} \right]} d\tau  = \int_{ - \infty }^\infty  h (\tau )E\left[ {{X_{t - \tau }}} \right]d\tau
\]由於 $X_t$ 為 WSS，故 $E[X_t] $ 與時間無關，亦即存在一常數 $m$ 使得
\[
E[X_t] = m
\]故
\[E\left[ {{Y_t}} \right] = \int_{ - \infty }^\infty  h (\tau )E\left[ {{X_{t - \tau }}} \right]d\tau  = m\int_{ - \infty }^\infty  h (\tau )d\tau \]亦即與時間 $t$ 無關。

現在我們計算 auto-correlation function $E[Y_{t_1}Y_{t_2}]$，用相同近似方法將積分與 期望值互換順序。
\[\begin{array}{l}
E[{Y_{{t_1}}}{Y_{{t_2}}}] = E\left[ {\int_{ - \infty }^\infty  h (\tau ){X_{{t_1} - \tau }}d\tau \int_{ - \infty }^\infty  h (\theta ){X_{{t_2} - \theta }}d\theta } \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = E\left[ {\int_{ - \infty }^\infty  h (\tau )\left( {\int_{ - \infty }^\infty  h (\theta ){X_{{t_1} - \tau }}{X_{{t_2} - \theta }}d\theta } \right)d\tau } \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  h (\tau )\left( {\int_{ - \infty }^\infty  h (\theta )E\left[ {{X_{{t_1} - \tau }}{X_{{t_2} - \theta }}} \right]d\theta } \right)d\tau \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  h (\tau )\left( {\int_{ - \infty }^\infty  h (\theta ){R_X}\left( {\left( {{t_1} - \tau } \right) - \left( {{t_2} - \theta } \right)} \right)d\theta } \right)d\tau \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  h (\tau )\left( {\int_{ - \infty }^\infty  h (\theta ){R_X}\left( {\left( {{t_1} - {t_2}} \right) - \left( {\tau  - \theta } \right)} \right)d\theta } \right)d\tau
\end{array}\]上式顯示 $E[Y_{t_1}Y_{t_2}]$ 只與 $t_1 - t_2$ 有關。
故 若 $X_t$ 為 WSS訊號 輸入 LTI 系統，則其輸出 $Y_t$ 亦為 WSS。$\square$

Comment:
回憶對於 確定訊號作為輸入的 LTI 系統，我們有 Fourier transform 作為工具幫助我們分析。現在由於輸入訊號變為隨機過程，但並無對隨機訊號做出定義的 Fourier tranform，不過所幸，注意到若輸入為 WSS 隨機過程，則我們可針對其 correlation function 做 Fourier transform。所得的結果稱為 spectrum analysis。

[變分法] 淺論 線性泛函

這次要介紹一些基本的 Functional

我們首先定義 Continuous Functional

給定一個 normed linear space $X$
============================
Definition:  Continuous Functional

考慮 一個 functional $J: X \rightarrow \mathbb{R}$, 令 $y \in X$，我們說 $J[y]$ 被稱作 在點 $\hat y \in X$ continuous 若下列條件成立

對任意 $\varepsilon >0$, 存在 $\delta >0$ 使得

\[||y- \hat y|| < \delta  \Rightarrow |J[y] - J[\hat y]| < \varepsilon
\]============================

Comment
上述連續性等價為
\[
||y(x) - \hat y(x)|| \rightarrow 0 \Rightarrow |f(y(x)) - f(\hat{y}(x))| \rightarrow 0
\]

============================
Definition:  Linear Functional
給定一個 normed linear space $X$，且 $y \in X$ 的元素，現在定義 $J[y] : X \rightarrow \mathbb{R}$ 為在 $X$ 上的 functional ，則我們說 $J[y]$ 為 linear functional 若下列條件成立
1. 對任意 $y\in X$ 與 $ \alpha \in \mathbb{R}$，$J[\alpha y] = \alpha J[y]$
2. 對任意 $y_1, y_2 \in X$，$J[y_1 + y_2] = J[y_1] + J[y_2]$
============================

Comment:
上述定義的兩個條件可簡化為
對任意  $y_1, y_2 \in X$ 與 $ \alpha, \beta \in \mathbb{R}$
\[
J[\alpha y_1 + \beta y_2] =\alpha  J[y_1] + \beta J[y_2]
\]

============================

Definition: Continuous Linear Functional
我們稱 $J[y]$ 為 continuous linear functional 若 $J[y]$ 為 linear functional，且 對任意 $h \in X$， $J[y]$ 為 連續。
============================

現在我們看一些例子：
Example 1
令 $X := \cal{C}^1[0,1]$，$y:[0,1] \rightarrow \mathbb{R}$，且考慮 $||x||:=||x||_{\infty}$現考慮
\[
f(y) := \frac{d}{dx} y(0)
\]則 此 $f(y)$ 為 Linear Functional 但不為連續。

Proof:
線性：
\[\begin{array}{l}
f(\alpha {y_1} + \beta {y_2}) = \frac{d}{{dx}}\left[ {\alpha {y_1}\left( 0 \right) + \beta {y_2}\left( 0 \right)} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \alpha \frac{d}{{dx}}{y_1}\left( 0 \right) + \beta \frac{d}{{dx}}{y_2}\left( 0 \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \alpha f({y_1}) + \beta f({y_2})
\end{array}
\]

接著考慮連續性
我們只要舉出一個反例即可說明其不連續
令 $\hat y =0$ 且 $y: = A  \cdot \sin \frac{x}{A}$, $(A \in \mathbb{R})$，則由 $f$ 定義
\[\begin{array}{l}
f(y) = \frac{d}{{dx}}y(0)\\
 \Rightarrow f(y) = \frac{d}{{dx}}{\left. {\left( {A \cdot \sin \frac{x}{A}} \right)} \right|_{x = 0}} = {\left. {\cos \frac{x}{A}} \right|_{x = 0}} = 1
\end{array}
\] 現在觀察連續性，我們需要
\[
||y(x) - \hat y(x)|| \rightarrow 0 \Rightarrow |f(y(x)) - f(\hat{y}(x))| \rightarrow 0
\]
故現在計算
\[{\left\| y \right\|_\infty } = \left| A \right|{\left\| {\sin \frac{x}{A}} \right\|_\infty } = \left| A \right|
\]現若讓 $A \rightarrow 0 $ 則 $||y|| \rightarrow 0$
但是此時對應的
 \[|f(y(x)) - f(\hat y(x))| = |f(y(x)) - f(0)| = |f(y(x))| = 1 \neq 0
\] 故此說明了 functional $f$ 在 $0$ 處不連續。 $\square$


Example 2
令 $X := \cal{C}[a,b]$，$ y : [a,b] \rightarrow \mathbb{R}$，現考慮下列積分
\[
J[y] := \int_a^b y(x)dx
\] Claim: 上述積分為 Linear Functional on $\cal{C}[a,b]$
Proof
1. 上式積分 為 Functional 因為 $J: \cal{C}[a,b] \rightarrow \mathbb{R}$，
2. 檢驗線性：
觀察
\[\begin{array}{l}
J[\alpha {y_1} + \beta {y_2}] = \int_a^b {\left( {\alpha {y_1}\left( x \right) + \beta {y_2}\left( x \right)} \right)} dx\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \alpha \int_a^b {{y_1}\left( x \right)} dx + \beta \int_a^b {{y_2}\left( x \right)} dx\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \alpha J[{y_1}] + \beta J[{y_2}]
\end{array}
\]故 上式積分確實為 Linear Functional。 $\square$

Example 2
令 $X := \cal{C}^n[a,b]$考慮下列積分
\[J[y]: = \int_a^b {\left[ {{\alpha _0}\left( x \right)y(x) + {\alpha _1}\left( x \right)y'(x) + ... + {\alpha _n}\left( x \right){y^{\left( n \right)}}(x)} \right]} dx
\]上式亦為 Linear functional 其中 $\alpha_i(x)$ 為 $\cal{C}[a,b]$ 上固定函數。

注意到 對任意 $y(x) $ 在特定 function space，現若讓上述積分 $=0$，則我們想問 對於 $\alpha_i(x)$ 會發生甚麼事情？

下面的 Lemma 可以回答此問題：
=======================
Lemma: 
若 $\alpha(x) \in \cal{C}[a,b]$ 且 對任意 $y(x) \in \cal{C}[a,b]$ 滿足 $y(a) = y(b) =0$ ，
\[
J[y]: = \int_a^b {\alpha \left( x \right)y(x)} dx = 0
\] 則對任意 $x \in [a,b]$
\[
\alpha(x) \equiv 0
\]=======================

Proof
利用歸謬法(Suppose toward to contradiction)，假設 存在 $x \in [a,b]$ 使得 $\alpha(x) \neq 0$。在不失一般性的情況下我們可設 $\alpha(x) >0$

現由於 $\alpha(x) \in \cal{C}[a,b]$ ，由連續性可知必存在一區間 $[x_1,x_2] \subset [a,b]$ 使得 對 $x \in [x_1,x_2]$
\[
\alpha(x) >0
\]
現在我們讓
\[y(x): = \left\{ \begin{array}{l}
(x - {x_1})({x_2} - x)\begin{array}{*{20}{c}}
{}
\end{array},x \in \left[ {{x_1},{x_2}} \right]\\
0\begin{array}{*{20}{c}}
{}&{}
\end{array},o.w.
\end{array} \right.
\] 則此 $y(x)$亦滿足我們假設條件 $y(x) \in \cal{C}[a,b]$ 滿足 $y(a) = y(b) =0$，但
\[J[y]: = \int_a^b {\alpha \left( x \right)y(x)} dx = \int_{{x_1}}^{{x_2}} {\alpha \left( x \right)(x - {x_1})({x_2} - x)} dx > 0\] 與假設 $J[y] =0$ 矛盾。 $\square$

[數學分析] 函數的極限

這次要介紹函數極限( Limit of Function)。我們首先給出定義如下

===========================
Definition: Limit of Function
令 $X$ 與 $Y$ 為 metric spaces，設 $E \subset X$ 且 考慮函數 $f : E \rightarrow Y$ 與點 $p$ 為 limit point of $E$，則我們將函數的極限 記作 $f(x) \rightarrow p$ 當 $x \rightarrow p$ 或者
\[
\lim_{x \rightarrow p} f(x) =q
\]若 存在一點 $q \in Y$ 滿足下列條件：
對任意 $\varepsilon >0$ 存在 $\delta >0$ 使得 對所有的 $x \in E$，若 $ 0 < d_X(x,p) < \delta$，則
\[
d_Y(f(x),q) < \varepsilon
\]===========================

上述 $d_X$ 與 $d_Y$ 表示 metric in $X$ 與 metric in $Y$

Comment:
1. 上述定義從直覺上可以看出想表達我們可以透過讓 $x$ 足夠的接近 $p$ 來使得 $f(x)$ 可以被任意接近 $q$。
2. 關於上述定義提及的 Metric Space 可直接簡單視為 $\mathbb{R}^n$ Euclidean 空間，若對 Metric Space 定義有興趣讀者請參考
[數學分析] 淺談 Metric Space and Topology
3. 上述定義可等價用 limits of sequences 表示，我們將其記做下面重要的定理

===========================
Theorem:  Equivalence of Limit of Functions and Limit of Sequences 
令 $X,Y,E,f,p$ 同上述定義，則
\[
\lim_{x \rightarrow p} f(x) =q
\]若且唯若 對任意 sequence $\{p_n \}$ in $E$ 滿足 $p_n \neq q$ 且使得
\[
\lim_{n \rightarrow \infty} p_n =p
\Rightarrow \lim_{n \rightarrow \infty} f(p_n) =q
\]===========================
Proof
先證 $(\Rightarrow)$
已知 $\lim_{x \rightarrow p} f(x) =q$，我們有：對任意 $\varepsilon >0$ 存在 $\delta >0$ 使得對所有的 $x \in E$ ，若 $ 0 < d_X(x,p) < \delta$ 則
\[
d_Y(f(x),q) < \varepsilon \ \ \  \ (*)
\]
我們要證明
對任意 sequence $\{p_n \}$ in $E$ 滿足 $p_n \neq q$ 且
\[
\lim_{n \rightarrow \infty} p_n =p \Rightarrow
\lim_{n \rightarrow \infty} f(p_n) =q
\] 故首先令 sequence $\{p_n \}$ in $E$ 滿足 $p_n \neq q$ 且 $\lim_{n \rightarrow \infty} p_n =p$.   $(**)$
則我們僅需證明下式成立即可
\[
\lim_{n \rightarrow \infty} f(p_n) =q
\] 由定義拆解上式，亦即我們需要證 對任意 $\varepsilon >0$ 存在 $N >0$ 使得 $n \ge N$ 讓 $d_Y(f(p_n),q) < \varepsilon $

故取 $\delta$ 如前所定，則由 sequence $\{p_n\}$ 的假設 $(**)$ 我們可知存在 $N$ 使得 $n \ge N$ 讓
\[
0 < d(p_n,p) < \delta
\]由 $(*)$ 我們可得 對 $n \ge N$，
\[
d(f(p_n),q) < \varepsilon
\]亦即
\[
\lim_{n \rightarrow \infty} f(p_n) =q
\]

接著我們證明 $(\Leftarrow)$
利用歸謬法 (Suppose toward to Contradiction)，也就是說我們 假設
(1) 對任意 sequence $\{p_n \}$ in $E$ 滿足 $p_n \neq q$ 且使得
\[
\lim_{n \rightarrow \infty} p_n =p
\Rightarrow \lim_{n \rightarrow \infty} f(p_n) =q
\] 另外 假設 (2) $\lim_{x \rightarrow p} f(x) =q$ 不成立，亦即對原本陳述取非
存在一 $\varepsilon >0$ 使得 對任意 $\delta >0$，存在 $x \in E$，使得 $ 0 < d_X(x,p) < \delta$，但是
\[
d_Y(f(x),q) \ge \varepsilon
\] 現在我們的目標是結合假設 (1) 與 (2) 試圖尋找矛盾點。

現在觀察 (2)，給定 $\varepsilon_n >0$， 且定義 $\delta :=1/n >0 \; \text{for}\; n \in \mathbb{N}$ 則存在一組 sequence $\{ x_n\} \in E$ 使得  $ 0 < d_X(x_n,p) < \delta$，但是
\[
d_Y(f(x_n),q) \ge \varepsilon
\] 上述結果與假設 (1) 矛盾。故得證。 $\square$

Reference:
[1] W. Rudin, Principles of Mathematical Analysis
[2] T. M. Apostol, Mathematical Analysis