=====================
Definition: $L^p$ Space of Random Variable
令 $0<p<\infty$，我們稱 $L^p$ space 為由所有隨機變數 $X$ 所組成的集合且滿足 $
E[|X|^p] < \infty $ 所成的集合，亦即
\[
L^p := \{X: E[|X|^p] < \infty \}
\] 且對任意 $X \in L^p$，我們定義其上的 norm 為
\[
||X||_p := E[|X|^p]^{1/p}
\]=====================
Comment:
1. 上述提及的 $|| \cdot ||_p$ 為 $L^p$ space 的 norm 且滿足下列三個條件
- $||X||_p \ge 0$, 且 $||X||_p =0 \Rightarrow X$ 為 零 隨機變數 (亦即 機率 $P(X = 0) \; \text{almost surely}$)
- 對 $a \in \mathbb{R}$，$||aX|| = |a| \cdot ||X||$
- 對任意 $X, Y \in L^p$，滿足三角不等式(triangle inequality)
\[||X+Y||_p \le ||X||_p + ||Y||_p\]
2. $L^p$ space 是一個 function space 。
另外我們說 $L^p$ space 確實為一 向量空間。亦即可以在上面定義 向量加法 與 純量乘法 以及其線性組合：
=====================
Fact 1: $L^p$ space 為向量空間 (Vector space)
=====================
由 Vector space 定義可知其為具有 加法 與乘法的集合且滿足線性組合規則。故給定 $X,Y \in L^p$ 且 $a,b \in \mathbb{R}$，我們需證明
\[
aX+bY \in L^p
\]亦即須證明 給定 $E[|X|^p]< \infty$ 與 $E[|Y|^p] < \infty$，須證明
\[
E[|aX + aY|^p]< \infty
\]利用 FACT: $|x + y |^p \le 2^p (|x|^p + |y|^p), 0<p<\infty$ 我們可得
\[\begin{array}{l}
E\left[ {|x + y{|^p}} \right] \le {2^p}{\rm{E}}\left[ {(|x{|^p} + |y{|^p})} \right]\\
\Rightarrow E\left[ {|x + y{|^p}} \right] \le \underbrace {{2^p}}_{{\rm{ < }}\infty }\left( {\underbrace {{\rm{E}}\left[ {|x{|^p}} \right]}_{{\rm{ < }}\infty }{\rm{ + }}\underbrace {{\rm{E}}\left[ {|y{|^p}} \right]}_{{\rm{ < }}\infty }} \right){\rm{ < }}\infty
\end{array}\]故 $aX+bY \in L^p$ $\square$。
=====================
Definition: Convergence in L^p我們稱 $X_n$ 收斂到 $X$ in mean of order p，記做
\[{X_n}\mathop \to \limits^{{L^p}} X
\]若下列條件成立
\[
\lim_{n \rightarrow \infty}E[|X_n - X|^p] =0
\]=====================
接著我們要介紹 $L^p$其上的 Cauchy sequence of random variable
=====================
Definition: Cauchy sequence of random variable in L^p我們稱 $X_n \in L^p$ 為 一 隨機變數的 sequence 為 Cauchy，若滿足下列條件：
對任意 $\varepsilon >0$ 存在一個 $N>0$ 使得 $n,m \ge N$，我們有
\[
||X_n - X_m ||_p < \varepsilon
\]=====================
=====================
Fact: $L^p$ space 為完備空間( complete space)；亦即 任意 Cauchy sequence in $L^p$ 必定在 $L^p$ space 收斂。
=====================
Proof: omitted.
Comment:
1. 任意 complete normed vector space 我們稱為 巴拿赫空間( Banach space).
2. 我們特別有興趣的空間是 $p=2$ 的空間，此空間又稱為 $L^2$ space。此時 $L^2$ norm 可以表示成內積(inner product)的形式；亦即 若我們考慮兩隨機變數 $X,Y \in L^2$，則其 inner product 定為
\[
\left\langle {X,Y} \right\rangle : = E[XY]
\]若 $Y=X$ 則我們有
\[\begin{array}{l}
\left\langle {X,X} \right\rangle : = E[{X^2}] = \left\| X \right\|_2^2\\
\Rightarrow \left\| X \right\|_2^{} = {\left\langle {X,X} \right\rangle ^{1/2}}
\end{array}\]由於 上述 norm 可由 inner product 推得，故我們又稱 $L^2$ space 為一個 inner product space。
3. 一個 完備 內積空間 (Complete inner-product space) 稱為 希爾伯特空間( Hilbert space)
下面我們看個例子：
Example
考慮 $\{ X_k \}$ 為$L^2$ space 的隨機變數 sequence，現在設 $\sum_{k=1}^\infty |h_k| < \infty$ 且 對任意 $k$， $E[|X_k|^2] \le B$，試證
\[
\sum_{k=1}^\infty h_k X_k \in L^2
\]Proof
首先觀察 partial sum
\[{Y_n}: = \sum\limits_{k = 1}^n {{h_k}} {X_k}
\]想法：
由於 $L^2$ 為 complete space，故我們如果可以證明 $Y_n$ 為 Cauchy，則必存在一個 ranodm variable $Y$ 使得 $Y_n \rightarrow Y \in L^2$那麼我們便可稱此 $Y$ 為我們 partial sum 的 mean square limit $=\sum_{k=1}^\infty h_k X_k \in L^2$。
故現在令 $n > m$ 且觀察
\[{Y_n} - {Y_m} = \sum\limits_{k = 1}^n {{h_k}} {X_k} - \sum\limits_{k = 1}^m {{h_k}} {X_k} = \sum\limits_{k = m + 1}^n {{h_k}} {X_k}
\]欲證明為 Cauchy，則必須要讓 $||Y_n - Y_m||_2 \rightarrow 0$。故我們觀察其 $L^2$ norm：
\[\begin{array}{l}
\left\| {{Y_n} - {Y_m}} \right\|_2^2 = E\left[ {{{\left| {\sum\limits_{k = m + 1}^n {{h_k}} {X_k}} \right|}^2}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = E\left[ {\sum\limits_{k = m + 1}^n {{h_k}} {X_k}\sum\limits_{j = m + 1}^n {{h_j}} {X_j}} \right] = \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {{h_k}{h_j}E\left[ {{X_k}{X_j}} \right]} } \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|\left| {E\left[ {{X_k}{X_j}} \right]} \right|} }
\end{array}\]由 Cauchy-Schwarz inequality $|E[XY]|^2 \le E[X^2] E[Y^2]$ 我們可改寫上式
\[\begin{array}{l}
\left\| {{Y_n} - {Y_m}} \right\|_2^2 \le \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|\left| {E\left[ {{X_k}{X_j}} \right]} \right|} } \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|\sqrt {E[{X_k}^2]E[{X_j}^2]} } }
\end{array}\]又由假設可知 對任意 $k$， $E[|X_k|^2] \le B$，故我們有
\[\begin{array}{l}
\left\| {{Y_n} - {Y_m}} \right\|_2^2 \le \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|\sqrt {E[{X_k}^2]E[{X_j}^2]} } } \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} \le B\sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|} } = B{\left( {\sum\limits_{k = m + 1}^n {\left| {{h_k}} \right|} } \right)^2}
\end{array}\]現在我們再由假設 $\sum_{k=1}^\infty |h_k| < \infty$ 可知必存在一個數 $A_n$ 使得 $\sum_{k=1}^\infty |h_k| = A_n < \infty$ 且當 $m \rightarrow \infty$，此數 $A_n$ 亦必須收斂，也就是說 $A_n \rightarrow A < \infty$ 故我們可寫成下式
\[\sum\limits_{k = 1}^\infty | {h_k}| = {A_n} \Rightarrow \underbrace {\sum\limits_{k = 1}^m | {h_k}|}_{part1} + \underbrace {\sum\limits_{k = m + 1}^\infty | {h_k}|}_{part2} = {A_n}\]現在若讓 $m \rightarrow \infty$ 則上式中 part 1 必定收斂到 $A$ 故 part 2 必定要收斂到 $0$。亦即
\[\left\| {{Y_n} - {Y_m}} \right\|_2^2 \le B{\left( {\sum\limits_{k = m + 1}^n {\left| {{h_k}} \right|} } \right)^2} \to 0\]故 $Y_n$ 為 Cauchy sequence in $L^2$。現在由 $L^2$ 的完備性，任意 Cauchy sequence 都會在 $L^2$ space 收斂，故我們稱其 $Y_n$ 對應的收斂點為 $Y:= \sum_{k=1}^\infty h_k X_k \in L^2$。至此證畢。$\square$
接著我們看一個 FACT: convergence in $L^p$ $\Rightarrow $ 積分與極限可以互換次序
===================
Fact 2: 若隨機變數的 sequence $Y_n$ 收斂到 $Y$ in $L^p$，則
\[\mathop {\lim }\limits_{n \to \infty } E[{Y_n}] = E[\mathop {\lim }\limits_{n \to \infty } {Y_n}] = E[Y]
\]===================
Proof
我們要證明 $\mathop {\lim }\limits_{n \to \infty } E[{Y_n}] = E[Y]$，亦即要證明
\[\mathop {\lim }\limits_{n \to \infty } \left| {E[{Y_n}] - E[Y]} \right| = 0\]
首先觀察
\[\left| {E[{Y_n}] - E[Y]} \right| = \left| {E[Y_n - {Y}]} \right| \le E\left[ {\left| {Y_n - {Y}} \right|} \right]\]且由假設可知 ${Y_n}\mathop \to \limits^{{L^p}} Y \Leftrightarrow \mathop {\lim }\limits_{n \to \infty } E[{\left| {{Y_n} - Y} \right|^p}] = 0$ 對 $0<p<\infty$故取 $p=1$ 我們有
\[\mathop {\lim }\limits_{n \to \infty } E\left[ {\left| {Y_n - {Y}} \right|} \right] = 0 \Rightarrow \mathop {\lim }\limits_{n \to \infty } E[{Y_n}] = E[Y] \ \ \ \ \square
\]
現在回憶之前的 Example (基於一些假設之下 $\sum_{k=1}^\infty |h_k| < \infty$ 且 對任意 $k$， $E[|X_k|^2] \le B$，)，我們知道
\[\sum\limits_{k = 1}^n {{h_k}{X_k}\mathop \to \limits^{{L^2}} } \sum\limits_{k = 1}^\infty {{h_k}{X_k}} \]由 Fact 2 可知
\[\sum\limits_{k = 1}^n {{h_k}{X_k}\mathop \to \limits^{{L^2}} } \sum\limits_{k = 1}^\infty {{h_k}{X_k}} \Rightarrow \mathop {\lim }\limits_{n \to \infty } E\left[ {\sum\limits_{k = 1}^n {{h_k}{X_k}} } \right] = E\left[ {\sum\limits_{k = 1}^\infty {{h_k}{X_k}} } \right]
\]又注意到
\[\mathop {\lim }\limits_{n \to \infty } E\left[ {\sum\limits_{k = 1}^n {{h_k}{X_k}} } \right] = \mathop {\lim }\limits_{n \to \infty } \sum\limits_{k = 1}^n {E\left[ {{h_k}{X_k}} \right]} : = \sum\limits_{k = 1}^\infty {E\left[ {{h_k}{X_k}} \right]} \]故我們有
\[\sum\limits_{k = 1}^\infty {E\left[ {{h_k}{X_k}} \right]} = E\left[ {\sum\limits_{k = 1}^\infty {{h_k}{X_k}} } \right]\]亦即 期望值與 infinite summation 可以互換次序。
沒有留言:
張貼留言