跳到主要內容

[隨機過程] 隨機變數 的 賦範向量空間 (Normed Vector Space of random variables)

在分析中,有幾類重要的 函數空間 經常在實際問題中被使用,以下我們給出 隨機變數 (可測函數) 的  $L^p$ 空間之定義 :

=====================
Definition: $L^p$ Space of Random Variable
令 $0<p<\infty$,我們稱 $L^p$ space 為由所有隨機變數 $X$ 所組成的集合且滿足 $
E[|X|^p] < \infty $ 所成的集合,亦即
\[
L^p := \{X: E[|X|^p] < \infty \}
\] 且對任意 $X \in L^p$,我們定義其上的 norm 為
\[
||X||_p := E[|X|^p]^{1/p}
\]=====================

Comment:
1. 上述提及的 $|| \cdot ||_p$ 為 $L^p$ space 的 norm 且滿足下列三個條件
  1. $||X||_p \ge 0$, 且 $||X||_p =0 \Rightarrow X$ 為 隨機變數 (亦即 機率 $P(X = 0) \; \text{almost surely}$)
  2. 對 $a \in \mathbb{R}$,$||aX|| = |a| \cdot ||X||$
  3. 對任意 $X, Y \in L^p$,滿足三角不等式(triangle inequality)
    \[||X+Y||_p \le ||X||_p + ||Y||_p\] 
讀者可自行驗證我們 norm 的定法,亦即 $||X||_p := E[|X|^p]^{1/p}$ 確實滿足上述三個條件。(第三個條件可由 Minkowski's inequality 直接證得。)

2. $L^p$ space 是一個 function space 。


另外我們說 $L^p$ space 確實為一 向量空間。亦即可以在上面定義 向量加法 與 純量乘法 以及其線性組合:

=====================
Fact 1: $L^p$ space 為向量空間 (Vector space)
=====================

Proof:
由 Vector space 定義可知其為具有 加法 與乘法的集合且滿足線性組合規則。故給定 $X,Y \in L^p$ 且  $a,b \in \mathbb{R}$,我們需證明
\[
aX+bY \in L^p
\]亦即須證明 給定 $E[|X|^p]< \infty$ 與 $E[|Y|^p] < \infty$,須證明
\[
E[|aX + aY|^p]< \infty
\]利用 FACT: $|x + y |^p \le 2^p (|x|^p + |y|^p), 0<p<\infty$ 我們可得
\[\begin{array}{l}
E\left[ {|x + y{|^p}} \right] \le {2^p}{\rm{E}}\left[ {(|x{|^p} + |y{|^p})} \right]\\
 \Rightarrow E\left[ {|x + y{|^p}} \right] \le \underbrace {{2^p}}_{{\rm{ < }}\infty }\left( {\underbrace {{\rm{E}}\left[ {|x{|^p}} \right]}_{{\rm{ < }}\infty }{\rm{ + }}\underbrace {{\rm{E}}\left[ {|y{|^p}} \right]}_{{\rm{ < }}\infty }} \right){\rm{ < }}\infty
\end{array}\]故 $aX+bY \in L^p$ $\square$。



=====================
Definition: Convergence in L^p
我們稱 $X_n$ 收斂到 $X$ in mean of order p,記做
\[{X_n}\mathop  \to \limits^{{L^p}} X
\]若下列條件成立
\[
\lim_{n \rightarrow \infty}E[|X_n - X|^p]  =0
\]=====================


接著我們要介紹 $L^p$其上的 Cauchy sequence of random variable


=====================
Definition: Cauchy sequence of random variable in L^p
我們稱 $X_n \in L^p$ 為 一 隨機變數的 sequence 為 Cauchy,若滿足下列條件:
對任意 $\varepsilon >0$ 存在一個 $N>0$ 使得 $n,m \ge N$,我們有
\[
||X_n - X_m ||_p < \varepsilon
\]=====================


=====================
Fact: $L^p$ space 為完備空間( complete space);亦即 任意 Cauchy sequence in $L^p$ 必定在 $L^p$ space 收斂。
=====================
Proof: omitted.

Comment:
1. 任意 complete normed vector space 我們稱為 巴拿赫空間( Banach space).

2. 我們特別有興趣的空間是 $p=2$ 的空間,此空間又稱為 $L^2$ space。此時 $L^2$ norm 可以表示成內積(inner product)的形式;亦即 若我們考慮兩隨機變數 $X,Y \in L^2$,則其 inner product 定為
\[
\left\langle {X,Y} \right\rangle : = E[XY]
\]若 $Y=X$ 則我們有
\[\begin{array}{l}
\left\langle {X,X} \right\rangle : = E[{X^2}] = \left\| X \right\|_2^2\\
 \Rightarrow \left\| X \right\|_2^{} = {\left\langle {X,X} \right\rangle ^{1/2}}
\end{array}\]由於 上述 norm 可由 inner product 推得,故我們又稱 $L^2$ space 為一個 inner product space。

3.  一個 完備 內積空間 (Complete inner-product space) 稱為 希爾伯特空間( Hilbert space)


下面我們看個例子:
Example
考慮 $\{ X_k \}$ 為$L^2$ space 的隨機變數 sequence,現在設  $\sum_{k=1}^\infty |h_k| < \infty$ 且 對任意 $k$, $E[|X_k|^2] \le B$,試證
\[
\sum_{k=1}^\infty h_k X_k \in L^2
\]Proof
首先觀察 partial sum
\[{Y_n}: = \sum\limits_{k = 1}^n {{h_k}} {X_k}
\]想法:
由於 $L^2$ 為 complete space,故我們如果可以證明 $Y_n$ 為 Cauchy,則必存在一個 ranodm variable $Y$ 使得 $Y_n \rightarrow Y \in L^2$那麼我們便可稱此 $Y$ 為我們 partial sum 的 mean square limit $=\sum_{k=1}^\infty h_k X_k \in L^2$。

故現在令 $n > m$ 且觀察
\[{Y_n} - {Y_m} = \sum\limits_{k = 1}^n {{h_k}} {X_k} - \sum\limits_{k = 1}^m {{h_k}} {X_k} = \sum\limits_{k = m + 1}^n {{h_k}} {X_k}
\]欲證明為 Cauchy,則必須要讓 $||Y_n - Y_m||_2 \rightarrow 0$。故我們觀察其 $L^2$ norm:
\[\begin{array}{l}
\left\| {{Y_n} - {Y_m}} \right\|_2^2 = E\left[ {{{\left| {\sum\limits_{k = m + 1}^n {{h_k}} {X_k}} \right|}^2}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = E\left[ {\sum\limits_{k = m + 1}^n {{h_k}} {X_k}\sum\limits_{j = m + 1}^n {{h_j}} {X_j}} \right] = \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {{h_k}{h_j}E\left[ {{X_k}{X_j}} \right]} } \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|\left| {E\left[ {{X_k}{X_j}} \right]} \right|} }
\end{array}\]由 Cauchy-Schwarz inequality $|E[XY]|^2 \le E[X^2] E[Y^2]$ 我們可改寫上式
 \[\begin{array}{l}
\left\| {{Y_n} - {Y_m}} \right\|_2^2 \le \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|\left| {E\left[ {{X_k}{X_j}} \right]} \right|} } \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|\sqrt {E[{X_k}^2]E[{X_j}^2]} } }
\end{array}\]又由假設可知 對任意 $k$, $E[|X_k|^2] \le B$,故我們有
\[\begin{array}{l}
\left\| {{Y_n} - {Y_m}} \right\|_2^2 \le \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|\sqrt {E[{X_k}^2]E[{X_j}^2]} } } \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} \le B\sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|} }  = B{\left( {\sum\limits_{k = m + 1}^n {\left| {{h_k}} \right|} } \right)^2}
\end{array}\]現在我們再由假設  $\sum_{k=1}^\infty |h_k| < \infty$  可知必存在一個數 $A_n$ 使得 $\sum_{k=1}^\infty |h_k|  = A_n < \infty$ 且當 $m \rightarrow \infty$,此數 $A_n$ 亦必須收斂,也就是說 $A_n \rightarrow A < \infty$ 故我們可寫成下式
\[\sum\limits_{k = 1}^\infty  | {h_k}| = {A_n} \Rightarrow \underbrace {\sum\limits_{k = 1}^m | {h_k}|}_{part1} + \underbrace {\sum\limits_{k = m + 1}^\infty  | {h_k}|}_{part2} = {A_n}\]現在若讓 $m \rightarrow \infty$ 則上式中 part 1 必定收斂到 $A$ 故 part 2 必定要收斂到 $0$。亦即
\[\left\| {{Y_n} - {Y_m}} \right\|_2^2 \le B{\left( {\sum\limits_{k = m + 1}^n {\left| {{h_k}} \right|} } \right)^2} \to 0\]故 $Y_n$ 為 Cauchy sequence in $L^2$。現在由 $L^2$ 的完備性,任意 Cauchy sequence 都會在 $L^2$ space 收斂,故我們稱其 $Y_n$ 對應的收斂點為 $Y:= \sum_{k=1}^\infty h_k X_k \in L^2$。至此證畢。$\square$

接著我們看一個 FACT: convergence in $L^p$ $\Rightarrow $ 積分與極限可以互換次序
===================
Fact 2: 若隨機變數的 sequence $Y_n$ 收斂到 $Y$ in $L^p$,則
\[\mathop {\lim }\limits_{n \to \infty } E[{Y_n}] = E[\mathop {\lim }\limits_{n \to \infty } {Y_n}] = E[Y]
\]===================
Proof
我們要證明  $\mathop {\lim }\limits_{n \to \infty } E[{Y_n}] = E[Y]$,亦即要證明
\[\mathop {\lim }\limits_{n \to \infty } \left| {E[{Y_n}] - E[Y]} \right| = 0\]
首先觀察
\[\left| {E[{Y_n}] - E[Y]} \right| = \left| {E[Y_n - {Y}]} \right| \le E\left[ {\left| {Y_n - {Y}} \right|} \right]\]且由假設可知 ${Y_n}\mathop  \to \limits^{{L^p}} Y \Leftrightarrow \mathop {\lim }\limits_{n \to \infty } E[{\left| {{Y_n} - Y} \right|^p}] = 0$  對 $0<p<\infty$故取 $p=1$ 我們有
\[\mathop {\lim }\limits_{n \to \infty } E\left[ {\left| {Y_n - {Y}} \right|} \right] = 0 \Rightarrow \mathop {\lim }\limits_{n \to \infty } E[{Y_n}] = E[Y] \ \ \ \ \square
\]

現在回憶之前的 Example (基於一些假設之下 $\sum_{k=1}^\infty |h_k| < \infty$ 且 對任意 $k$, $E[|X_k|^2] \le B$,),我們知道
\[\sum\limits_{k = 1}^n {{h_k}{X_k}\mathop  \to \limits^{{L^2}} } \sum\limits_{k = 1}^\infty  {{h_k}{X_k}} \]由 Fact 2 可知
\[\sum\limits_{k = 1}^n {{h_k}{X_k}\mathop  \to \limits^{{L^2}} } \sum\limits_{k = 1}^\infty  {{h_k}{X_k}}  \Rightarrow \mathop {\lim }\limits_{n \to \infty } E\left[ {\sum\limits_{k = 1}^n {{h_k}{X_k}} } \right] = E\left[ {\sum\limits_{k = 1}^\infty  {{h_k}{X_k}} } \right]
\]又注意到
\[\mathop {\lim }\limits_{n \to \infty } E\left[ {\sum\limits_{k = 1}^n {{h_k}{X_k}} } \right] = \mathop {\lim }\limits_{n \to \infty } \sum\limits_{k = 1}^n {E\left[ {{h_k}{X_k}} \right]} : = \sum\limits_{k = 1}^\infty  {E\left[ {{h_k}{X_k}} \right]} \]故我們有
\[\sum\limits_{k = 1}^\infty  {E\left[ {{h_k}{X_k}} \right]}  = E\left[ {\sum\limits_{k = 1}^\infty  {{h_k}{X_k}} } \right]\]亦即 期望值與 infinite summation 可以互換次序。

留言

這個網誌中的熱門文章

[數學分析] 什麼是若且唯若 "if and only if"

數學上的 if and only if  ( 此文不討論邏輯學中的 if and only if,只討論數學上的 if and only if。) 中文翻譯叫做  若且唯若 (or 當且僅當) , 記得當初剛接觸這個詞彙的時候,我是完全不明白到底是甚麼意思,查了翻譯也是愛莫能助,畢竟有翻跟沒翻一樣,都是有看沒有懂。 在數學上如果看到 if and only if  這類的句子,其實是表示一種 雙條件句 ,通常可以直接將其視為" 定義(Definition)" 待之,今天要分享的是這樣的一個句子如何用比較直觀的方法去看他 假設我們現在有 兩個邏輯陳述句 A 與  B. 注意到,在此我們不必考慮這兩個陳述句到底是什麼,想表達什麼,或者到底是否為真(true),這些都不重要。只要知道是兩個陳述即可。 現在,考慮新的陳述:  "A if and only if B" 好了,現在主角登場,我們可以怎麼看待這個句子呢? 事實上我們可以很直覺的把這句子拆成兩部分看待,也就是 "( A if B ) and ( A only if B )" 那麼先針對第一個部分  A if B  來看, 其實這句就是說  if B then A, 更直白一點就是 "if B is true, then A is also true".  在數學上等價可以寫為 "B implies A" .  或者更常用一個箭頭符號來表示 "B $\Rightarrow$  A"  現在針對第二個部分  A only if B 此句意指  "If B is not true, then A is also not true". 所以如果已知 A is true,  那麼按照上句不難推得 B is also true 也就是說  A only if B  等價為 "If A is true then B is also true". 同樣,也可以寫作   "A implies B"   或者用箭頭表示  "A   $\Rightarrow$     B".

[數學分析] 淺談各種基本範數 (Norm)

這次要介紹的是數學上一個重要的概念: Norm: 一般翻譯成 範數 (在英語中 norm 有規範的意思,比如我們說normalization就是把某種東西/物品/事件 做 正規化,也就是加上規範使其正常化),不過個人認為其實翻譯成 範數 也是看不懂的...這邊建議把 Norm 想成長度就好 (事實上norm是長度的抽象推廣), 也許讀者會認為好端端的長度不用,為何又要發明一個 norm 來自討苦吃?? 既抽象又艱澀。 事實上想法是這樣的: 比如說現在想要比較兩個數字 $3$ , $5$ 之間的大小,則我們可以馬上知道 $ 3 < 5 $;同樣的,如果再考慮小數與無理數如 $1.8753$ 與 $\pi$,我們仍然可以比較大小 $1.8753 < \pi = 3.1415...$ 故可以發現我們有辦法對 "純量" 做明確的比大小,WHY? 因為前述例子中 $3$, $5$, $1.8753$ or $\pi$ 其各自的大小有辦法被 "measure "! 但是如果是現在考慮的是一組數字 我們如何去measure 其大小呢?? 比如說 \[x:=[1, -2, 0.1, 0 ]^T \]上式的大小該是多少? 是 $1$? $-2$? $0.1$??? 再者如果更過分一點,我們考慮一個矩陣 \[A = \left[ {\begin{array}{*{20}{c}} 1&2\\ 3&4 \end{array}} \right] \],想要知道這個矩陣的大小又該怎麼辦?? 是 $1$ ? $2$ 還是 $4$ ?..其實現階段我們說不清楚。 也正是如此,可以發現我們確實需要新的 "長度" 的定義來幫助我們如何去 measure 矩陣/向量/甚至是函數的大小。 故此,我們首先定義甚麼是Norm,(也就是把 "長度" or "大小" 的本質抽離出來) ================== Definition: Norm 考慮 $V$ 為一個向量空間(Vector space),則我們說  Norm 為一個函數 $||\cdot|| : V \rightarrow \mathbb{R}$ 且滿足下列性質