跳到主要內容

[隨機過程] 隨機變數 的 賦範向量空間 (Normed Vector Space of random variables)

在分析中,有幾類重要的 函數空間 經常在實際問題中被使用,以下我們給出 隨機變數 (可測函數) 的  $L^p$ 空間之定義 :

=====================
Definition: $L^p$ Space of Random Variable
令 $0<p<\infty$,我們稱 $L^p$ space 為由所有隨機變數 $X$ 所組成的集合且滿足 $
E[|X|^p] < \infty $ 所成的集合,亦即
\[
L^p := \{X: E[|X|^p] < \infty \}
\] 且對任意 $X \in L^p$,我們定義其上的 norm 為
\[
||X||_p := E[|X|^p]^{1/p}
\]=====================

Comment:
1. 上述提及的 $|| \cdot ||_p$ 為 $L^p$ space 的 norm 且滿足下列三個條件
  1. $||X||_p \ge 0$, 且 $||X||_p =0 \Rightarrow X$ 為 隨機變數 (亦即 機率 $P(X = 0) \; \text{almost surely}$)
  2. 對 $a \in \mathbb{R}$,$||aX|| = |a| \cdot ||X||$
  3. 對任意 $X, Y \in L^p$,滿足三角不等式(triangle inequality)
    \[||X+Y||_p \le ||X||_p + ||Y||_p\] 
讀者可自行驗證我們 norm 的定法,亦即 $||X||_p := E[|X|^p]^{1/p}$ 確實滿足上述三個條件。(第三個條件可由 Minkowski's inequality 直接證得。)

2. $L^p$ space 是一個 function space 。


另外我們說 $L^p$ space 確實為一 向量空間。亦即可以在上面定義 向量加法 與 純量乘法 以及其線性組合:

=====================
Fact 1: $L^p$ space 為向量空間 (Vector space)
=====================

Proof:
由 Vector space 定義可知其為具有 加法 與乘法的集合且滿足線性組合規則。故給定 $X,Y \in L^p$ 且  $a,b \in \mathbb{R}$,我們需證明
\[
aX+bY \in L^p
\]亦即須證明 給定 $E[|X|^p]< \infty$ 與 $E[|Y|^p] < \infty$,須證明
\[
E[|aX + aY|^p]< \infty
\]利用 FACT: $|x + y |^p \le 2^p (|x|^p + |y|^p), 0<p<\infty$ 我們可得
\[\begin{array}{l}
E\left[ {|x + y{|^p}} \right] \le {2^p}{\rm{E}}\left[ {(|x{|^p} + |y{|^p})} \right]\\
 \Rightarrow E\left[ {|x + y{|^p}} \right] \le \underbrace {{2^p}}_{{\rm{ < }}\infty }\left( {\underbrace {{\rm{E}}\left[ {|x{|^p}} \right]}_{{\rm{ < }}\infty }{\rm{ + }}\underbrace {{\rm{E}}\left[ {|y{|^p}} \right]}_{{\rm{ < }}\infty }} \right){\rm{ < }}\infty
\end{array}\]故 $aX+bY \in L^p$ $\square$。



=====================
Definition: Convergence in L^p
我們稱 $X_n$ 收斂到 $X$ in mean of order p,記做
\[{X_n}\mathop  \to \limits^{{L^p}} X
\]若下列條件成立
\[
\lim_{n \rightarrow \infty}E[|X_n - X|^p]  =0
\]=====================


接著我們要介紹 $L^p$其上的 Cauchy sequence of random variable


=====================
Definition: Cauchy sequence of random variable in L^p
我們稱 $X_n \in L^p$ 為 一 隨機變數的 sequence 為 Cauchy,若滿足下列條件:
對任意 $\varepsilon >0$ 存在一個 $N>0$ 使得 $n,m \ge N$,我們有
\[
||X_n - X_m ||_p < \varepsilon
\]=====================


=====================
Fact: $L^p$ space 為完備空間( complete space);亦即 任意 Cauchy sequence in $L^p$ 必定在 $L^p$ space 收斂。
=====================
Proof: omitted.

Comment:
1. 任意 complete normed vector space 我們稱為 巴拿赫空間( Banach space).

2. 我們特別有興趣的空間是 $p=2$ 的空間,此空間又稱為 $L^2$ space。此時 $L^2$ norm 可以表示成內積(inner product)的形式;亦即 若我們考慮兩隨機變數 $X,Y \in L^2$,則其 inner product 定為
\[
\left\langle {X,Y} \right\rangle : = E[XY]
\]若 $Y=X$ 則我們有
\[\begin{array}{l}
\left\langle {X,X} \right\rangle : = E[{X^2}] = \left\| X \right\|_2^2\\
 \Rightarrow \left\| X \right\|_2^{} = {\left\langle {X,X} \right\rangle ^{1/2}}
\end{array}\]由於 上述 norm 可由 inner product 推得,故我們又稱 $L^2$ space 為一個 inner product space。

3.  一個 完備 內積空間 (Complete inner-product space) 稱為 希爾伯特空間( Hilbert space)


下面我們看個例子:
Example
考慮 $\{ X_k \}$ 為$L^2$ space 的隨機變數 sequence,現在設  $\sum_{k=1}^\infty |h_k| < \infty$ 且 對任意 $k$, $E[|X_k|^2] \le B$,試證
\[
\sum_{k=1}^\infty h_k X_k \in L^2
\]Proof
首先觀察 partial sum
\[{Y_n}: = \sum\limits_{k = 1}^n {{h_k}} {X_k}
\]想法:
由於 $L^2$ 為 complete space,故我們如果可以證明 $Y_n$ 為 Cauchy,則必存在一個 ranodm variable $Y$ 使得 $Y_n \rightarrow Y \in L^2$那麼我們便可稱此 $Y$ 為我們 partial sum 的 mean square limit $=\sum_{k=1}^\infty h_k X_k \in L^2$。

故現在令 $n > m$ 且觀察
\[{Y_n} - {Y_m} = \sum\limits_{k = 1}^n {{h_k}} {X_k} - \sum\limits_{k = 1}^m {{h_k}} {X_k} = \sum\limits_{k = m + 1}^n {{h_k}} {X_k}
\]欲證明為 Cauchy,則必須要讓 $||Y_n - Y_m||_2 \rightarrow 0$。故我們觀察其 $L^2$ norm:
\[\begin{array}{l}
\left\| {{Y_n} - {Y_m}} \right\|_2^2 = E\left[ {{{\left| {\sum\limits_{k = m + 1}^n {{h_k}} {X_k}} \right|}^2}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = E\left[ {\sum\limits_{k = m + 1}^n {{h_k}} {X_k}\sum\limits_{j = m + 1}^n {{h_j}} {X_j}} \right] = \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {{h_k}{h_j}E\left[ {{X_k}{X_j}} \right]} } \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|\left| {E\left[ {{X_k}{X_j}} \right]} \right|} }
\end{array}\]由 Cauchy-Schwarz inequality $|E[XY]|^2 \le E[X^2] E[Y^2]$ 我們可改寫上式
 \[\begin{array}{l}
\left\| {{Y_n} - {Y_m}} \right\|_2^2 \le \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|\left| {E\left[ {{X_k}{X_j}} \right]} \right|} } \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|\sqrt {E[{X_k}^2]E[{X_j}^2]} } }
\end{array}\]又由假設可知 對任意 $k$, $E[|X_k|^2] \le B$,故我們有
\[\begin{array}{l}
\left\| {{Y_n} - {Y_m}} \right\|_2^2 \le \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|\sqrt {E[{X_k}^2]E[{X_j}^2]} } } \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} \le B\sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|} }  = B{\left( {\sum\limits_{k = m + 1}^n {\left| {{h_k}} \right|} } \right)^2}
\end{array}\]現在我們再由假設  $\sum_{k=1}^\infty |h_k| < \infty$  可知必存在一個數 $A_n$ 使得 $\sum_{k=1}^\infty |h_k|  = A_n < \infty$ 且當 $m \rightarrow \infty$,此數 $A_n$ 亦必須收斂,也就是說 $A_n \rightarrow A < \infty$ 故我們可寫成下式
\[\sum\limits_{k = 1}^\infty  | {h_k}| = {A_n} \Rightarrow \underbrace {\sum\limits_{k = 1}^m | {h_k}|}_{part1} + \underbrace {\sum\limits_{k = m + 1}^\infty  | {h_k}|}_{part2} = {A_n}\]現在若讓 $m \rightarrow \infty$ 則上式中 part 1 必定收斂到 $A$ 故 part 2 必定要收斂到 $0$。亦即
\[\left\| {{Y_n} - {Y_m}} \right\|_2^2 \le B{\left( {\sum\limits_{k = m + 1}^n {\left| {{h_k}} \right|} } \right)^2} \to 0\]故 $Y_n$ 為 Cauchy sequence in $L^2$。現在由 $L^2$ 的完備性,任意 Cauchy sequence 都會在 $L^2$ space 收斂,故我們稱其 $Y_n$ 對應的收斂點為 $Y:= \sum_{k=1}^\infty h_k X_k \in L^2$。至此證畢。$\square$

接著我們看一個 FACT: convergence in $L^p$ $\Rightarrow $ 積分與極限可以互換次序
===================
Fact 2: 若隨機變數的 sequence $Y_n$ 收斂到 $Y$ in $L^p$,則
\[\mathop {\lim }\limits_{n \to \infty } E[{Y_n}] = E[\mathop {\lim }\limits_{n \to \infty } {Y_n}] = E[Y]
\]===================
Proof
我們要證明  $\mathop {\lim }\limits_{n \to \infty } E[{Y_n}] = E[Y]$,亦即要證明
\[\mathop {\lim }\limits_{n \to \infty } \left| {E[{Y_n}] - E[Y]} \right| = 0\]
首先觀察
\[\left| {E[{Y_n}] - E[Y]} \right| = \left| {E[Y_n - {Y}]} \right| \le E\left[ {\left| {Y_n - {Y}} \right|} \right]\]且由假設可知 ${Y_n}\mathop  \to \limits^{{L^p}} Y \Leftrightarrow \mathop {\lim }\limits_{n \to \infty } E[{\left| {{Y_n} - Y} \right|^p}] = 0$  對 $0<p<\infty$故取 $p=1$ 我們有
\[\mathop {\lim }\limits_{n \to \infty } E\left[ {\left| {Y_n - {Y}} \right|} \right] = 0 \Rightarrow \mathop {\lim }\limits_{n \to \infty } E[{Y_n}] = E[Y] \ \ \ \ \square
\]

現在回憶之前的 Example (基於一些假設之下 $\sum_{k=1}^\infty |h_k| < \infty$ 且 對任意 $k$, $E[|X_k|^2] \le B$,),我們知道
\[\sum\limits_{k = 1}^n {{h_k}{X_k}\mathop  \to \limits^{{L^2}} } \sum\limits_{k = 1}^\infty  {{h_k}{X_k}} \]由 Fact 2 可知
\[\sum\limits_{k = 1}^n {{h_k}{X_k}\mathop  \to \limits^{{L^2}} } \sum\limits_{k = 1}^\infty  {{h_k}{X_k}}  \Rightarrow \mathop {\lim }\limits_{n \to \infty } E\left[ {\sum\limits_{k = 1}^n {{h_k}{X_k}} } \right] = E\left[ {\sum\limits_{k = 1}^\infty  {{h_k}{X_k}} } \right]
\]又注意到
\[\mathop {\lim }\limits_{n \to \infty } E\left[ {\sum\limits_{k = 1}^n {{h_k}{X_k}} } \right] = \mathop {\lim }\limits_{n \to \infty } \sum\limits_{k = 1}^n {E\left[ {{h_k}{X_k}} \right]} : = \sum\limits_{k = 1}^\infty  {E\left[ {{h_k}{X_k}} \right]} \]故我們有
\[\sum\limits_{k = 1}^\infty  {E\left[ {{h_k}{X_k}} \right]}  = E\left[ {\sum\limits_{k = 1}^\infty  {{h_k}{X_k}} } \right]\]亦即 期望值與 infinite summation 可以互換次序。

留言

這個網誌中的熱門文章

[分享] 台灣國內免費開放式課程推薦

近幾年由MIT開啟的開放式課程風潮 (MIT-OCW),可以說是讓國內外各大學都開始思考未來教育方式與開放式課程的之間的連結。也使得許多大型開放式課程(Massive open online course, Mooc)聯盟建立起各自的一片天地,比如個人最為推薦的 CourseraedX (目前世界最具規模的跨校大型開放式課程,由全球各個頂尖大學提供線上課程供學生免費學習的網路平台,具備線上評分/繳交作業/考試/表現完整可以得到修業證書的系統)。

不過慶幸的是,其實台灣也提供了非常多相當相當棒的開放式課程(OCW/Mooc),可以讓大家自由而且免費的線上學習,除了免除了語言上的隔閡,也讓以往沒有機會好好學習的人 (ex: 我),有機會透過網路重拾書本,進入大學殿堂再次充電。在這邊跟大家介紹幾個,我個人常去瀏覽的國內開放式課程,
交大開放式課程 (理/工/電資學院課程豐富完整,且有豐富的產/官/學/界各領域人士演講)台大開放式課程 (大量通識類/文史哲課程)清大開放式課程 (自然科學/工程科學課程豐富)台灣開放式課程聯盟 (統合各校開放式課程的總站)ewant 育網開放教育平台 (台灣/大陸交大與台灣其他學校合開課程)台灣均一教育平台 (參考國外可汗學院 (Khan Academy) 設計的互動學習網站,有許多豐富的國小/國中高中/的數理科課程:尤其以數學最為完整。)
另外在此推薦自己上過的幾門課程,因為個人是理工背景,推薦的課程多偏向理工科,但也有相當多文史哲課程都非常豐富且有趣,老師們也都教得很棒,收穫很多,在此分享給大家

==============
數理類 大學部課程:

微積分 
交大OCW: 微積分 I, II - 莊重 教授 清大OCW: 微積分 I, II - 高淑蓉 教授 (高老師的微積分風格嚴謹,整體課程頗有高微的味道,個人非常欣賞)清大OCW: 高等微積分 I - 高淑蓉 教授 ewant :  微積分 - 政大 蔡炎龍 教授 (適合微積分初學者,課程採用 互動數學軟體 Geogebra )台大OCW: 高等微積分 - 陳金次 教授台大OCW: 微積分I ,II  - 齊震宇 教授 ( 適合主修數學的學生,適合微積分初學者)台大OCW: 分析 I, II - 齊震宇 教授線性代數 交大OCW: 線性代數 I, II -莊重 教授
(莊老師講授非常清楚,…

[數學分析] 淺談各種基本範數 (Norm)

這次要介紹的是數學上一個重要的概念:

Norm:一般翻譯成範數
(在英語中 norm 有規範的意思,比如我們說normalization就是把某種東西/物品/事件 做 正規化,也就是加上規範使其正常化),不過個人認為其實翻譯成 範數 也是看不懂的...這邊建議把 Norm 想成長度就好 (事實上norm是長度的抽象推廣),

也許讀者會認為好端端的長度不用,為何又要發明一個 norm 來自討苦吃?? 既抽象又艱澀。

事實上想法是這樣的:
比如說現在想要比較兩個數字 $3$ , $5$ 之間的大小,則我們可以馬上知道 $ 3 < 5 $;同樣的,如果再考慮小數與無理數如 $1.8753$ 與 $\pi$,我們仍然可以比較大小 $1.8753 < \pi = 3.1415...$ 故可以發現我們有辦法對 "純量" 做明確的比大小,WHY? 因為前述例子中 $3$, $5$, $1.8753$ or $\pi$ 其各自的大小有辦法被 "measure "!

但是如果是現在考慮的是一組數字 我們如何去measure 其大小呢?? 比如說
\[x:=[1, -2, 0.1, 0 ]^T
\]上式的大小該是多少? 是 $1$? $-2$? $0.1$???
再者如果更過分一點,我們考慮一個矩陣
\[A = \left[ {\begin{array}{*{20}{c}}
1&2\\
3&4
\end{array}} \right]
\],想要知道這個矩陣的大小又該怎麼辦?? 是 $1$ ? $2$ 還是 $4$ ?..其實現階段我們說不清楚。

也正是如此,可以發現我們確實需要新的 "長度" 的定義來幫助我們如何去 measure 矩陣/向量/甚至是函數的大小。

故此,我們首先定義甚麼是Norm,(也就是把 "長度" or "大小" 的本質抽離出來)

==================
Definition: Norm
考慮 $V$ 為一個向量空間(Vector space),則我們說  Norm 為一個函數 $||\cdot|| : V \rightarrow \mathbb{R}$ 且滿足下列性質:

(a) $||v|| \geq 0$, $||v||=…