[機率論] 多變數連續映射保持機率收斂

以下我們介紹機率收斂用的推廣型連續映射定理。一些先備知識如下

Definition (Norms)

令 $\mathbf{x} \in \mathbb{R}^k$。則標準 Euclidean norm $\|\mathbf{x}\|:=\sqrt{\sum_{i=1}^k x_i^2}$。

Definition (Tightness of the law of a random vector)

令 $(\Omega, \mathcal{F}, P)$ 為機率空間 且 $\mathbf{X}$ 為 $\mathbb{R}^k$ 上的隨機向量，記其在 $(\mathbb{R}^k,\mathcal{B}(\mathbb{R}^k))$ 上的分佈為 $\mu_X$滿足 $$\mu_X(A) := P(X^{-1}(A)) = P(\{\omega \in \Omega: X(\omega) \in A\}), \qquad A \in \mathcal{B}(\mathbb{R}^k)$$ 我們說 $\mu_X$（或 $\mathbf{X}$ 的分佈）是  tight  若 對任意 $\varepsilon>0$，存在常數 $M>0$ 使得 \[ {P}(\|\mathbf{X}\|>M) = \mu_X(\{\mathbf{x}:\|\mathbf{x}\|>M\}) < \varepsilon \] 

Remark. 上述條件等價於 \[ \lim_{M\to\infty} {P}(\|\mathbf{X}\|>M)=0. \] 因此，給定任意 $\eta>0$，存在 $M>0$ 使得 \[ {P}(\|\mathbf{X}\|>M) < \frac{\eta}{2}, \quad\text{亦即}\quad {P}(\|\mathbf{X}\|\le M) > 1-\frac{\eta}{2}. \]

Lemma. 任意 $\mathbb{R}^k$-valued 隨機向量的分布都是 tight

Proof.  令 $\mathbf{X} : \Omega \to \mathbb{R}^k$ 為隨機向量，其分佈記作 $\mu_X$。由於 $\mu_X$ 是機率測度，故 $\mu_X(\mathbb{R}^k) = 1$。注意到全體 $\mathbb{R}^k$ 空間可以寫成compact sets的遞增連集極限，亦即 $$\mathbb{R}^k = \cup_{M=1}^\infty [-M, M]^k$$令 $K_M:=[-M, M]^k $則對任意 $M \in \mathbb{N}$，注意到我們有 $K_{M} \subset K_{M+1}$，亦即 $\{K_M\}$ 為遞增集合族。故由機率測度對遞增集族的連續性可得 $$1=\mu_X(\mathbb{R}^k) = \mu_X(\cup_{M=1}^\infty [-M, M]^k) = \lim_{M \to \infty} \mu_X([-M, M]^k) $$因此由極限定義可知，對任意 $\varepsilon >0$，存在$N  \in \mathbb{N}$ 使得 $M \geq N$, 我們有 $|1-\mu_X(K_M)| <\varepsilon$，由於 $\mu_X(K_M) \leq 1$，我們可去掉絕對值並將不等式等價改寫為 $\mu_X(K_M) > 1-\varepsilon$，亦即 $$\mu_X(\{ \mathbf{x} : \|\mathbf{x}\| > M\}) < \varepsilon$$

Definition (Convergence in Probability Vector)

令 $\{\mathbf{X}_n\}$ 為 $\mathbb{R}^k$ 上的隨機向量序列，令 $\mathbf{X} \in \mathbb{R}^k$ 為一隨機向量。我們說 $\mathbf{X}_n$機率收斂(convergence in probability)到 $\mathbf{X}$，記作 $\mathbf{X}_n \overset{P}{\to} \mathbf{X}$，若下列條件成立：對任意 $\varepsilon >0$， $$P(\|\mathbf{X}_n - \mathbf{X}\|\geq \varepsilon) \to 0$$ 

有了上面的定義，我們可以給出多變數連續映射定理的敘述以及證明。

Theorem (Multivaraite Continuity Mapping): 令 $\{\mathbf{X}_n\}$ 為 $\mathbb{R}^k$ 上的隨機向量序列，令 $\mathbf{X} \in \mathbb{R}^k$ 為一隨機向量。現在取 $g: \mathbb{R}^k \to \mathbb{R}^m$ 為連續函數。若 $\mathbf{X}_n \overset{P}{\to} \mathbf{X}$ 當 $n \to\infty$，則 $$ g(\mathbf{X}_n) \overset{P}{\to} g(\mathbf{X})$$ 當 $n \to\infty$

Proof. 令 $\varepsilon >0$ 且 $\eta >0$ 。首先透過 localization 建構 compact ball ：由於 $\mathbf{X}$ 為隨機向量，由 tightness 性質可知，存在一個足夠大的常數 $M > 0$ 使得

$$ P(\|\mathbf{X}\| > M) < \frac{\eta}{2} $$

現在令 $$ S:= \overline{B}_{M+1}(\mathbf{0}) =\{\mathbf{z} \in \mathbb{R}^k: \|\mathbf{z}\| \leq M+1\}$$ 為半徑 $M+1$ 且球心在 $\mathbf{x} = \mathbf{0}$ 的closed ball。由 Heine-Borel定理，$S$ 為 closed bounded set，故 $S$ 為 $\mathbb{R}^k$中 compact set (緊緻集)。

因為 $g$ 為在 $\mathbb{R}^k$ 連續函數，故將 $g$ 限制在緊緻集 $S \subset \mathbb{R}^k$ 具有uniform continuity (均勻連續性)。這表示存在 $\delta > 0$ (不失一般性情況下，選 $\delta < 1$) 使得對所有 $\mathbf{x}, \mathbf{y} \in S$，我們有

$$\|\mathbf{x} - \mathbf{y}\| < \delta \implies \|g(\mathbf{x}) - g(\mathbf{y})\| < \varepsilon$$

現在來分析事件 $\{\|g(\mathbf{X}_n) - g(\mathbf{X})\| \geq \varepsilon\}$。如果我們限制在事件 $$E=\{\|\mathbf{X}\| \leq M\} \cap \{ \|\mathbf{X}_n - \mathbf{X}\| < \delta \}$$ 之下，則

1. $\| \mathbf{X}\| \leq M < M+1$ 可知 $\mathbf{X} \in S$。

2. 由 三角不等式 (or Minkowski不等式) $$\|\mathbf{X}_n\| = \|\mathbf{X}_n - \mathbf{X} + \mathbf{X}\| \leq \|\mathbf{X}_n - X\| + \|\mathbf{X}\| < M+1$$故 $\mathbf{X}_n \in S$。

由於 $\mathbf{X}_n, \mathbf{X} \in S$ 。uniform continuity 告訴我們 $$\{\|\mathbf{X}\| \leq M\} \cap \{ \|\mathbf{X}_n - \mathbf{X}\| < \delta\} \implies \{\|g(\mathbf{x}) - g(\mathbf{y})\| < \varepsilon\}$$ 這意味著，若 $\|\|g(\mathbf{x}) - g(\mathbf{y})\| \geq \varepsilon\|$ 發生，則必然是上述事件 $E$不成立 (取 contrapositvie 敘述)： $$\{\|g(\mathbf{x}) - g(\mathbf{y})\| \geq \varepsilon \} \subset \{ \|\mathbf{X}\| > M \} \cup \{\|\mathbf{X}_n - \mathbf{X} \| \geq \delta \}$$ 兩邊同取機率測度得到

\begin{align*} P(\|g(\mathbf{x}) - g(\mathbf{y})\| \geq \varepsilon ) & \leq P( \|\mathbf{X} > M\| ) + P( \|\mathbf{X}_n - \mathbf{X} \| \geq \delta )\\ & < \frac{\eta}{2} + P( \|\mathbf{X}_n - \mathbf{X} \| \geq \delta ) \qquad (*)\end{align*}

因為 $\mathbf{X}_n \overset{P}{\to} \mathbf{X}$，故 $P( \|\mathbf{X}_n - \mathbf{X} \| \geq \delta ) \to 0$ 亦即，存在一個夠大的 $N$ 使得當 $n\geq N$，我們有

$$ P( \|\mathbf{X}_n - \mathbf{X} \| \geq \delta ) < \frac{\eta}{2} $$ 當 $n\geq N$時，式 $(*)$ 變成 $$P(\|g(\mathbf{x}) - g(\mathbf{y})\| \geq \varepsilon )  < \frac{\eta}{2} + \frac{\eta}{2} < \eta$$ 由於 $\eta$ 是任取的，故我們推得 $P(\|g(\mathbf{x}) - g(\mathbf{y})\| \geq \varepsilon )  \to 0$

[測度論] 期望值下確界與函數值下確界之恆等式

 Claim: 令 $(X, \mathcal{F})$ 為可測空間。令 $g: X \to \mathbb{R}$ 為可測函數，則 $$\inf_{\mathbb{P} \in \mathcal{P}(X)} \int_X g(x) d\mathbb{P}(x) = \inf_{x \in X} g(x)$$ 其中 $\mathcal{P}(X)$ 為 $(X, \mathcal{F})$ 上所有機率測度所成之集合。

Proof: 先證明 $\geq$: 對任意機率測度 $\mathbb{P}$，我們有 $$ g(x) \geq \inf_{x \in X}g(x) $$ 故取期望值不等式仍成立，亦即 $$ \mathbb{E}^\mathbb{P}[g(X)] = \int_X g(x) d\mathbb{P}(x) \geq \inf_{x \in X} g(x) $$  

以下接著證明 $\leq$: 固定 $\varepsilon > 0$，則由 infimum 定義，存在 $x_\varepsilon \in X$ 滿足 $$ g(x_\varepsilon) \leq \inf_x g(x) + \varepsilon \qquad (*) $$ 令 $\mathbb{P}:=\delta_{x_\varepsilon}$ (Dirac at $x_\varepsilon$ 滿足 $\delta_x(A):=1_{x \in A}$, $A \in \mathcal{F}$ ) 則 $$ \mathbb{E}^\mathbb{P}[g(X)] = \int_X g(x) d\delta_{x_\varepsilon} = g(x_\varepsilon) $$ 由$(*)$我們進一步得到 $$ \int_X g(x) d\delta_{x_\varepsilon} = g(x_\varepsilon) \leq \inf_x g(x) + \varepsilon $$ 對兩邊同取 $\inf_\mathbb{P}$ 可得 $$ \inf_\mathbb{P} \int_X g(x) d\mathbb{P}(x) \leq \inf_x g(x) + \varepsilon $$ 令 $\varepsilon \downarrow 0$ 得到 $\inf_{\mathbb{P} \in \mathcal{P}(X)} \int_X g(x) d\mathbb{P}(x) \leq \inf_{x \in X} g(x)$

Remark: (Dirac 測度不需單點可測）：在任意可測空間 $(X,\mathcal F) $上，對每個 $x\in X$ 定義 $\delta_x(A)=\mathbf 1_{\{x\in A\}}$ 其中 $A \in \mathcal F$，則 $\delta_x$ 是機率測度，且對一切 $\mathcal F$-可測 $g$ 有 $\int g\,d\delta_x=g(x)$。因此上述證明中以 $\delta_{x_\varepsilon}$ 作為選擇的測度不需要額外假設 $\{x\}\in\mathcal F$。

[測度論] 關於 Almost Everywhere

給定測度空間 $(X,\mathcal{M},\mu)$我們說 某性質 $P$ almost everywhere 成立 意思是 對所有非零測度集合此性質 $P$ 都成立。(換言之，除零測度集之外，此性質 $P$ 都成立。)

Lemma:
假設 $f(x) \geq 0$ 且 $f$ 為 $(\mathcal{M}, \mathcal{B}_{\mathbb{R}})$ 可測。假設 $\int f d\mu = 0$ 則 $f(x) = 0$ almost everywhere (i.e., $\mu\{x: f(x)>0\} = 0$)

Proof:
令 $E:= \{x:f(x)>0\}$，我們要證明 $\mu(E) = 0$ 。為此，我們首先證明 $\mu(E_n) = 0$ 其中 $E_n :=\{x: f(x) > 1/n\}$。觀察以下事實 $\cup_n E_n = E$ 且 $E_n \uparrow E$。

觀察
\[
\mu(E_n) := \int 1_{E_n}  \;\;\;\;(*)
\]注意到對任意 $x\in E_n$，我們有 $f(x) > 1/n $，此等同於 $n f(x) > 1$ ，故對任意 $x\in E_n$， $nf(x) 1_{E_n}(x) > 1 \cdot 1_{E_n}(x)$ 。將此用到 $(*)$ 我們得到
\[
\mu(E_n) = \int 1_{E_n} < \int nf(x)1_{E_n} \leq \int nf(x) =n \underbrace{\int f(x) d\mu(x)}_{=0}
\]亦即
\[
\mu(E_n) = 0
\]最後我們檢驗
$$\mu(E) = \mu(\cup_n E_n) = \lim_n \mu(E_n) = 0$$即為所求。$\square$


Lemma 2:
給定 測度空間 $(X,\mathcal{M}, \mu)$ 且 $\mu$ 為complete measure，若 $f$ 為 $(\mathcal{M},\overline{\mathcal{B}}_{\mathbb{R}})$ measurable 且 $f=g$ almost everywhere 則 $g$ 亦為 $(\mathcal{M},\overline{\mathcal{B}}_{\mathbb{R}})$ measurable。

Proof:
要證明 $g$ 為 $(\mathcal{M},\overline{\mathcal{B}}_{\mathbb{R}})$ measurable，我們令 $I:=[a,\infty] \in \overline{\mathcal{B}}_{\mathbb{R}} $ 且僅需證明
$$
g^{-1}(I) \in \mathcal{M}
$$
為此，我們定義集合
\[
M:=\{x: f(x) \neq g(x)\}
\]且 $M \subset N$ 其中 $N$ 為 null set 滿足 $N \in \mathcal{M}$，亦即 $\mu(N)=0$ (故 $
\mu(M)=0$)。觀察
$$
g^{-1}(I) = \underbrace{(g^{-1}(I) \cap M^c)}_{\in \mathcal{M}} \cup \underbrace{(g^{-1}(I)\cap M)}_{\subset N \in \mathcal{M}} \in \mathcal{M}
$$至此證明完畢。$\square$

Lemma 3
令 $\{f_n\}$ 為在 $(X,\mathcal{M},\mu)$ 上的 measurable 函數數列，若 $\mu$ 為 complete measure，且 $\lim_n f_n(x)  = f(x)$ almost everywhere 則 $f$ 為 measurable 。

Proof:
注意到如果 $\lim_n f_n(x) = f(x)$ 逐點收斂，則 $f$ 必然為 measurable (因為 $\lim f_n = \limsup f_n = \liminf_n f_n$ 且 $\limsup f_n$ 與 $\liminf f_n$ 都 measurable)。若 $\lim_n f_n(x) = f(x)$ almost everywhere 令 $N:=\{x: \lim_n f_n(x) \text{ does not exists}\}$ 且 $N \in \mathcal{M}$ 且 $\mu(N)=0$。定義新的函數 $g_n : X \to [-\infty,\infty]$ 滿足
\[ g_n(x):= \begin{cases}
      f_n(x) & x \in N^c \\
      0 & x \in N
   \end{cases}
\]則對任意 $x\in X$，$\lim_n g_n(x)$ 存在，因為
\[ \lim_n g_n(x):= \begin{cases}
      f(x) & x \in N^c \\
      0 & x \in N
   \end{cases} \;\;\;\;(*)
\]將此極限記作 $g(x) := \lim_n g_n(x)$。由於 $N^c,N \in \mathcal{M}$ 故 $g$ 為 mesurable。除此之外，由 $(*)$ 我們得到 $g(x) = f(x)$ almost everywhere。由 Lemma 2 可知 $f$ 為 mesurable。至此證明完畢。 $\square$

[測度論] Almost Uniform Convergence (1) 定義 與 經典例子

Definition: 令 $f_n, f$ 為 complex-valued measurable 函數，我們說 $f_n \to f$ almost uniformly 若下列條件成立：
對任意 $\varepsilon>0$，存在可測集 $E_\varepsilon$ 滿足 $\mu(E_\varepsilon)<\varepsilon$ 使得
\[
f_n \to f \text{ uniformly on $E_\varepsilon^c$}
\]換言之，$\sup_{x \in X\setminus E_\varepsilon} |f_n(x) - f(x)| < \varepsilon$。

Example:
考慮 測度空間 $([0,1],\mathcal{L},m)$，取 $f_n(x) := x^n$ ，則
1. $f_n \not \to f$ uniformly
2. $f_n \to f$ almost uniformly

Proof 1.:
首先注意到 $$
\lim_n f_n(x) := f(x) =  \begin{cases}
      0 & x \in [0,1) \\
      1 & x = 1
   \end{cases}
$$ 觀察 $$
\sup_{x \in [0,1]} |f_n(x) - f(x)| = 1 \not\to 0
$$故 $f_n \not\to f$ uniformly。$\square$

Proof 2: 令 $\varepsilon \in (0,1)$ 取 $E_\varepsilon :=(1-\varepsilon/2, 1]$ 則 $\mu(E_\varepsilon) = \varepsilon/2 < \varepsilon$ 且對任意 $x \in [0,1] \setminus E_\varepsilon$ 而言，
\begin{align*}
\sup_{x \in [0,1]\setminus E_\varepsilon} |f_n(x) - f(x)| &=  \sup_{x \in [0, 1-\varepsilon/2]}|x^n-0|\\
&=(1-\varepsilon/2)^n  \to 0 \;\; \text{ as $n \to \infty$}
\end{align*}
至此證明完畢。$\square$

[測度論] DCT 應用 (2) - Simple Fubini-Tonollei Theorem

Theorem:
假設 $\{f_n\}\subset L^1$ 使得 $\sum_{n=1}^\infty\int |f_n| <\infty$。則
(a) $\sum_{n=1}^\infty f_n$ almost everywhere 收斂 。
(b) $\int \sum_{n=1}^\infty f_n = \sum_{n=1}^\infty \int f_n$。

Proof:(a) 令$\{f_n\}\subset L^1$ 使得 $\sum_{n=1}^\infty\int |f_n| <\infty$，則我們有
\[
\int \sum_{n=1}^\infty |f_n| = \sum_{n=1}^\infty\int |f_n|   <\infty
\]故我們知道 $ \sum_{n=1}^\infty |f_n| \in L^1$ 且 $\sum_{n=1}^\infty |f_n|<\infty$ almost everywhere。此表明對 almost every $x$， $\sum_{n=1}^\infty f_n(x) $ (絕對)收斂。令極限
$$ f(x):=\lim_{N\to \infty} \sum_{n=1}^N f_n(x) $$ 故我們僅需證明此 $f \in L^1$。注意到 對任意 $N$， $\lim_N \sum_{n=1}^N f_n \leq \lim_N \sum_{n=1}^\infty |f_n|$ a.e. 故 $f \leq \lim_N \sum_{n=1}^N |f_n|$ a.e. 由於 $\lim_N \sum_{n=1}^N |f_n| \in L^1$ 故 $f \in L^1$。

Proof (b)
要證明 $\int \sum_{n=1}^\infty f_n = \sum_{n=1}^\infty \int f_n$。首先觀察
\[
 \int \sum_{n=1}^N f_n = \sum_{n=1}^N \int  f_n \;\;\;\; (*)
\]由於 $\sum_{n=1}^N f_n \leq \sum_{n=1}^\infty |f_n| \in L^1$ 且 $\sum_{n=1}^N f_n \to f$ a.e. in $L^1$ ，由 Dominated Convergence Theorem 我們有\[
\lim_{N\to \infty} \int \sum_{n=1}^N f_n =  \int \lim_{N\to \infty}\sum_{n=1}^N f_n = \int \sum_{n=1}^\infty f_n\;\;\;\; (**)
\]故對 $(*)$兩邊同取極限並利用上述結果 $(**)$ 可得
\[
\int \sum_{n=1}^\infty f_n = \sum_{n=1}^\infty \int f_n
\]至此證明完畢。$\square$

[測度論] indicator function 為可測函數的充分必要條件

令 $(X,\mathcal{M})$ 與 $(\mathbb{R},\mathcal{L})$ 為可測空間。

Fact: 令 $1_E: (X,\mathcal{M}) \to (\mathbb{R},\mathcal{L})$ 滿足
\[ 1_E(x):=\begin{cases}
      1 & x \in E\\
      0 & x \notin E
   \end{cases}
\]則 $1_E$ 為可測函數 若且唯若 $E \in \mathcal{M}$。

Proof:

$(\Leftarrow)$ 假設 $E \in \mathcal{M}$。我們要證明 $1_E$ 為可測函數。為此，令 $I:=(-\infty, \alpha]$ 為任意區間，我們僅需證明 $1_E^{-1}(I) \in \mathcal{M}$。若 $\alpha \leq 0$，則
$$
1_E^{-1}(I) =\{x:1_E(x) < \alpha\}=\varnothing \in \mathcal{M}
$$ 若 $\alpha >1$ 則
$$
1_E^{-1}(I) =\{x:1_E(x)<\alpha\}=X \in \mathcal{M}
$$最後，若 $0<\alpha \leq 1$ 則
$$
1_E^{-1}(I) =\{x:1_E(x)<\alpha\}=E^c
$$ 由於 $E\in \mathcal{M}$ 且 $\mathcal{M}$ 為 $\sigma$-algebra，故 $E^c \in \mathcal{M}$。至此我們得證 $1_E$ 為可測函數。

$(\Rightarrow)$ 假設 $1_E$ 為可測函數，我們要證明 $E \in \mathcal{M}$。由於 $1_E$ 為可測函數，對任意區間 $I=(-\infty,\alpha]$ 而言，$1_E^{-1}(I) \in \mathcal{M}$。故取 $\alpha =1/2$ 我們有
$$
1_E^{-1}(I):=\{x:\chi_E(x)<1/2\} = E^c \in \mathcal{M}
$$由於 $\cal M $為 $\sigma$-algebra，故 $E\in \mathcal{M}$。$\square$

[測度論] 有限測度空間中，$f_n\to f$ a.e. $\Rightarrow f_n \to f$ in measure

考慮測度空間 $(X,\mathcal{M},\mu)$
Theorem: 令 $\mu(X) <\infty$ 且 $f_n \to f$ a.e. 則 $f_n \to f$ in measure。
Proof:
不失一般性的情況下，假設 $f_n \to f$ everywhere。令 $\alpha > 0$ 我們要證明
\[
\lim_{n}\mu(x: |f_n(x) - f(x)| \geq \alpha ) = 0
\]因為 $f_n \to f$ everywhere (i.e., $f_n \to f$ pointwise) 由極限定義，我們知道給定任意 $\varepsilon >0$ 存在 $N:=N(x)>0$ 使得當 $n\geq N$，
\[
|f_n(x) - f(x)| \leq \varepsilon
\]這表明
\[
x \in \bigcup_N \bigcap_{n \geq N(x)} \{|f_n(x) - f(x)|\leq \varepsilon\}
\]且
\[
X:= \bigcup_N \bigcap_{n \geq N(x)} \{|f_n(x) - f(x)|\leq \varepsilon\}
\]故
\[
X^c = \emptyset  = \bigcap_N \bigcup_{n\geq N(x)} \{|f_n(x) - f(x)|> \varepsilon\}
\]令 $E_N:= \bigcup_{n\geq N(x)} \{|f_n(x) - f(x)|> \varepsilon\} $ 且注意到 $E_N$ 對 $N$ 遞減，且 $\mu(X) <\infty$ 由 測度的 下連續性，我們有
\[
\underbrace{\mu(\cap_N E_N)}_{=\mu(\emptyset)=0} = \lim_N \mu(E_N)
\]故我們得到
\[
\mu(E_N) = \mu(\bigcup_{n \geq N(x)} \{|f_n(x) - f(x)|> \varepsilon\}) \to \mu(\emptyset) = 0
\]將其換成較小的集合上述結果仍然成立，亦即
\[
\mu( \{|f_n(x) - f(x)|> \varepsilon\}) \to  0
\]此表明 $f_n \to f$ in meausre。至此證明完畢。

[測度論] Dominated Convergence Theorem

Theorem: Dominated Convergence Theorem DCT  (real-valued functions)
令 sequence $\{f_n\} \subset L^1$ 滿足
(a) $f_n \to f$ almost everywhere
(b) 存在非負函數 $g \in L^1$ 使得 $|f_n| \leq g$ almost everywhere for all $n$
則\[
f \in L^1
\]且
\[
\lim_n \int f_n =\int f
\]
Proof:  先證 $f \in L^1$：由於 $f_n \to f$ almost everywhere  且 $f_n \in L^1$，可知 $f $ measurable (see Proposition 2.11/2.12 )。由於 $|f_n| \leq g$ almost everywhere 故 $|f| \leq g$ almost everywhere，故 $f \in L^1$。

接著我們證 $\lim_n \int f_n =\int f$：注意到 $|f_n| \leq g$ almost everywhere，故我們有
\[
-g \leq f_n \leq g \text{ almost everywhere}
\]換言之，我們有
\[
f_n + g \geq 0\text{ almost everywhere}
\]與
\[
g-f_n \geq 0 \text{almost everywhere}
\]也就是說 $\{f_n + g\}, \{g-f_n\} \in L^+$。由 Fatou Lemma 我們有
\[
\begin{gathered}
  \int {\mathop {\lim \inf }\limits_n } ({f_n} + g) \leqslant \lim \inf \int {({f_n} + g)} ; \hfill \\
  \int {\mathop {\lim \inf }\limits_n } (g - {f_n}) \leqslant \lim \inf \int {(g - {f_n})}  \hfill \\
\end{gathered} \;\;\; (*)
\]注意到上述積分不等式左方，積分項有以下結果 (利用 limsup or liminf 的性質)，我們有 $\mathop {\lim \inf }\limits_n \left( {{f_n} + g} \right) = g + \mathop {\lim \inf }\limits_n {f_n}$ 以及 $$\mathop {\lim \inf }\limits_n \left( {g - {f_n}} \right) = g + \mathop {\lim \inf }\limits_n \left( { - {f_n}} \right) = g - \mathop {\lim \sup }\limits_n {f_n}
$$同理，對於積分不等式右方，我們有
\[\lim \inf \int {({f_n} + g)}  = \lim \inf \left( {\int {{f_n} + \int g } } \right) = \lim \inf \int {{f_n} + \int g } \]與
\[\lim \inf \int {(g - {f_n})  = \int {g + \lim \inf \left( { - \int {{f_n}} } \right)}  = \int {g - \lim \sup \int {{f_n}} } } \]
將此結果帶入 $(*)$ 我們有
\begin{align*}
  &\left\{ \begin{gathered}
  \int {\mathop {\lim \inf }\limits_n } ({f_n} + g) \leqslant \lim \inf \int {({f_n} + g)} ; \hfill \\
  \int {\mathop {\lim \inf }\limits_n } (g - {f_n}) \leqslant \lim \inf \int {(g - {f_n})}  \hfill \\
\end{gathered}  \right. \hfill \\
   &\Rightarrow \left\{ \begin{gathered}
  \int g  + \int {\mathop {\lim \inf }\limits_n } {f_n} \leqslant \lim \inf \int {{f_n} + \int g } ; \hfill \\
  \int g  - \int {\mathop {\lim \sup }\limits_n {f_n}}  \leqslant \int {g - \lim \sup \int {{f_n}} }  \hfill \\
\end{gathered}  \right. \hfill \\
   &\Rightarrow \left\{ \begin{gathered}
  \int {\mathop {\lim \inf }\limits_n } {f_n} \leqslant \lim \inf \int {{f_n}} ; \hfill \\
   - \int {\mathop {\lim \sup }\limits_n {f_n}}  \leqslant  - \lim \sup \int {{f_n}}  \hfill \\
\end{gathered}  \right. \hfill \\
\end{align*} 注意到 $f = \lim_n f_n = \liminf_n f_n = \limsup_n f_n$ ，而且 $\{x: \lim_n f_n \neq f(x)\}$ 的測度為 $0$，故 $\int f = \int \liminf f_n  = \int \limsup f_n$。 現在我們進一步改寫上式
\[\begin{gathered}
  \left\{ \begin{gathered}
  \int f  \leqslant \lim \inf \int {{f_n}} ; \hfill \\
  \int f  \geqslant \lim \sup \int {{f_n}}  \hfill \\
\end{gathered}  \right. \hfill \\
   \Rightarrow \lim \sup \int {{f_n} \leqslant \int {f \leqslant \lim \inf \int {{f_n}} } }  \hfill \\
\end{gathered} \]亦即 $\int f_n \to \int f$。至此得證。$\square$



Remarks:
$\liminf (a_k + b+k) = \liminf a_k + \liminf b_k$ 不全為然。Counter example?

上述等式成立僅僅 $\lim a_k = a$ 則 $\liminf_k (a_k + b_k) = a+\liminf b_k$。

[測度論] 何時 兩可測函數相乘之積分 會與 個別先做積分後再相乘 相等？

Theorem: 
令 $(X,\mathcal{M,\mu})$ 與 $(Y, \mathcal{N},\nu)$ 為任意測度空間。
(a) 若 $f: X \to \mathbb{R}$ 為 $\mathcal{M}$-measurable 且 $g: Y \to \mathbb{R}$ 為  $\mathcal{N}$-measurable 且我們定喔 $h(x,y):=f(x)g(y)$ 則 $h$ 為 $\mathcal{M} \otimes \mathcal{N}$-measurable。
(b) 若 $f \in L^1(\mu)$ 且 $g \in L^1(\nu)$，則 $h \in L^1(\mu \times \nu)$ 且
\[
\int h \; d(\mu \times \nu) = \left( \int f d\mu \right) \left( \int g d \nu \right)
\]

Proof (a):
令 $a \in \mathbb{R}$，考慮 $A:=[a,\infty) \in \mathcal{B}_{\mathbb{R}}$我們要證明
\[
h^{-1}(A) \in \mathcal{M} \otimes \mathcal{N}
\]注意到因為 $f: X \to \mathbb{R}$ 為 $\mathcal{M}$-measurable 且 $g: Y \to \mathbb{R}$ 為  $\mathcal{N}$-measurable ，我們有 $f^{-1}([a,\infty)) \in \mathcal{M}$ 與 $g^{-1}([a,\infty)) \in \mathcal{N}$ 。

現在定義兩個新函數 $F,G: X\times Y \to \mathbb{R}$ 分別滿足 $F(x,y) := f(x), \forall y \in Y$ ，$G(x,y):=g(y), \forall x \in X$，則我們可知 $h $ 為 $F$ 與 $G$ 相乘，亦即 $h=FG$。現在觀察
\begin{align*}
 {F^{ - 1}}(A) &= \left\{ {(x,y) \in X \times Y:F(x,y) \in [a,\infty )} \right\}  \\
  &  = \left\{ {(x,y) \in X \times Y:f\left( x \right) \in [a,\infty ),\forall y \in Y} \right\}  \\
  &  = \left\{ {x \in X:f\left( x \right) \in [a,\infty )} \right\} \times Y  \\
  &  = \underbrace {{f^{ - 1}}\left( {[a,\infty )} \right)}_{\in \mathcal M} \times \underbrace Y_{ \in {\mathcal N}} \in {\mathcal M} \otimes {\mathcal N}
\end{align*}
同理
\begin{align*}
 {G^{ - 1}}(A) &= \left\{ {(x,y) \in X \times Y: G(x,y) \in [a,\infty )} \right\}  \\
  &  = \left\{ {(x,y) \in X \times Y:g\left( x \right) \in [a,\infty ),\forall x \in X} \right\}  \\
  &  =  X \times  \left\{ {y \in Y : g\left( x \right) \in [a,\infty )} \right\} \\
  &  = \underbrace X_{ \in {\mathcal M}} \times \underbrace {{g^{ - 1}}\left( {[a,\infty )} \right)}_{ \in {\mathcal N}} \in {\mathcal M} \otimes {\mathcal N}
\end{align*}亦即，$F,G \in \mathcal{M} \otimes \mathcal{N}$，故由 相乘保證 measurability 性質可知 $FG  \in \mathcal{M} \otimes \mathcal{N}$，亦即 $h  \in \mathcal{M} \otimes \mathcal{N}$。

Proof (b): 首先證明 $h \in L^1(\mu \times \nu)$，亦即要證
\[
\int |h| d(\mu \times \nu) < \infty
\]由於 $|h| \in L^+(X \times Y)$，故由 Tonelli Theorem 可知
\[
\int |h| d(\mu \times \nu) = \int \int |f(x)| |g(y)| d \mu(x) d\nu(y)  <\infty
\]上述不等式成立因為 $f \in L^1(\mu)$ 與 $g \in L^1(\nu)$。故 $h \in L^1(\mu \times \nu)$。

接著由於 $h \in L^1$ ，利用 Fubini theorem 我們可寫
\[
\int h d(\mu \times \nu) = \int \int FG d\mu d\nu = \int f(x) d\mu(x) \int g(x) d\nu(y)
\]即為所求。$\square$

[測度論] DCT 應用：積分例子(1)

試證下列積分
\[
\lim_{n \to \infty} \int_0^\infty (1+(x/n))^{-n} \sin(x/n)dx = 0
\] Proof: 對任意 $x \in [0,\infty)$而言，令 $f_n(x):=(1+(x/n))^{-n} \sin(x/n)$，則 $f_n \to 0$。另外我們注意到 因為 $\sin(x/n) \leq 1 $ 以及利用 附註的 Claim 可知 $(1+x/n)^{-n} \leq e^{-x}$ 故
\[
f_n(x) = (1+(x/n))^{-n} \sin(x/n) \leq e^{-x}
\]現在我們令 $g(x):=e^{-x} \in L^1([0,\infty),m)$。為此我們觀察
\[
\int_0^\infty e^{-x} dx = 1 < \infty
\]故 $g \in L^1([0,\infty),m)$ 且 $|f_n(x)| \leq g(x)$，故由 Dominanted Convergence Theorem 可知
\begin{align*}
\lim_{n \to \infty} \int_0^\infty (1+(x/n))^{-n} \sin(x/n)dx &=  \int_0^\infty \lim_{n \to \infty}(1+(x/n))^{-n} \sin(x/n)dx\\
&=\int_0^\infty  0 dx = 0
\end{align*}
至此證明完畢。$\square$



Claim: 對任意 $x\in(0,\infty)$ 與 $n \in \mathbb{N}$，我們有 \[
(1+x/n)^{-n} \leq e^{-x}
\] Proof:
注意到 $\log (1+x/n)^{-n} = -n \log(1+x/n) \leq -n \frac{x}{n}=-x$。現在對兩邊同取 $exp()$ 可得
\[
(1+x/n)^{-n} \leq e^{-x}
\]至此得證。$\square$

[測度論] 從 測度論 觀點看 Chebyshev Inequality

Chebyshev inequality 是 機率論 中一個非常好用的不等式，此不等式可以從 更廣義的 測度論觀點來證明，且不僅僅局限於使用機率測度。
令 $L^1(\mu)$ 為所有可測函數 $g$ 滿足 $\int |g| d\mu <\infty$ 所成之集合， $\mu$ 為測度。

Claim: Chebyshev Inequality in Measure-Theoretic Setting
令 $g \in  L^1$ 且 $\alpha >0$ 則
\[
\mu (\{x:|g(x)| \geq \alpha\}) \leq \frac{1}{\alpha}\int |g| d\mu
\]
Proof: 令 $\alpha >0$ 觀察
\begin{align*}
  \mu (\{ x:|g(x)| \geqslant \alpha \})  &= \int {{1_{\{ |g(x)| \geqslant \alpha \} }}} d\mu  \hfill \\
   &= \int {{1_{\left\{ {\frac{{|g(x)|}}{\alpha } \geqslant 1} \right\}}}} d\mu  \;\;\;\; (*)
\end{align*} 其中 $1_A(x)$ 為 indicator function 滿足 $x\in A$ 則 $1_A(x) =1$ 反之則 $1_A(x) = 0$。注意到 \[\frac{{|g(x)|}}{\alpha } \geqslant 1 \Rightarrow \frac{{|g(x)|}}{\alpha } \geqslant {1_{\left\{ {\frac{{|g(x)|}}{\alpha } \geqslant 1} \right\}}}\]故 $(*)$ 改寫
\[\int {{1_{\left\{ {\frac{{|g(x)|}}{\alpha } \geqslant 1} \right\}}}} d\mu  \leqslant \int {\frac{{|g(x)|}}{\alpha }} d\mu  = \frac{1}{\alpha }\int {|g(x)|} d\mu \]即為所求。$\square$


Comments:
1. 上述證明儘管相當容易但對於 測度，積分 以及 indicator function 之間的操作頗具巧思值得多加注意。(關於 indicator 相關討論可參閱 [機率論] 指示函數 ( Indicator function) )。

2. 測度論觀點之下的 Chebyshev inequality 證明比 (初等)機率論 或者 數理統計 中的證明來的簡潔許多 (參閱 [機率論]   Chebyshev's Inequality 的推廣型)，讀者不需煩惱積分範圍，是否要分段積分或者考慮是否有無機率密度函數。這現象在較高等的數學中非常常見 (e.g., 泛函分析中將 函數所成的空間 利用線性代數的觀念 將其視為 無窮維向量空間，則不論多複雜的函數都變成該空間上的一"點")，也就是 抽象化之後 可以在某種程度上避免許多複雜的操作，但代價就是抽象化後的觀念需要時間沈澱。

3.  上述 Chebyshev inequality 陳述在 $L^p$ 空間也對。
Claim:
若 $g \in L^p$  其中 $p \in (0,\infty)$ 且 $\alpha >0$ 則
\[
\mu (\{x:|g(x)|^p \geq \alpha^p \}) \leq \frac{1}{\alpha^p}\int |g|^p d\mu
\] 證明雷同，在此不贅述。

[測度論] $\mathbb{R}$ 上的外測度

令 $A \subset \mathbb{R}^*$ ，定義 outer measure $m^*: \mathcal{P}(\mathbb{R}) \to [0,\infty]$ 滿足
\[{m^*}(A): = \mathop {\inf }\limits_{A \subset \bigcup\limits_j^{} {\left[ {{a_j},{b_j}} \right]} } \sum\limits_j^{} {\left( {{b_j} - a_j^{}} \right)} \]

以下我們檢驗幾個性質

Property of Outer Measure on R:
1. $m^*(\emptyset) = 0$
2. Monotonicity: 若 $A \subset B$ 則 $m^*(A) \subset m^*(B)$
3. Subadditivity: $m^*(\cup_j^\infty A_j) \leq \sum_j^\infty m^*(A_j)$

Proof:
1. 取 $A:= \emptyset$ 則任意區間必定涵蓋 $\emptyset$，故 $m^*(\emptyset) = 0$。

2. 若 $A \subset B$ 則存在一組區間 $I_{j} := [a_{j}, b_{j}]$, $j=1,2...$  使得 $A \subset B \subset \cup_{j=1}^\infty [a_{j}, b_{j}]$，故由定義可知 $m^*(A) \subset m^*(B)$。

3. 首先觀察 $m^*(A_j)$ 定義中有 infimum，故給定 $\varepsilon>0$ 可知必定存在一組區間 $I_{j,k} := [a_{j,k}, b_{j,k}]$, $k=1,2...$  使得 $A_j \subset \cup_{k=1}^\infty [a_{j,k}, b_{j,k}]$
\[
\sum\limits_k^{} {\left( {{b_{j,k}} - a_{j,k}^{}} \right)}  < {m^*}(A_j) + \frac{\varepsilon}{10^j} \]由此可知
\[
\sum\limits_{j,k}^{} {\left( {{b_{j,k}} - a_{j,k}^{}} \right)}  < \sum\limits_j^{} {\left( {{m^*}(A_j) + \varepsilon } \right)}  = \sum_j^\infty {m^*}(A_j) + \varepsilon \sum\limits_j^{} {\left( {\frac{1}{{{{10}^j}}}} \right)}
\]注意到區間 $I_{j,k}$, $j,k=1,2,...$ 涵蓋 $\cup_j A_j$，亦即
\[ \cup _j^\infty {A_j} \subset \bigcup\limits_{j,k}^{} {\left[ {{a_{j,k}},{b_{j,k}}} \right]}
\]故由前述的性質2 (Monotonicity)，
\[{m^*}( \cup _j^\infty {A_j}) \leqslant \sum\limits_{j,k}^{} {\left( {{b_{j,k}} - a_{j,k}^{}} \right)}  < \sum_j^\infty {m^*}(A_j) + \varepsilon \sum\limits_j^{} {\left( {\frac{1}{{{{10}^j}}}} \right)} \]由於 $\varepsilon$ 為任取，讓 $\varepsilon \to 0$ 我們有
$$m^*(\cup_j^\infty A_j) \leq \sum_j^\infty m^*(A_j)$$即為所求。$\square$


Remarks:
上述的性質可以用來定義外測度對任意空間可以給出更為一般的(公理化)定義如下：

Definition: Abstract Outer Measure
我們說 $\mu^*: \mathcal{P}(X) \to [0,\infty]$ 為 abstract outer measure on $X$若下列條件成立
1. $m^*(\emptyset) = 0$
2. Monotonicity: 若 $A \subset B$ 則 $m^*(A) \subset m^*(B)$
3. Subadditivity: $m^*(\cup_j^\infty A_j) \leq \sum_j^\infty m^*(A_j)$

[測度論] 非遞減函數必定可測

Claim: 令 $f: \mathbb{R} \to \mathbb{R}$ 為 非遞減(nondecreasing)函數，則 $f$ 為 $(\mathcal{B}_{\mathbb{R}},\mathcal{B}_{\mathbb{R}})$-measurable 其中 $ \mathcal{B}_{\mathbb{R}}$ 為 Borel $\sigma$-algebra

Proof:
令 $a\in \mathbb{R}$，並取開集 $E:= (a, \infty) \in \mathcal{B}_{\mathbb{R}}$ 。我們要證明 $f$ 可測，亦即要證明
\[
f^{-1}(E) = f^{-1}(a, \infty) = \{x \in \mathbb{R} : f(x) > a\} \in \mathcal{B}_{\mathbb{R}}
\]此等價證明 $f^{-1}(E)$ 為 $\mathbb{R}$ 上 interval 即可(因為所有 interval on $\mathbb{R}$ generates $\mathcal{B}_{\mathbb{R}}$)。故取 $c:= \inf f^{-1}(E)$ ，則我們僅需證明
\[
f^{-1}(E) = (c, \infty)
\]  以下我們分兩種情況討論：
Case 1: 若 $c \in f^{-1}(E)$ ：首先證明 $\subset :$ 取 $x \in f^{-1}(E)$，則 $f(x) > a$，則此 $x \geq c$ by infimum 性質。接著我們證明 $\supset$: 取 $x \in (c, \infty)$，則對任意 $x \geq c$ 而言 ，由於 $f$ 為非遞減，我們知道
\[
f(x) \geq f(c) > a
\]此表明 $x \in f^{-1}(E)$，故至此我們證得 \[
f^{-1}(E) = (c, \infty)
\]

Case 2: 若 $c \notin f^{-1}(E)$：首先證明 $\subset :$ 取 $x \in f^{-1}(E)$，則 $f(x) > a$，則此 $x \geq c$ by infimum 性質。接著我們證明 $\supset$: 取 $x \in (c, \infty)$，則對任意 $x \geq c$ 而言 ，必定存在 $y \in f^{-1}(E)$ 使得 $x > y \geq c $。由於 $f$ 為非遞減，我們知道
\[
f(x) \geq f(y)  > a
\]此表明 $x \in f^{-1}(E)$，故至此我們證得 \[
f^{-1}(E) = (c, \infty)
\]
由上述兩類情況總結可知 $f^{-1}(a,\infty) = (c, \infty) $ interval，故其必定為 Borel measurable 且 $f$ is Borel measurable。$\square$

[測度論] 連續函數必定可測

令 $X,Y$ 為 metric space，定義 $\mathcal{B}_X$ 與 $\mathcal{B}_Y$ 為其上的 Borel $\sigma$-algebra (generated by some open sets)。

Claim: $f:X \to Y$ 為連續函數 on $X$，則 $f$ 為 $(\mathcal{B}_X, \mathcal{B}_Y)$-measurable。

Proof: 令 $E \in \mathcal{B}_Y$，我們要證明 $f^{-1}(E) \in \mathcal{B}_X $。注意到若 $E$ 為 任意 set generates $\mathcal{B}_Y$; e.g., $E$ be open set，則由連續函數性質可知 $f^{-1}(E)$ 亦為 open ，故 $f^{-1}(E) \in \mathcal{B}_X$。$\square$

[測度論] 淺論 Ring 與 Algebra 及其性質 (0)

令 $X$ 為一集合，且 $\mathcal{P}(X)$ 表示為 $X$ 的 Power Set。

=================
Definition: 我們稱 $R \subset \mathcal{P}(X)$ 為一個 ring 若下列條件成立
1. $\emptyset \in R$
2. 若 $A,B \in R$ 則 $A\setminus B \in R$
3. 若 $A, B \in R$ 則 $A \cup B \in R$
================
以下我們看幾個 Ring 的性質：

令 $R$ 為一個 ring
=========
Property 1: 若 $A_1,...,A_n \in R$ 則 $\cup_{i=1}^n A_i \in R$
Proof:
由 $R$ 定義 (3) 可知 若 $A_1, A_2 \in R \Rightarrow A_1 \cup A_2 \in R$ ，故透過數學歸納法，假定 $A_1,...,A_n \in R \Rightarrow \cup_{i=1}^n A_i \in R$ 我們要證明
\[
A_1,...,A_n, A_{n+1} \in R \Rightarrow \cup_{i=1}^{n+1} A_i \in R
\]故 令 $B := \cup_{i=1}^n A_i $ 則
\[
\cup_{i=1}^{n+1} A_i  = B\cup A_{n+1}
\]由於 $A_{n+1} \in R$ ，利用 $R$ 的定義 (3) 可知 $B \cup A_{n+1} \in R$ 故得證。 $\square$

========
Property 2: 若 $A, B \in R $ 則 $A \cap B \in R$
Proof:
注意到 $A \cap B = A \setminus (A\setminus B)$ ，又因為 $A \in R$ 且 $A\setminus B \in R$  故利用 $R$ 的定義 (2) 可知
\[
A \setminus (A\setminus B) \in R \;\;\;\; \square
\]

=======
Property 3: 若 $A_1,...,A_n \in R$ 則 $\cap_{i=1}^n A_i \in R$
Proof:
此證明雷同於 Property 1，
首先回顧 Property 2 ，我們知道 $A_1, A_2 \in R \Rightarrow A_1 \cap A_2 \in R$ 故透過數學歸納法，假定 $A_1,...,A_n \in R \Rightarrow \cap_{i=1}^n A_i \in R$ 我們要證明
\[
A_1,...,A_n, A_{n+1} \in R \Rightarrow \cap_{i=1}^{n+1} A_i \in R
\]故 令 $B := \cap_{i=1}^n A_i $ 則
\[
\cap_{i=1}^{n+1} A_i  = B\cap A_{n+1}
\]由於 $A_{n+1} \in R$ ，利用  Property (2) 可知 $B \cap A_{n+1} \in R$ 故得證。 $\square$

Property 4: $\mathcal{P}(X)$ 為 Ring


有了 Ring 的概念，我們便可以接著引入 algebra 的概念，以下給出定義：

=================
Definition: 我們稱 $R \subset \mathcal{P}(X)$ 為一個 algebra 若下列條件成立
1. $\emptyset \in R$
2. 若 $A,B \in R$ 則 $A\setminus B \in R$
3. 若 $A, B \in R$ 則 $A \cup B \in R$
4.  $X \in R$
================

Comments: 
1. 讀者可發現 algebra 僅僅比 Ring 多了第四個條件 $X \in R$。

2. 在抽象代數中所定義的 Ring 與這邊介紹的 Ring 可以互通有無，考慮向量空間 $(R, \oplus, \odot)$ ，若任取兩集合 $A,B \in R$ 我們定義其上的 加法  為  $A \oplus B := A \Delta B := (A \setminus B) \cup (B \setminus A)$ 且其上的 乘法 定為 $A \odot B := A \cap B$ 則可看出其滿足 抽象代數中所要求的 Ring 的加法與乘法的封閉性，亦即 $A \oplus B \in R$ 且 $A \odot B \in R$。有興趣的讀者可驗證剩餘的性質。

3. 前述對於 Ring 與 Algebra 是用來做之後推廣到 $\sigma$-Ring 與 $\sigma$-Algebra 的準備。我們介紹如下。


=================
Definition: 我們稱 $R \subset \mathcal{P}(X)$ 為一個 $\sigma$-ring 若下列條件成立
1. $\emptyset \in R$
2. 若 $A,B \in R$ 則 $A\setminus B \in R$
3. 若 $A_1, A_2,... \in R$ 則 $\cup_{n=1}^\infty A_n \in R$
================


=================
Definition: 我們稱 $R \subset \mathcal{P}(X)$ 為一個 $\sigma$-algebra 若下列條件成立
1. $\emptyset \in R$
2. 若 $A,B \in R$ 則 $A\setminus B \in R$
3. 若 $A_1, A_2,... \in R$ 則 $\cup_{n=1}^\infty A_n \in R$
4.  $X \in R$
================

Comment: 
1. 前述兩個定義所稱的 $\sigma$ 表達 可數多個 "countably many"
2. $\sigma$-algebra/ring 有多個等價定義，我們之後會再行介紹。
3. $\sigma$-algebra 必定為 $\sigma$-ring
4. 機率論中，$\sigma-$algebra 表示所有 事件 所形成的集合


接著我們考慮以下情況：通常我們不一定能得到 $\sigma$-algebra 或者 $\sigma$-ring 而是只有 $X$ 中的某些子集合 比如說 $D \subset P(X)$，那我們該如何得到  $\sigma$-algebra 或者 $\sigma$-ring?

令 $D \subset \mathcal{P}(X)$
Definition:  我們稱 Ring generated by $D$ 為如下定義 $\mathcal{R}(D) := \{\text{ intersection of all rings in $\mathcal{P}(X)$ which contains $D$}\}$

上述透過子集合產生的 Ring 可推廣到產生  $\sigma$-algebra 或者 $\sigma$-ring 。

[機率論] Martingale (3) - Example

Example: 令 $\{X_n\}$ 為 Martingale with Filtration $\mathcal{F_n}$，假設 $T$ 為 stopping time。試證 $Y_n:=X_{\min(n,T)}$ 為 Martingale with $\mathcal{F_n}$。

Proof:
首先證明 (1) $E|Y_n| < \infty $：
注意到：
\[\begin{array}{l}
{Y_n}: = {X_{n \wedge T}} = {X_n}{1_{n{\rm{ < }}T}} + {X_T}{1_{T \le n}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = {X_n}{1_{n{\rm{ < }}T}} + \sum\limits_{m = 1}^n {{X_T}{1_{T = k}}}
\end{array}\]故
\[\begin{array}{l}
E\left| {{Y_n}} \right| = E\left| {{X_{n \wedge T}}} \right| = E\left| {{X_n}{1_{n{\rm{ < }}T}} + \sum\limits_{m = 1}^n {{X_T}{1_{T = k}}} } \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} \le E\left| {{X_n}{1_{n{\rm{ < }}T}}} \right| + \sum\limits_{m = 1}^n {E\left| {{X_T}{1_{T = k}}} \right|} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} \le E\left| {{X_n}} \right| + \sum\limits_{m = 1}^n {E\left| {{X_T}} \right|}  < \infty
\end{array}\]

接著我們證明 (2) : $Y_n \in \mathcal{F}_n $
觀察 \[{Y_n}: = {X_{n \wedge T}} = {X_n}{1_{n{\rm{ < }}T}} + \sum\limits_{m = 1}^n {{X_T}{1_{T = k}}} \]由於 $1_{T>n} = 1_{T \le n}^c \in \mathcal{F}_n$ 且 $X_m \in \mathcal{F}_m \subset \mathcal{F}_n$ 且 $1_{T=m} \in \mathcal{F}_m \subset \mathcal{F}_n$ 對任意 $m\le n$ 故
\[{Y_n}: = \underbrace {{X_n}}_{ \in {F_n}}\underbrace {{1_{n{\rm{ < }}T}}}_{ \in {F_n}} + \underbrace {\sum\limits_{m = 1}^n {{X_T}{1_{T = k}}} }_{ \in {F_n}} \in {F_n}\]

最後我們證明 (3): $E[Y_{n+1}|\mathcal{F}_n] = E[X_{}]$ 注意到
\[\begin{array}{l}
E[{Y_{n + 1}}|{{{\cal F}}_n}] = E[{X_{n + 1}}{1_{n + 1 < T}} + {X_T}{1_{T \le n + 1}}|{{{\cal F}}_n}]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = E[{X_{n + 1}}{1_{n + 1 < T}}|{{{\cal F}}_n}] + E[{X_T}{1_{T \le n + 1}}|{{{\cal F}}_n}]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = E[{X_{n + 1}}{1_{n + 1 < T}}|{{{\cal F}}_n}] + E[\sum\limits_{k = 1}^n {{X_k}{1_{T = k}}}  + {X_{n + 1}}{1_{T = n + 1}}|{{{\cal F}}_n}]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = E[{X_{n + 1}}{1_{n + 1 < T}}|{{{\cal F}}_n}] + {X_T}{1_{T \le n}} + E[{X_{n + 1}}{1_{T = n + 1}}|{{{\cal F}}_n}]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = {X_n}{1_{n + 1 \le T}} + {X_T}{1_{T \le n}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = {X_n}{1_{n < T}} + {X_T}{1_{T \le n}} = {Y_n}
\end{array}\]

[測度論] Sigma Algebra 與 Measurable function 簡介

這次要介紹的是 Sigma Algebra 與 可測函數 (Measurable function)。
(在機率論中 隨機變數 (random variable) 即為 可測函數，我們會在本文中稍作介紹 )

在介紹measurable function之前我們需要一些先導概念 (or building block) 來幫助我們。

首先是 空間 (Space) 的概念。
我們說一個 空間 $X$ 其實就是任意(具有某種結構)的集合 (set)。

一般而言牽涉到測度是 因為我們想要在這個空間(集合) 上定義積分，故我們需要加上一些 (額外的) 結構 到這個空間來幫助我們定義積分。也就是所謂的 $\sigma$-algebra 與 測度 (measure)。透過這個結構我們可以來說明什麼是 可測函數。

現在我們先看看空間需要的結構，稱為 sigma-algebra or sigma-field。

以下給出 $\sigma$-algebra的定義：
=============================
首先考慮 空間 $X$ 的子集合(subset)，我們將這些子集合 收集起來形成一個集合；定義做$\mathcal{A}$，我們稱 $\mathcal{A}$為 collection of subsets of $X$

Definition : ( $\sigma$-algebra)
假設 $\mathcal{A}$ 為 collection of subsets of $X$ ，則 $\mathcal{A}$為 $\sigma$-algebra (或稱 $\sigma$-field)如果下列三個條件成立：
1. $X \in \mathcal{A}$ 且 $\emptyset \in \mathcal{A}$ (亦即整個space 與 空集合必須落在 $\mathcal{A}$ 中)
2. $A \in \mathcal{A} \Rightarrow A^c \in \mathcal{A}$ (亦即 補集 必須落在 $\mathcal{A}$ 中)
3. 假設 $\{A_i \}$ 為在 $\mathcal{A}$ 中的 可數 集合序列 (countable set of sequence)，則其聯集 $\cup_i A_i \in \mathcal{A}$
=============================

Comments: 
1. 在機率論中，$X$ 為 sampled space $\Omega$，$\sigma$-algebra 為事件的集合 (事件為$\Omega$的子集)。
2. 注意到上述條件 (3.)，對於不可數集合的聯集並不允許!!，亦即我們無法聯集任意(不可數)多個集合；另外若我們將條件 3 改成只允許 "有限個集合" 聯集，則此時 $\mathcal{A}$ 稱作一個 algebra (NOT $\sigma$-algebra )
4. 對數個 sigma-algebra 取 交集仍為 sigma-algebra。
5. 在機率論中，若樣本空間 $\Omega$ 為可數集合，則我們可以對其上任何子集 $2^{\Omega}$ 皆可 指定對應測度，但若樣本空間為 無窮不可數集合 (uncountable set) ， 則我們很有可能無法對其上所有子集 定義對應的測度，但所幸我們可對 $\sigma$-algebra 所產生之子集定義測度，也就是透過 $\sigma$-algebra 的幫助，可以保證當我們做最大限度的集合的操作 (交集/聯集/差集/...) 之下所產生的 $\sigma$-algebra 的子集皆可被指定測度。


以下我們看幾個 $\sigma$-algebra 的例子
----
Example:
令 $X$ 為任意非空集合
1. 其 power set $\mathcal{P}(X)$ 與 $\{\emptyset, X \}$ 都為 $\sigma$ algebra。

2. 若 $X$ 為 uncountable，則下列集合
\[
 \mathcal{A} := \{E \subset X: \text{$E$ is countable or $E^C$ is countable} \}
\]為 $\sigma$- algebra。

3. 若 $A$ 為 $X$ 中非空子集，則
\[
\mathcal{A} = \{\emptyset, X, A^C, A \}
\]為  $\sigma$- algebra。

4. 若 $X $ 為 可數集合 (e.g., $X = \mathbb{N}$)，則下列集合
\[
 \mathcal{A} := \{E \subset X: \text{$E$ is finite or $E^C$ is finite} \}
\]不為 $\sigma$- algebra。
---

========================
Sigma-algebra generated by a set 
若 $\mathcal{E} \subset \mathcal{P}(X)$，其中 $\mathcal{P}(X)$ 為 $X$ 的 power set (表所有 $X$ 的子集)， 則存在一個 smallest sigma-algebra $\sigma(E)$ 包含 $\mathcal{E}$。亦即 \[
\sigma(\mathcal{E}) = \cap\{ \mathcal{C}: \mathcal{E} \subset \mathcal{C} \text{  and  } \mathcal{C} \text{ is a $\sigma$-algebra}\}
\]========================

Proof. 我們要證明 $\sigma(\mathcal{E})$ 為 sigma-algebra。故由 sigma-algebra 定義
首先檢驗 $\emptyset$ 與 $X$ 是否落在  $\sigma(\mathcal{E})$ 中：由於
 \[
\sigma(\mathcal{E}) = \cap\{ \mathcal{C}: \mathcal{E} \subset \mathcal{C} \text{  and  } \mathcal{C} \text{ is a $\sigma$-algebra}\}
\]且在 $\sigma(\mathcal{E})$ 中的每一個元素 $ \mathcal{C}$ 都為 sigma-algebra，由定義可知必定都具有  $\emptyset$ 與 $X$ ，故可推知 $\emptyset \in \sigma(\mathcal{E})$ 與 $X \in \sigma(\mathcal{E})$。

接著我們檢驗 補集性質：我們讓 $A \in \sigma(\mathcal{E})$ ，則 $A \in \mathcal{C}, \; \forall \mathcal{C} \in \sigma(\mathcal{E})$ 又因為 $ \mathcal{C}$ 都為 sigma-algebra，故 $A^C \in \mathcal{C}, \; \forall \mathcal{C} \in \sigma(\mathcal{E})$ 亦即
\[
A^C \in \sigma(\mathcal{E})
\]
最後我們檢驗 可數聯集性質：讓 $\{A_i \}$ 為在 $\sigma(\mathcal{E})$ 中的 可數 集合序列 (countable set of sequence)，則 $A_i \in C,\; \forall C \in \sigma(\mathcal{E})$故我們若取聯集
\[\bigcup\limits_i^{} {{A_i}}  \in \sigma(\mathcal{E}) \ \ \ \ \square
\]



Example: Sigma-algebra generated by a family of open sets
令 $X$ 為 metric space。
若 $\sigma$-algebra 是由一堆  $X$ 中的 open sets 所形成的集合所產生，則我們稱此 $\sigma$-algebra 為 Borel $\sigma$-algebra 記做 $\mathcal{B}_X$。且 $\mathcal{B}_X$ 的元素我們稱為 Borel sets 且由於其為透過 open sets 所產生，故 $\mathcal{B}_X$ 包含 opne sets，closeed sets, 可數多個交集或者連集的open and closed sets。。


令 $X := \mathbb{R}$，則我們可以取 $\mathbb{R}$ 上的 open sets 建構 Borel sigma algebra $\mathcal{B}_{\mathbb{R}}$


有了 sigma-algebra 作為空間的結構，我們便可以定義我們需要 (用作之後定義積分) 的空間，稱為 可測空間 (Measurable Space)

=============================

Definition (Measurable Space 與 Measurable sets)
若 $X$ 為space 且 $\mathcal{A}$ 為 $\sigma$-algebra 滿足上述定義，則我們稱 有序配對  $(X, \mathcal{A})$ 為一個 Measurable Space。

且$\sigma$-algebra $\mathcal{A}$ 中的元素稱為 Measurable sets。 (亦即 $\sigma$-algebra 為收集Measurable sets的集合)
=============================

有了以上定義我們便可以介紹甚麼是可測函數

現在假設有兩個 Measurable space $(X, \mathcal{A})$ 與 $(Y, \mathcal{B})$，並考慮有一個函數 $f : X \rightarrow Y$，則我們說 $f$ 為對 $\mathcal{A}$的 可測函數 (measruable function) 如果下列條件成立：
若 對所有的 $B \in \mathcal{B}$，其 inverse image 落在$\mathcal{A}$中，亦即
\[
f^{-1}(B)=\{x \in X : f(x) \in B \} = \{ f \in B\} \in \mathcal{A}
\]其中 $\mathcal{B}$ 為 Borel $\sigma$-algebra (亦即 $\mathcal{B}$ 為 最小的 $\sigma$-algebra 且包含 $\mathbb{R}$ 中所有 open subsets )

Comments:
1. 關於甚麼是 Inverse image 請參閱此文： [數學] Image and Preimage

2. 如果考慮機率空間 $(\Omega, \mathcal{F}, P)$ (亦即 sampled space $\Omega$，$\sigma$-algebra $\mathcal{F}$，機率測度 $P$)，關於機率測度有興趣的讀者請參考：[數學]機率公理淺談(Axioms of Probability)

============================
Random Variable as a Measurable Function

則我們可以定義隨機變數 (random variable ) $Z$。事實上 隨機變數 $Z$ 並不是隨機也不是變數，如前所述，本質上 $Z$ 為一個由sampled space $\Omega$ 映射到 實數 $\mathbb{R}$ 的 (可測)函數，亦即
隨機變數 $Z : \Omega \rightarrow \mathbb{R}$ 且滿足下列性質：對所有的 $z \in \mathbb{R}$
\[
\{\omega \in \Omega: Z(\omega) \leq z \} \in \mathcal{F}
\]
為什麼這樣定呢? 因為上述集合 $\{\omega \in \Omega: Z(\omega) \leq z \} \in \mathcal{F}$ ，也就是說是一個事件，既然是事件，我們便可以討論其對應的機率測度 $P(Z \leq z) =?$。

另外如果我們比對前述 可測函數的定義，可發現這樣的函數 $Z$ 為對 $\mathcal{F}$ 的 可測函數，亦即隨機變數為可測函數。

以下我們看一些例子：

Example 1: 設 $(\Omega, \mathcal{F}, P)$ 為一個機率空間，則我們定義函數 $Z: \Omega \rightarrow \mathbb{R}$ 為 $Z(\omega) =c, $ 則此函數 $Z$ 為一個隨機變數。

Proof. 由隨機變數定義：給定  $z \in \mathbb{R}$，我們要證明
\[\{ \omega  \in \Omega :Z(\omega ) \le z\}  \in \mathcal{F}
\]現在觀察
\[\{ \omega  \in \Omega :Z(\omega ) \le z\}  = \{ \omega  \in \Omega :c \le z\}  = \left\{ \begin{array}{l}
\Omega ,\begin{array}{*{20}{c}}
{}&{}
\end{array}c \le z\\
\emptyset ,\begin{array}{*{20}{c}}
{}&{}
\end{array}c > z
\end{array} \right.
\]由 Sigma-algebra 定義可知 $\emptyset, \Omega  \in \mathcal{F}$。$\square$


Example 2: 設 $(\Omega, \mathcal{F}, P)$ 為一個機率空間，令 $A \in \mathcal{F}$ 為一事件。 則我們定義函數 $Z: \Omega \rightarrow \mathbb{R}$ 為
\[Z: = {I_A}\left( \omega  \right): = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}&{}
\end{array}\omega  \in A\\
0,\begin{array}{*{20}{c}}
{}&{}
\end{array}\omega  \notin A
\end{array} \right.\]則此函數 $Z$ 為一個可測函數。

Proof. 我們這邊利用可測函數的定義：給定  $B \in \mathcal{B}_{\mathbb{R}}$，我們要證明
\[\{ \omega  \in \Omega :Z(\omega ) \in B\}  \in \mathcal{F}
\]現在觀察 $\{ \omega  \in \Omega :Z(\omega ) \in B\}  = \{ \omega  \in \Omega :{I_A}\left( \omega  \right) \in B\}$ 故我們可以用以下幾個情況來判斷：
\[\begin{array}{l}
\text{if } 0 \in B,\;1 \notin B:\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \Rightarrow \{ \omega  \in \Omega :\omega  \notin A\}  = {A^c} \in {{\cal F}}\\
\text{if }1 \in B,\;0 \notin B:\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \Rightarrow \{ \omega  \in \Omega :\omega  \in A\}  = A \in {{\cal F}}\\
\text{if } 0,1 \in B:\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \Rightarrow \{ \omega  \in \Omega :\omega  \in \Omega \}  = \Omega  \in {{\cal F}}\\
\text{if }0,1 \notin B:\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \Rightarrow \{ \omega  \in \Omega :\omega  \in \emptyset \}  = \emptyset  \in {{\cal F}} \ \ \ \ \square
\end{array}
\]

3. 如果我們考慮的是一組隨機變數，而不是單一個，比如說
 $\{Z_1, Z_2, ..., Z_n \}$ 為一組 collection of random variables。則我們需要考慮的是 smallest $\sigma$-algebra, 計作$\mathcal{G}$  使得
對任意一個隨機變數 $Z_i$ 都是對 $\mathcal{G}$ 可測，亦即

對所有的 $z \in \mathbb{R}$與 $i = 1,...,n$
\[
\{\omega \in \Omega: Z_i(\omega) \leq z \} \in \mathcal{G}
\] 我們稱此 sub-$\sigma$ algebra $\mathcal{G}$ 為 由 $\{Z_1, Z_2, ..., Z_n \}$所產生的 $\sigma$ algebra，計做 $\sigma\{Z_1, Z_2, ..., Z_n \}$

NOTE: 注意到因為 $\mathcal{G} = \sigma\{Z_1, Z_2, ..., Z_n \}$ 為最小的 $\sigma$-algebra，故其必定為原本 $\sigma$-algebra 的子集合，也就是說 $\mathcal{G} \subset \mathcal{F}$

[機率論] Almost Sure Convergence

固定 機率空間 $(\Omega, \mathcal{B}, P)$。我們說 隨機事件 $A$  almost surely (a.s.) 成立，若下列條件成立：
存在一個事件 $N \in \mathcal{B}$ 且 $P(N)=0$ 使得 若 $\omega \in N^c$ 事件 $A$ 都成立。


Example 1: Two r.v. equal Almost Surely
令 $X, X'$ 為兩個隨機變數，則 $X=X'$ almost surely 亦即
\[
P(\omega: X(\omega) = X'(\omega)) = 1
\]亦即，存在事件 $N \in \mathcal{B}$ 使得 $P(N)=0$ 且  $\omega \in N^c \Rightarrow X(\omega) = X(\omega)'$ 都成立。$\square$


Example 2: 
令 $X, X'$ 為兩個隨機變數，則 $X \le X'$ almost surely 亦即
\[
P(\omega: X(\omega) \le X'(\omega)) = 1
\]亦即，存在事件 $N \in \mathcal{B}$ 使得 $P(N)=0$ 且  $\omega \in N^c \Rightarrow X(\omega) \le X(\omega)'$ 都成立。$\square$


Example 3: random variable sequence
若' $\{X_n\}$ 為 隨機變數的 sequence，則 $\lim_{n\rightarrow \infty}X_n$存在 almost surly 意指 存在事件 $N \in \mathcal{B}$ 使得 $P(N)=0$ 且  $\omega \in N^c \Rightarrow \lim_{n\rightarrow \infty}X_n$ 存在 ；此陳述等價為
\[
\limsup_{n \rightarrow \infty} X_n(\omega) = \liminf_{n\rightarrow \infty }X_n(\omega)
\]我們會寫作 $\lim_{n \rightarrow \infty}X_n = X$ almost surely 或者 $X_n \rightarrow X$ a.s. $\square$

Example 3: random series
若' $\{X_n\}$ 為 隨機變數的 sequence，則 $\sum_n X_n$ converges almost surly 意指 存在事件 $N \in \mathcal{B}$ 使得 $P(N)=0$ 且  $\omega \in N^c \Rightarrow  \sum_n X_n$ converges  存在  $\square$

基於 almost sure equality，大部分隨機變數的機率性質都不改變。比如說 若 $X = X'$ almost surely，則若 $X \in L^1$ 若且唯若 $X' \in L^1$ 且 $EX = EX'$


注意到 隨機變數 sequence 儘管有 almost surely convergence 並不表示 convergence everywhere。現在我們看個例子：

Example: Almost Sure Convergence fails to be Convergence Everywhere
考慮機率空間 $([0,1], \mathcal{B}_{[0,1]}, \lambda)$ 且 $\lambda$ 為 Lebesgue measure。現在定義隨機變數
\[{X_n}(\omega ): = \left\{ \begin{array}{l}
n,\begin{array}{*{20}{c}}
{}
\end{array}0 \le \omega  \le \frac{1}{n}\\
0,\begin{array}{*{20}{c}}
{}
\end{array}\frac{1}{n} < \omega  \le 1
\end{array} \right.\]試證 $X_n \rightarrow 0$ almost surely；但 $X_n$ 並非 converge everywhere。
Proof:
若 $N = \{0\}$ 則 $\omega \in N^c \Rightarrow X_n(\omega ) \rightarrow 0$；

但是若我們現在關注 $\omega = 0$ 這一點時，可以發現 $X_n(0) = n \rightarrow \infty \neq 0$ $\square$

===================
Proposition: 令 $\{X_n\}$ 為 i.i.d. 隨機變數 且具有共同的 分布函數 $F(x)$。假設 $F(x) <1$；令
\[
M_n := \max\{X_1,X_2,...,X_n\}
\]則 $M_n \rightarrow \infty$ almost surely 當 $n\rightarrow \infty$。
===================

Proof: 我們要證  $M_n \rightarrow \infty$ almost surely 當 $n\rightarrow \infty$；亦即要證明 存在事件 $N$ 使得 $P(N)=0$ 且若 $\omega \in N^c$ 我們有 $M_n \rightarrow \infty$ 。我們需要證明 存在事件 $N \in \mathcal{B}$ 使得 $P(N) =0$ 且若 $\omega \in N^c$ 我們有
\[
\lim_{n \rightarrow \infty} M_n(\omega) = \infty
\]由 $lim$ 定義，上述可改寫為 要證明 對任意 $j>0$， 存在 $n_0$ 使得若 $n \ge n_0$ 則 $M_n(\omega) \ge j$。

首先注意到 由於 $\{X_n\}$ 為 i.i.d. 隨機變數 且具有共同的 分布函數 $F(x)$，故我們可寫
\[\begin{array}{l} P\left( {{M_n} \le x} \right) = P\left( {\max \left( {{X_1},{X_2},...,{X_n}} \right) \le x} \right)\\ \begin{array}{*{20}{c}} {}&{}&{}&{} \end{array} = P\left( {{X_1} \le x,{X_2} \le x,...,{X_n} \le x} \right)\\ \begin{array}{*{20}{c}} {}&{}&{}&{} \end{array} = \prod\limits_{i = 1}^n {P\left( {{X_i} \le x} \right)} = {F^n}\left( x \right) \end{array}
\] 故注意到由於 $F(x)<1$ 我們有
\[
\sum_n P(M_n \le j) = \sum_n F^n(j) < \infty
\]故由 Borel-Cantelli Lemma 可知
\[P\left( {\left\{ {{M_n} \le j} \right\}i.o.} \right) = 0\]亦即
\[P\left( {\mathop {\lim \sup }\limits_{n \to \infty } \left\{ {{M_n} \le j} \right\}} \right) = 0
\]故現在定義 事件 ${\mathop {\lim \sup }\limits_{n \to \infty } \left\{ {{M_n} \le j} \right\}}$ 則我們有 $P(N_j) = 0$ 對任意 $j$。

且注意到 ${N_j}^c: = \mathop {\lim \inf }\limits_{n \to \infty } \left\{ {{M_n} > j} \right\}$，故對任意 $\omega \in N_j^c$，若有夠大的 $n$，則我們有 $M_n(\omega) >j$。

現在定義 $N:= \cup_j N_j$ 則
\[
P(N) \le \sum_j P(N_j) =0
\] 且若 $\omega \in N^c$，我們有對任意 $j$，若 有夠大的 $n$，則 $M_n(\omega) >j$ 。 $\square$

[隨機分析] Girsanov Theory (0) - 測度變換

一般而言，我們都是在固定的機率空間 $(\Omega, \mathcal{F}, P)$ 進行各種討論，現在我們想考慮一個問題就是如果我們現在把 機率測度 $P$ 改成另一個機率測度 $Q$ 會發生甚麼事情，此問題的主要結果由 Girsanov 做出進一步發展。

那麼，在談變換之前，必定要先問一個問題就是? 變換測度的動機是甚麼? 有沒有什麼實際的應用使得我們需要進行變換測度?

在財務上，很多時候我們需要 風險中立測度(Risk-netural measure)，此測度 與原本的機率測度不同，故我們需要找到一個方法來幫助我們轉換原本的 機率測度 到 風險中立測度。那麼談變換之前，我們需要一些定義：

===========================
Definition: 兩測度間的絕對連續性 (Q is absolutely continuous w.r.t. P: Q<<P )
給定兩個機率測度 $P, Q$ 在一個 measurable space $(\Omega, \mathcal{F})$，，我們稱
機率測度 $Q$ 對 機率測度 $P$ 而言為 絕對連續 (Absolutely continuous)，記做 $Q << P$ ，若下面條件成立：對任意 $ A \in \mathcal{F}$ 而言，
\[
P(A) =0 \Rightarrow Q(A) =0
\]===========================

Comment:
Reader might think that the notation $<<$ is confusing. I suggest you to follow the double-arrow direction: if we say $P << Q$ the arrow direction is $<<$ this reminds me that for all set $A \in \mathcal{F}$, $Q(A)=0 \Rightarrow P(A)=0$ (Follow the direction of double arrows !)

===========================
Definition: 等價測度 (Equivalence of Two Measures)
若 $P << Q$ 且 $Q <<P$，我們稱 $P, Q$ 兩者等價 (equivalent)。 (亦即 $P$ 與 $Q$ 有相同的測度為零的集合。)
===========================

上述定義告訴我們兩個測度之間如果互為絕對連續，則兩測度等價。但如果沒有互為絕對連續的時候，兩個測度之間是否可以有甚麼關係呢? 答案是有的，我們將其記做下面定理：

===========================
Theorem (Radon-Nikodym Theorem)
$Q$ 為 absolutely continuous w.r.t. $P$ on $\mathcal{F}$ $\Leftrightarrow$ 存在一個 $\mathcal{F}$-measurable 的非負隨機變數 $Z \geq 0$ ( $Z : \Omega \rightarrow \mathbb{R}$ ) 使得
\[
\int_{\Omega} X d Q = \int_{\Omega} X Z dP, \ \ \text{$\forall$  $\mathcal{F}$-measurable $X \geq 0$}
\] 亦即 對任意 $X: \Omega \rightarrow \mathbb{R}$ 而言，
$$
E^Q[X] = E^P[XZ]
$$===========================

Comment:
上述 Radon-Nikodym Theorem 指出 如果要檢驗 $Q <<P$ 則必須找到一個 $Z$ 使得\[
\int_{\Omega} X d Q = \int_{\Omega} X Z dP, \ \ \text{$\forall$  $\mathcal{F}$-measurable $X \geq 0$}
\] 成立，但注意到找到 $Z$ 之後仍要保證對所有的 measurable function $X \in \mathcal{F}$，都要成立，故其有一定難度，這邊我們有個系理可以幫助我們更快速檢驗是否 $Q<<P$，將 $X := 1_{A}$ (用 Indicator function 表示 $X$)

===============

Corollary:
$Q<<P$ on $\mathcal{F}$ $\Leftrightarrow$ 存在一個 $\mathcal{F}$-measurable function $Z \geq 0$ 使得
\[
Q(A) = \int_{A} Z dP, \forall \ A \in \mathcal{F}
\]===============

===========================
Definition: (Radon-Nikodym density, Radon-Nikodym derivative)

Radon-Nikodym Theorem 中須尋找的函數 $Z$ 稱作 Radon-Nikodym density or Randon-Nikodym derivative of $Q$ w.r.t. $P$，且我們將其寫作：

\[
Z:= \frac{dQ}{dP}
\]===========================

Comment:
現在我們看看為甚麼要將 $Z$ 定義成上述的 "微分" 的形式？一般而言，考慮  $X$ 為定義在 機率空間 $(\Omega, \mathcal{F}, P)$ 中的隨機變數，則 $X$  (基於測度 $P$) 的期望值，在此記作 $E^P[X]$ 定義為
\[
E^P[X] := \int_{\Omega} X dP
\]若現在我們將上述測度 $P$ 撤換為 新的測度，比如說 $Q$，則 $X$ 對 $Q$ 測度 的 期望值，記作 $E^Q[X]$ 可寫為：
\[
E^Q [X] := \int_{\Omega} XdQ
\]注意到我們利用上述概念與 Radon-Nikodym derivative，可進一步改寫 Radon-Nikodym Thoerem:
\[{E^Q}\left[ X \right]: = \int_\Omega  X dQ = \int_\Omega  X ZdP = \int_\Omega  X \frac{{dQ}}{{dP}}dP = {E^P}\left[ {X\frac{{dQ}}{{dP}}} \right]\]


現在我們看幾個例子來看看我們怎麼利用絕對連續的定義 or Randon-Nikodym Theorem 幫助我們檢驗兩個測度之間是否存在絕對連續關係。

===============

Example 1 (Continuous time case):
現在考慮 $\Omega := \mathbb{R}$，且給定隨機變數 $X$ 服從指數分配，但此分配 配備兩種不同測度 $P,Q$ ，記作 $Q \sim \exp(\lambda)$，$P \sim \exp(\mu)$。試問此兩測度 $P,Q$ 是否互為絕對連續?

===============

YES! 由 Randon-Nikodym Theorem，我們需要找到一個函數 $Z$ 使得 $E^Q[X] = E^P[XZ], \ \forall X$，故給定任意函數 $X: \Omega \rightarrow \mathbb{R}$ 現在觀察
\begin{align*}
  {E^Q}[X] &: = \int_\Omega ^{} {XdQ}  \hfill \\
   &= \int_\Omega ^{} {x\lambda {e^{ - \lambda x}}dx}  \hfill \\
   &= \int_\Omega ^{} {x\lambda {e^{ - \lambda x}}\frac{{\mu {e^{ - \mu x}}}}{{\mu {e^{ - \mu x}}}}dx}  \hfill \\
   &= \int_\Omega ^{} {\left( {x\frac{{\lambda {e^{ - \lambda x}}}}{{\mu {e^{ - \mu x}}}}} \right)\mu {e^{ - \mu x}}dx}  \hfill \\
\end{align*} 故如果我們選 $Z: =Z(x) = \frac{{\lambda {e^{ - \lambda x}}}}{{\mu {e^{ - \mu x}}}}$，則我們即可得到
\begin{align*}
  {E^Q}[X] &= \int_\Omega ^{} {\left( {x z(x)} \right)\mu {e^{ - \mu x}}dx}  \hfill \\
   &= \int_\Omega ^{} {xzdP}  \hfill \\
   &= {E^P}\left[ {XZ} \right]
\end{align*}

===============

Example 2 (Discrete-time case):
考慮 $\Omega = \{1,2,3,4 \}$，且 $\mathcal{F} := \sigma(\{ 1\}, \{2\}, \{3\}, \{ 4\})$
$P_1 (\{1\}) = \frac{1}{2}$, $P_1(\{2\}) = \frac{1}{3}$, $P_1(\{3\})=\frac{1}{6}$, $P_1(\{4\})=0$
 $P_2 (\{1\}) = \frac{1}{3}$, $P_2(\{2\}) = \frac{1}{4}$, $P_2(\{3\})=\frac{1}{6}$, $P_2(\{4\})=\frac{1}{4}$

(a) 試證 $P_2 $ 與 $P_1$ 並非絕對連續  但 $P_1$ 與 $P_2$ 為絕對連續
===============

Proof (a): 以下我們證明 $P_2 $ 與 $P_1$ 並非絕對連續，但 $P_1$ 與 $P_2$ 為絕對連續。由絕對連續定義得知：首先檢驗 $P_2 << P_1$：由絕對連續定義可知必須滿足
\[
P_1(A)=0 \Rightarrow P_2(A)=0
\]但現在觀察 $P_1(\{4\})=0$ 但是  $P_2(\{4\})= 1/4 \neq 0$。故$P_2 $ $P_1$ 並非絕對連續。

再者檢驗 $P_1 << P_2$：由絕對連續定義可知必須滿足
\[
P_1(A)=0 \Rightarrow P_2(A)=0
\]但現在觀察 $P_1(A)$ 只有當 $A = \emptyset $才為 $0$，亦即 $P_1(\{\emptyset\})=0$ 且 $P(\{\emptyset\})=0$。故$P_2 $ 與 $P_1$ 為絕對連續。

[機率論] 期望值 與 Lebesgue 積分

這次要介紹機率論中一個重要的概念：期望值 (Expectation)，本質上期望值被視為一個 Lebesgue 積分。更進一步地說就是在較抽象的高等機率論中， 期望值被定義為對某機率測度 (Probability measure, $P$ ) 的 Lebesgue 積分 。亦即 考慮機率空間為 $(\Omega, \mathcal{F}, P)$，則 $E[X]$ 具有如下形式：
\[
E[X] := \int_{\Omega} X d P  = \int_\Omega X(\omega) P(d\omega)
\]

我們由 Simple Function 出發 逐步建構 Lebesgue integral：

Step 1: Simple function 的期望值：

首先，我們定義 $X$ 為一個 simple function。亦即此函數可由 可測集合 (measurable sets $A_i$ ) 的 Indicator function 所組成。我們將其寫作是 Finite sum 如下：
\[
X = \displaystyle \sum_{i=1}^{n} c_i 1_{A_i}
\]其中 $c_i \in \mathbb{R}$， $A_i \in \mathcal{F}$ 且
\[{1_A}\left( x \right): = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}
\end{array}if\begin{array}{*{20}{c}}
{}
\end{array}x \in A\\
0,\begin{array}{*{20}{c}}
{}
\end{array}if\begin{array}{*{20}{c}}
{}
\end{array}x \notin A
\end{array} \right.\]則我們定義 對此 Simple function $X$ 的期望值 (或稱對此 Simple function 的 Integral)為
\[
E[X] := \int X dP := \sum_{i=1}^n c_i P( \{A_i\} )
\]接著，我們定義對 非負隨機變數 的期望值：

Step 2: 非負隨機變數 的期望值：

對任意 非負隨機變數 $Y$ $(Y : \Omega \rightarrow [0,1])$，我們定義 $Y$ 的期望值為上述 simple function 的期望值的 supremum，亦即
\[
E[Y] := \sup \{E[X]: 0 \leq X \leq Y \ \text{with $X$ a simple function}  \}
\] 注意到 $E[X] := \int X dP := \sum_{i=1}^n c_i P(\{A_i\}) $


有了上述定義，我們可以拓展到一般的隨機變數：


Step 3: 一般隨機變數的期望值：

最後，對一般的 隨機變數的情況，該如何定義其期望值呢?

想法如下：
透過將 一般隨機變數 轉換為 上述 非負隨機變數，再用上述非負隨機變數所定義的期望值 即可。

故現在考慮 $Y$ 為任意隨機變數，我們引入兩個 新的非負隨機變數 $Y^+, Y^- \geq 0$ (此法類似線性規劃中，將最佳化問題改寫成標準型式所加入的 slack variable: 有興趣的讀者請參考: [最佳化] 淺談線性規劃(0)- Standard form of Linear Programming )：
\[
Y^+ := Y \cdot 1_{ \{ Y \geq 0 \} }\\
Y^- := -Y \cdot 1_{ \{ Y \leq 0 \}}
\]那麼現在觀察上述 新引入的隨機變數，我們可知其與原本任意隨機變數有如下關係：
\[
Y=Y^+ - Y^-
\]且上述新的隨機變數 (由於 $Y^+, Y^- \geq 0$)，故其期望值可由先前所定義的 非負隨機變數期望值定義而得，故 $E[Y^+], E[Y^-]$ 為 well-defined。有了這些結果我們可以定義對一般隨機變數 $Y$ 的期望值為：
\[
E[Y] := E[Y^+] - E[Y^-] \ \ \ \ (*)
\]上式為 well-defined 若 $E[Y^+], E[Y^-]$ 並非全為 $\infty$ (亦即只要不要發生 $\infty - \infty$ 的情況，則上述定法的期望值 $E[Y]$ 都是 well-defined。 )

Comment:
1. 上式 $(*)$ 與下列積分等價：
\[
\int Y dP := \int Y^+ dP - \int Y^- dP
\]
2. 若 $E|X| = E[X^+] + E[X^-] < \infty$ 則我們稱 $X$ 有 finite expectation，(因為 $E[X^+] < \infty$ 且 $E[X^-] < \infty$)。
3. 如果現在給定 $X$ 但想計算 $X$ 在某個子集上的期望值，也就是說我們現在不是取整個樣本空間 $\Omega$ 而是只有某個 $\mathcal{F}$ 中的集合 $A \in \mathcal{F}$ 則我們仍可求其期望值
\[
\int_A X dP = \int_\Omega X 1_A dP = E[X 1_A]
\]上式稱作 integral of $X$ with respect to $P$ over $A$。另外若此積分存在且有限，則我們稱 $X$ 為 integrable with respect to $P$ over $A$


注意到期望值 $E[X] = \int_\Omega X dP $ 仍不容易計算，因為樣本空間 $\Omega$ 可以內含各式各樣奇形怪狀的東西比如說 $\Omega:=\{apple, orange...\}$，此時計算 $E[X]$ 顯然會過於抽象。那麼我們想問什麼時候才可能比較容易計算 $E[X]$？答案是如果 能給出 $X$ 的 累積分佈函數 (Cumulative Distribution Function, CDF) , 記作 $F$, with respect to $P$，亦即 $F(x) := P(X \le x)$  則 $E[X]$ 可計算如下
\[
E[X] = \int_\Omega X dP = \int_{-\infty}^{\infty} x dF(x) \;\;\;\;\; (*)
\]讀者應注意到第二等式 內含的是 $x$ 不是 $X$，且 上式 $(*)$ 為 Riemann-Stigjies Integral。
若 $X$ 有機率密度函數 (Probability Density Function, f) with respect to $P$ 則回憶機率密度函數定義為 $dF(x)/dx = f(x)$ 故我們可以得到更容易計算的期望值如下
\[
E[X] = \int_{-\infty}^{\infty} x dF(x) = \int_{-\infty}^\infty x f(x) dx
\]但上式有一定限制，因為任意隨機變數必定存在 CDF 但不一定有 PDF (因為 CDF 不一定可微，故不一定有 PDF)

Comments: 
1. 若 $g$ 為 measurable 函數 on $\mathbb{R}$ 則我們亦可計算 $E[g(X)]$，亦即
\[
E[g(X)] = \int_\Omega g(X) dP = \int_{-\infty}^\infty g(x) dF(x) = \int_{-\infty}^\infty g(x) f(x)dx
\]
2. 若 $X$ 為離散隨機變數取值為 $x_1,...,x_n$ 且 具有 probability mass function, pmf with respect to $P$, 記作 $P(X = x_n) = p(x_n)$, 則
\[
E[X] = \sum_{n=1}^\infty x_n p(x_n)
\]
且
\[
E[g(X)] = \sum_{n=1}^\infty g(x_n) p(x_n)
\]

現在看幾個例子：
Example 1:
$\Omega :=\{1,2,3,4\}$ 且 $\mathcal{F} := \sigma ( \{1\}, \{2\}, \{3\}, \{4\})$ 且 令隨機變數 $X = i$ 其中 $i=1,2,3,4$ 且
\[
P(X=1)=1/2;\;\; P(X=2) = 1/4;\;\; P(X=3)=1/6;\;\; P(X=4)=1/12
\]現在令 $X:= 5 \cdot 1_{\{X=1\}} + 2 \cdot 1_{\{X=2\}} - 4 \cdot 1_{\{X=3 \text{ or } X=4\}}$。試求 $E[X]=?$
Solution:
\[\begin{array}{*{20}{l}}
\begin{array}{l}
E[X] = \int_\Omega  {XdP = \sum\limits_n^{} {{x_n}P\left( {X = {x_n}} \right)} } \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = 5\int_\Omega  {{1_{\left\{ {X = 1} \right\}}}dP}  + 2\int_\Omega  {{1_{\left\{ {X = 2} \right\}}}dP}  - 4\int_\Omega  {{1_{\left\{ {X = 3orX = 4} \right\}}}dP}
\end{array}\\
{\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = 5 \cdot P\left( {X = 1} \right) + 2 \cdot P\left( {X = 2} \right) - 4 \cdot \underbrace {P\left( {X = 3orX = 4} \right)}_{ = P\left( {\left\{ {X = 3} \right\} \cup \left\{ {X = 4} \right\}} \right) = P\left( {X = 3} \right) + P\left( {X = 4} \right)}}\\
{\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = 5\left( {\frac{1}{2}} \right) + 2\left( {\frac{1}{4}} \right) - 4\left( {\frac{1}{6} + \frac{1}{{12}}} \right) = 2}
\end{array}\]

Example 2:
同上題，試求 $E[X^2]=?$
Solution:
\[\begin{array}{l}
E[{X^2}] = \int_{ - \infty }^\infty  {{x^2}f\left( x \right)dx}  = \sum\limits_n^{} {{{\left( {{x_n}} \right)}^2}P\left( {X = {x_n}} \right)} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = 5P\left( {X = 1} \right) + 2P\left( {X = 2} \right) + 4P\left( {\left\{ {X = 3} \right\} \cup \left\{ {X = 4} \right\}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = 25\left( {\frac{1}{2}} \right) + 4\left( {\frac{1}{4}} \right) + 16\left( {\frac{1}{6} + \frac{1}{{12}}} \right) = \frac{{35}}{2}
\end{array}\]

Example 3:
假設 $X \sim \mathcal{N}(0,1)$ 亦即我們有 pdf
\[
f_X(x) = \frac{1}{ \sqrt{2 \pi}} \exp(-x^2/2)
\]試證 $E[X]=0$
Proof:
觀察 \[\begin{array}{l}
E[X] = \int_\Omega  {XdP}  = \int_{ - \infty }^\infty  {xdF\left( x \right)}  = \int_{ - \infty }^\infty  {xf\left( x \right)dx} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  {x\frac{1}{{\sqrt {2\pi } }}\exp \left( { - {x^2}/2} \right)dx} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{{\sqrt {2\pi } }}\int_{ - \infty }^\infty  {x{e^{\frac{{ - {x^2}}}{2}}}dx}
\end{array}\]現在令\[u = \frac{{{x^2}}}{2} \Rightarrow 2du = 2xdx\]則 $E[X] = 0$
上述積分有更快速的做法如下：因為 被積函數 $x exp(-x^2/2)$ 為奇函數，且積分範圍對原點對稱 $(-\infty, \infty)$ 故積分為零。此法同理可證 $E[X^3]=E[X^5]=E[X^{2k+1}] = 0$ $k\in \mathbb{N} $



Example 4:
令 $a>0$，設 $F$ 為在 $[0, 3a]$ 上的連續函數滿足
\[F\left( x \right): = \left\{ \begin{array}{l}
\pi ,\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array}0 \le x < a\\
4 + a - x,\begin{array}{*{20}{c}}
{}&{}
\end{array}a \le x < 2a\\
{\left( {x - 2a} \right)^2},\begin{array}{*{20}{c}}
{}&{}
\end{array}x \ge 2a
\end{array} \right.
\]且在 $(0, 3a)$ 有一階導數連續 $F' = f$ 且 $f \in L^1(0,3a)$ 試計算 下列 Lebesgue-Stieltjes integral,
\[\int_{\left( {0,3a} \right]}^{} {xdF\left( x \right)}
\]

Solution
Lebesgue-Stieltjes integral 重點在於對於不連續處需給定其測度值。給定之後其餘部分如同一般微積分課程中採用的積分方法計算即可。故我們直接求解
\[\begin{array}{l}
\int_{\left( {0,3a} \right]}^{} {xdF\left( x \right)}  = \int_{\left( {0,a} \right]}^{} {xd\left( \pi  \right)}  + \int_{\left( {a,2a} \right]}^{} {xd\left( {4 + a - x} \right)}  + \int_{\left( {2a,3a} \right]}^{} {xd{{\left( {x - 2a} \right)}^2}} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} + {\left. {x\left( {F\left( x \right) - F\left( {x - } \right)} \right)} \right|_{x = a}} + {\left. {x\left( {F\left( x \right) - F\left( {x - } \right)} \right)} \right|_{x = 2a}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = 0 - \int_{\left( {a,2a} \right]}^{} {xdx}  + 2\int_{\left( {2a,3a} \right]}^{} {x\left( {x - 2a} \right)dx}  + a\left( {4 - \pi } \right) + 2a\left( { - 4 + a} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \frac{{{a^2}}}{2} + \frac{{8{a^3}}}{3} - \left( {4 + \pi } \right)a \ \ \ \ \square
\end{array}\]


一些期望值性質我們將其記錄如下：令 令 $a,b \in \mathbb{R}$ 且 $X,Y$ 為隨機變數，回憶  $E[X \cdot 1_A] = \int_A X dP$ 則
Property (1): Absolutely Integrability
\[
\int_A XdP < \infty \Leftrightarrow \int_A |X| dP < \infty
\]
Property (2): Linearity
\[
\int_A (a X + bY)dP = a \int_A X dP + b \int_A Y dP
\]
Property (3): Countably Additivity over sets
若 $\{A_n\}$ disjoint set sequences 則
\[
\int_{\cup_n A_n} X dP = \sum_n \int_{A_n} X dP
\]
Property (4): Nonnegativity
若 $X \ge 0$ $P$-almost surely (記作 $P$-a.s.)，則
\[
\int_A X dP \ge 0
\]其中 $P$-a.s. 表示 $P(X \ge 0) = 1$。

comments: 為何要在意 almost surely? 因為我們只關心測度非零的區域，測度為零的情況比如說 單點的測度為零我們並不關心。

Property (5): Monotonicity
若 $X_1 \le X \le X_2$ almost surely 則
\[
\int_A X_1 dP \le \int_A X dP \le \int_A X_2 dP
\]
Property (6): Modulus Inequality
\[
\left| \int_A X dP \right| \le \int_A |X| dP
\]


有了上述期望值的概念之後，我們可以看看如果我們取 limit 甚麼時候可以與 積分互換：也就是說 若現在 給定 一組隨機變數的數列 $\{X_n\}$ 我們想問
\[
\int_A \lim_{n \to \infty} X_n dP =?= \lim_{n \to \infty} \int_A X_n dP
\]回憶在高等微積分我們希望積分極限互換的情況的條件是需要 uniform convergence 但在機率論或者測度理論我們有以下三個極為重要的定理可以幫助我們在不需 uniform convergence 條件之下仍可達成積分與極限互換，此三個定理分別為 Dominated Convergence Theorem，Monotone Convergence Theorem、Fatou's Lemma
此三者為機率論 與積分理論的重要基石。分別紀錄如下：

考慮 $\{X_n\}$ 為任意隨機變數的 sequence。
=========================
Dominated Convergence Theorem (DCT)
若 $ P( \lim_{n \to \infty} X_n = X) =1$ 且對 $1 \leq n < \infty$，
\[
|X_n| \leq Y \text{ a.s. } \ \& \ E[Y] < \infty
\]，則 $E[|X|]<\infty$ 且
\[
\lim_{n \rightarrow \infty} E[X_n] = E[\lim_{n \rightarrow \infty} X_n] = E[X]
\]========================

=========================
Monotone Convergence Theorem (MCT)
若 $ 0 \leq X_n \leq X_{n+1} (亦即為 Monotone Functions), \ \forall n \geq 1$ 且 $\lim_{n \rightarrow \infty} X_n = X$則
\[
\lim_{n \rightarrow \infty} E[X_n] = E[\lim_{n \rightarrow \infty} X_n] = E[X]
\]========================

=========================
Fatou's Lemma
若 $X_n \ge 0 \text{ a.s. } \ \forall n \geq 1$ 則
\[
E[\liminf_{n \rightarrow \infty} X_n] \leq \liminf_{n \rightarrow \infty} E[X_n]
\]========================

ref:
S. I. Resnick, A Probability Path, Birkhauser
J. M. Steele, Stochastic Calculus and Financial Applications, Springer

J. A. Gubner, Probability and Random Processes for Electrical and Computer Engineers, Cambridge.