[機率論] 兩隨機變數相等表示兩者有相同分布但反之不然

Claim: 給定機率空間 \((\Omega, \mathcal{F}, P)\)，令\(X\)與\(Y\)為兩隨機變數。若 $P(X=Y)=1$ 則$X$與$Y$有相同分布，亦即對任意可測集合 $A \in \mathcal{F}$，

$$P(X \in A) = P(Y \in A)$$

Proof: 令$A \in \mathcal{F}$，我們觀察
$$
P(X\in A\cap X\neq Y)\leq P(X\neq Y)=0
$$ 故可推得 $P(X\in A\cap X\neq Y)=0$。利用此結果，我們注意到
$$
P(X\in A)=P(X\in A\cap X=Y)+\underbrace{P(X\in A\cap X\neq Y)}_{=0}=P(X\in A\cap X=Y)
$$ 同理我們亦可觀察 $P(Y\in A)=P(Y\in A\cap X=Y)$。注意到若我們可證明 $$P(X\in A\cap X=Y) = P(Y\in A\cap X=Y) \;\;\;\;\; (*)$$則 $$P(X\in A)=P(X\in A\cap X=Y)=P(Y\in A\cap X=Y)=P(Y\in A)$$即為所求。

現在我們回頭證明等式$(*)$。我們僅須證明下列事件集合等式關係成立 $$\{X\in A\cap X=Y\} = \{Y\in A\cap X=Y\} $$即可。首先證明 $\{X\in A\cap X=Y\} \subset \{Y\in A\cap X=Y\} $: 令 $\omega \in \{ X \in A\cap X=Y\}$ 即表明 $X(\omega) \in A$ 且 $X(\omega) = Y(\omega)$。 故我們可推得 $Y(\omega) \in A$ 故此，$\omega \in \{Y \in A\cap X=Y\}$。亦即$$\{X\in A\cap X=Y\} \subset \{Y\in A\cap X=Y\} $$ 同理不難證得 $\{X\in A\cap X=Y\} \supset \{Y\in A\cap X=Y\} $。故我們得到 $\{X\in A\cap X=Y\} = \{Y\in A\cap X=Y\} $至此證明完畢。$\square$

上述 Claim 的反面論述並不成立。以下我們給個反例：考慮均勻分布 $X$為隨機變數服從均勻分布 $U[-1,1]$ 現在取另一隨機變數 $Y:=-X$則 $Y$亦為在 $[-1,1]$上均勻分布，亦即 $X$與 $Y$具有同分布。然而

$$P(X = Y) = 0$$

[機率論] 一些常用的機率上界估計-以 exponential 隨機變數為例

令 $X$ 為 exponential 隨機變數配備參數 $\lambda =1$，亦即 $X \sim exp(1)$。試求 $P(X\geq a)$ 並分別利用 Markov inequality, Chebyshev inequalty 與 Chernoff bound 估計此機率的上界。


Proof: 首先回憶 $X \sim exp(\lambda)$ 具有 機率密度
\[f_X\left( x \right): = \left\{ \begin{gathered}
  \lambda {e^{ - \lambda x}}\begin{array}{*{20}{c}}
  {}&{x \geqslant 0}
\end{array} \hfill \\
  0\begin{array}{*{20}{c}}
  {}&{x < 0}
\end{array} \hfill \\
\end{gathered}  \right.\]故 $\lambda =1$ 我們有
\[f_X\left( x \right): = \left\{ \begin{gathered}
  {e^{ - x}}\begin{array}{*{20}{c}}
  {}&{x \geqslant 0}
\end{array} \hfill \\
  0\begin{array}{*{20}{c}}
  {}&{x < 0}
\end{array} \hfill \\
\end{gathered}  \right.\] 現在我們計算
\[
P\left( {X \geqslant a} \right) = \int_a^\infty  {{e^{ - x}}dx}  =  - \left( {0 - {e^{ - a}}} \right) = {e^{ - a}}
\]

接著我們用 Markov inequality 估計：令 $a>0$則
\begin{align*}
  P\left( {X \geqslant a} \right) &\leqslant \frac{{E\left[ X \right]}}{a} \hfill \\
   &= \frac{1}{a}\int_0^\infty  {x{e^{ - x}}dx}  \hfill \\
   &= \frac{1}{a}
\end{align*}
再來是利用 Chebyshev inequalty  估計：
\begin{align*}
  P\left( {X \geqslant a} \right)& \leqslant \frac{{E\left[ {{X^2}} \right]}}{{{a^2}}} \hfill \\
   &= \frac{1}{{{a^2}}}\int_0^\infty  {{x^2}{e^{ - x}}dx}  \hfill \\
   &= \frac{2}{a^2}
\end{align*}

最後用 Chernoff bounds
\[P\left( {X \geqslant a} \right) \leqslant \mathop {\min }\limits_{s \geqslant 0} {e^{ - sa}}{M_X}\left( s \right)\]其中$M_X(s)$ 為 moment generating function 滿足
\[{M_X}\left( s \right): = E\left[ {{e^{sX}}} \right] = \int_0^\infty  {{e^{sx}}{e^{ - x}}dx}  = \frac{1}{{1 - s}}\]故欲求 Chrnoff bound 我們需要求解下列最佳化問題
\[\begin{gathered}
  \min {e^{ - sa}}{M_X}\left( s \right) \hfill \\
  {\text{subject to }}s \geqslant 0 \hfill \\
\end{gathered} \]此問題等價於
\[\begin{gathered}
  \min \frac{{{e^{ - sa}}}}{{1 - s}} \hfill \\
  {\text{subject to }}s \geqslant 0 \hfill \\
\end{gathered} \]現在我們考慮當 $s \in (0,1)$ 時，我們可求對 $\frac{{{e^{ - sa}}}}{{1 - s}}$ 求一階導數並令其為零，來得到臨界點，亦即
\begin{align*}
 & \frac{d}{{ds}} \left( \frac{1}{{1 - s}}{e^{ - sa}} \right)= 0 \hfill \\
  &\Rightarrow \frac{{{e^{ - as}}}}{{{{(1 - s)}^2}}} - \frac{{a{e^{ - as}}}}{{1 - s}} = 0 \hfill \\
  & \Rightarrow s = 1 - \frac{1}{a} \hfill \\
\end{align*} 注意到上式中我們要求 $a > 1$否則 $s<0$ 違反最佳化問題的 拘束條件。 再者我們驗證二階導數
\[{\left. {\frac{{{d^2}}}{{d{s^2}}}\left( {\frac{1}{{1 - s}}{e^{ - sa}}} \right)} \right|_{s = 1 - 1/a}} = {a^3}{e^{ - \left( {1 - \frac{1}{a}} \right)a}} > 0\]
故可知 $s=1-1/a$  為 local minimum。我們將其記作
\[
s^* := 1 - \frac{1}{a}
\]現在將其帶回 Chernoff bound 並計算
\begin{align*}
  P\left( {X \geqslant a} \right) &\leqslant \mathop {\min }\limits_{s \geqslant 0} {e^{ - sa}}{M_X}\left( s \right) \hfill \\
   &= {e^{ - {s^*}a}}{M_X}\left( {{s^*}} \right) \hfill \\
   &= {e^{1 - a}}a
\end{align*} 下圖顯示了當 $a \in [1,6]$ 時候，不同上界估計的圖形

上圖顯示在 $a in [1,6]$ 之間，各類機率上界估計互有輸贏。

現在我們考慮 $a \in [6,20]$ 並繪製 log-plot 可得下圖

上圖可發現當 $a$ 夠大，則 Chernoff bound 展現壓倒性的優勢。一般而言，當 $a$ 夠大的時候$P(X \geq a)$ 的上界估計採用 Chernoff bound 大多優於 Markov inequality 或者 Chebyshev inequality 是非常不錯的選擇。


附註：關於 Chernoff bound 可以非常容易地從 Markov inequality 推得：令 $s \geq 0$ 現在觀察以下事件
\[
\{X \geq a\} = \{s X \geq  sa\} = \{e^{sX} \geq e^{sa}\}
\]故若對上述事件取機率可得
\[
P(X \geq a) = P(e^{sX} \geq e^{sa})
\]由於$s \geq 0$我們有 $e^{sX} \geq 0$ 且 $e^{sa} >0$ 對任意 $a$，故利用 Markov inequality可推得
\[
 P(e^{sX} \geq e^{sa}) \leq \frac{E[e^{sX}]}{e^{sa}}
\]亦即
\[
P(X \geq a)  \leq \frac{E[e^{sX}]}{e^{sa}} , \;\; \forall s \geq 0
\]由於上述不等式對任意 $s\geq 0$成立，且不等式左方與 $s$ 無關，故可知
\[
P(X \geq a)  \leq \min_{s \geq 0 }\frac{E[e^{sX}]}{e^{sa}}
\]也就是 Chernoff bound。

[機率論] 關於配備 Pareto Density 隨機變數 的一個簡單例子

令 $X$ 為隨機變數配備標準 Pareto density，亦即其機率密度函數 $f_X$ 滿足
\[f_X\left( x \right): = \left\{ \begin{gathered}
  \frac{2}{{{x^3}}}\begin{array}{*{20}{c}}
  {}&{x \geqslant 1}
\end{array} \hfill \\
  0\begin{array}{*{20}{c}}
  {}&{o.w.}
\end{array} \hfill \\
\end{gathered}  \right.\]
(a) 對任意 $a \geq 1$ 試求 $P(X \geq a)$
(b) 延續 (a)，利用 Markov inequality 求其上界。

Proof (a)
\begin{align*}
  P(X \geqslant a) &= 1 - P\left( {X < a} \right) \hfill \\
   &= 1 - \int_1^a {\frac{2}{{{x^3}}}dx}  \hfill \\
   &= 1 - 2\left( {\left. {\frac{{{x^{ - 2}}}}{{ - 2}}} \right|_1^a} \right) \hfill \\
   &= \frac{1}{{{a^2}}} \hfill \\
\end{align*}

Comments: 讀者可注意到上述結果亦可 透過直接計算
\[P\left( {X \geqslant a} \right) = \int_a^\infty  {\frac{2}{{{x^3}}}dx}  = 2\left( {\frac{1}{{ - 2}}\left. {{x^{ - 2}}} \right|_a^\infty } \right) = {a^{ - 2}}\]


Proof (b):
注意到 $X$ 為取值非負隨機變數，故對任意 $a \geq 1$，利用 Markov inequality, 我們有
\begin{align*}
  P(X \geqslant a) &\leqslant \frac{{E\left[ X \right]}}{a} \hfill \\
   &= \frac{1}{a}\int_{ - \infty }^\infty  {x{f_X}\left( x \right)dx}  \hfill \\
   &= \frac{1}{a}\int_1^\infty  {x\frac{2}{{{x^3}}}dx}  \hfill \\
   &= \frac{2}{a}\int_1^\infty  {\frac{1}{{{x^2}}}dx}  \hfill \\
   &=  - \frac{2}{a}\left( {\left. {{x^{ - 1}}} \right|_1^\infty } \right) =  - \frac{2}{a}\left( {0 - 1} \right) = \frac{2}{a} \hfill \\
\end{align*}

Comments:
1. 注意到上述 (b) 部分透過 Markov inequality 所得到的上界只有在 $a \geq 2$ 才有效力，因為當 $a \in [1,2]$ 之間時，我們得到 $2/a >1$。但由於機率測度不能超過 $1$，上述 $2/a$ 上界在 $a \in [1,2]$ 之間對我們的 $P(X \geq a)$ 的估計並無任何幫助。


2. 注意到 $a \geq 1$ 故不難得證
\[\frac{1}{{{a^2}}} \leqslant \frac{2}{a} \] 此說明了在此分佈之下，利用 Markov inequality 所得到的機率上界過鬆。下圖顯示了 $a \in [1,5]$ 的機率 與 Markov inequality所得的上界

[隨機過程] 隨機變數 的 賦範向量空間 (Normed Vector Space of random variables)

在分析中，有幾類重要的 函數空間 經常在實際問題中被使用，以下我們給出 隨機變數 (可測函數) 的  $L^p$ 空間之定義 ：

=====================
Definition: $L^p$ Space of Random Variable
令 $0<p<\infty$，我們稱 $L^p$ space 為由所有隨機變數 $X$ 所組成的集合且滿足 $
E[|X|^p] < \infty $ 所成的集合，亦即
\[
L^p := \{X: E[|X|^p] < \infty \}
\] 且對任意 $X \in L^p$，我們定義其上的 norm 為
\[
||X||_p := E[|X|^p]^{1/p}
\]=====================

Comment:

1. 上述提及的 $|| \cdot ||_p$ 為 $L^p$ space 的 norm 且滿足下列三個條件

1. $||X||_p \ge 0$, 且 $||X||_p =0 \Rightarrow X$ 為 零 隨機變數 (亦即 機率 $P(X = 0) \; \text{almost surely}$)
2. 對 $a \in \mathbb{R}$，$||aX|| = |a| \cdot ||X||$
3. 對任意 $X, Y \in L^p$，滿足三角不等式(triangle inequality)
   \[||X+Y||_p \le ||X||_p + ||Y||_p\] 

讀者可自行驗證我們 norm 的定法，亦即 $||X||_p := E[|X|^p]^{1/p}$ 確實滿足上述三個條件。(第三個條件可由 Minkowski's inequality 直接證得。)

2. $L^p$ space 是一個 function space 。


另外我們說 $L^p$ space 確實為一 向量空間。亦即可以在上面定義 向量加法 與 純量乘法 以及其線性組合：

=====================
Fact 1: $L^p$ space 為向量空間 (Vector space)
=====================

Proof:
由 Vector space 定義可知其為具有 加法 與乘法的集合且滿足線性組合規則。故給定 $X,Y \in L^p$ 且  $a,b \in \mathbb{R}$，我們需證明
\[
aX+bY \in L^p
\]亦即須證明 給定 $E[|X|^p]< \infty$ 與 $E[|Y|^p] < \infty$，須證明
\[
E[|aX + aY|^p]< \infty
\]利用 FACT: $|x + y |^p \le 2^p (|x|^p + |y|^p), 0<p<\infty$ 我們可得
\[\begin{array}{l}
E\left[ {|x + y{|^p}} \right] \le {2^p}{\rm{E}}\left[ {(|x{|^p} + |y{|^p})} \right]\\
 \Rightarrow E\left[ {|x + y{|^p}} \right] \le \underbrace {{2^p}}_{{\rm{ < }}\infty }\left( {\underbrace {{\rm{E}}\left[ {|x{|^p}} \right]}_{{\rm{ < }}\infty }{\rm{ + }}\underbrace {{\rm{E}}\left[ {|y{|^p}} \right]}_{{\rm{ < }}\infty }} \right){\rm{ < }}\infty
\end{array}\]故 $aX+bY \in L^p$ $\square$。

=====================

Definition: Convergence in L^p
我們稱 $X_n$ 收斂到 $X$ in mean of order p，記做
\[{X_n}\mathop  \to \limits^{{L^p}} X
\]若下列條件成立
\[
\lim_{n \rightarrow \infty}E[|X_n - X|^p]  =0
\]=====================


接著我們要介紹 $L^p$其上的 Cauchy sequence of random variable

=====================

Definition: Cauchy sequence of random variable in L^p
我們稱 $X_n \in L^p$ 為 一 隨機變數的 sequence 為 Cauchy，若滿足下列條件：
對任意 $\varepsilon >0$ 存在一個 $N>0$ 使得 $n,m \ge N$，我們有
\[
||X_n - X_m ||_p < \varepsilon
\]=====================


=====================
Fact: $L^p$ space 為完備空間( complete space)；亦即 任意 Cauchy sequence in $L^p$ 必定在 $L^p$ space 收斂。
=====================
Proof: omitted.

Comment:
1. 任意 complete normed vector space 我們稱為 巴拿赫空間( Banach space).

2. 我們特別有興趣的空間是 $p=2$ 的空間，此空間又稱為 $L^2$ space。此時 $L^2$ norm 可以表示成內積(inner product)的形式；亦即 若我們考慮兩隨機變數 $X,Y \in L^2$，則其 inner product 定為
\[
\left\langle {X,Y} \right\rangle : = E[XY]
\]若 $Y=X$ 則我們有
\[\begin{array}{l}
\left\langle {X,X} \right\rangle : = E[{X^2}] = \left\| X \right\|_2^2\\
 \Rightarrow \left\| X \right\|_2^{} = {\left\langle {X,X} \right\rangle ^{1/2}}
\end{array}\]由於 上述 norm 可由 inner product 推得，故我們又稱 $L^2$ space 為一個 inner product space。

3.  一個 完備 內積空間 (Complete inner-product space) 稱為 希爾伯特空間( Hilbert space)


下面我們看個例子：
Example
考慮 $\{ X_k \}$ 為$L^2$ space 的隨機變數 sequence，現在設  $\sum_{k=1}^\infty |h_k| < \infty$ 且 對任意 $k$， $E[|X_k|^2] \le B$，試證
\[
\sum_{k=1}^\infty h_k X_k \in L^2
\]Proof
首先觀察 partial sum
\[{Y_n}: = \sum\limits_{k = 1}^n {{h_k}} {X_k}
\]想法：
由於 $L^2$ 為 complete space，故我們如果可以證明 $Y_n$ 為 Cauchy，則必存在一個 ranodm variable $Y$ 使得 $Y_n \rightarrow Y \in L^2$那麼我們便可稱此 $Y$ 為我們 partial sum 的 mean square limit $=\sum_{k=1}^\infty h_k X_k \in L^2$。

故現在令 $n > m$ 且觀察
\[{Y_n} - {Y_m} = \sum\limits_{k = 1}^n {{h_k}} {X_k} - \sum\limits_{k = 1}^m {{h_k}} {X_k} = \sum\limits_{k = m + 1}^n {{h_k}} {X_k}
\]欲證明為 Cauchy，則必須要讓 $||Y_n - Y_m||_2 \rightarrow 0$。故我們觀察其 $L^2$ norm：
\[\begin{array}{l}
\left\| {{Y_n} - {Y_m}} \right\|_2^2 = E\left[ {{{\left| {\sum\limits_{k = m + 1}^n {{h_k}} {X_k}} \right|}^2}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = E\left[ {\sum\limits_{k = m + 1}^n {{h_k}} {X_k}\sum\limits_{j = m + 1}^n {{h_j}} {X_j}} \right] = \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {{h_k}{h_j}E\left[ {{X_k}{X_j}} \right]} } \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|\left| {E\left[ {{X_k}{X_j}} \right]} \right|} }
\end{array}\]由 Cauchy-Schwarz inequality $|E[XY]|^2 \le E[X^2] E[Y^2]$ 我們可改寫上式
 \[\begin{array}{l}
\left\| {{Y_n} - {Y_m}} \right\|_2^2 \le \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|\left| {E\left[ {{X_k}{X_j}} \right]} \right|} } \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|\sqrt {E[{X_k}^2]E[{X_j}^2]} } }
\end{array}\]又由假設可知 對任意 $k$， $E[|X_k|^2] \le B$，故我們有
\[\begin{array}{l}
\left\| {{Y_n} - {Y_m}} \right\|_2^2 \le \sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|\sqrt {E[{X_k}^2]E[{X_j}^2]} } } \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} \le B\sum\limits_{k = m + 1}^n {\sum\limits_{j = m + 1}^n {\left| {{h_k}{h_j}} \right|} }  = B{\left( {\sum\limits_{k = m + 1}^n {\left| {{h_k}} \right|} } \right)^2}
\end{array}\]現在我們再由假設  $\sum_{k=1}^\infty |h_k| < \infty$  可知必存在一個數 $A_n$ 使得 $\sum_{k=1}^\infty |h_k|  = A_n < \infty$ 且當 $m \rightarrow \infty$，此數 $A_n$ 亦必須收斂，也就是說 $A_n \rightarrow A < \infty$ 故我們可寫成下式
\[\sum\limits_{k = 1}^\infty  | {h_k}| = {A_n} \Rightarrow \underbrace {\sum\limits_{k = 1}^m | {h_k}|}_{part1} + \underbrace {\sum\limits_{k = m + 1}^\infty  | {h_k}|}_{part2} = {A_n}\]現在若讓 $m \rightarrow \infty$ 則上式中 part 1 必定收斂到 $A$ 故 part 2 必定要收斂到 $0$。亦即
\[\left\| {{Y_n} - {Y_m}} \right\|_2^2 \le B{\left( {\sum\limits_{k = m + 1}^n {\left| {{h_k}} \right|} } \right)^2} \to 0\]故 $Y_n$ 為 Cauchy sequence in $L^2$。現在由 $L^2$ 的完備性，任意 Cauchy sequence 都會在 $L^2$ space 收斂，故我們稱其 $Y_n$ 對應的收斂點為 $Y:= \sum_{k=1}^\infty h_k X_k \in L^2$。至此證畢。$\square$

接著我們看一個 FACT: convergence in $L^p$ $\Rightarrow $ 積分與極限可以互換次序
===================
Fact 2: 若隨機變數的 sequence $Y_n$ 收斂到 $Y$ in $L^p$，則
\[\mathop {\lim }\limits_{n \to \infty } E[{Y_n}] = E[\mathop {\lim }\limits_{n \to \infty } {Y_n}] = E[Y]
\]===================
Proof
我們要證明  $\mathop {\lim }\limits_{n \to \infty } E[{Y_n}] = E[Y]$，亦即要證明
\[\mathop {\lim }\limits_{n \to \infty } \left| {E[{Y_n}] - E[Y]} \right| = 0\]
首先觀察
\[\left| {E[{Y_n}] - E[Y]} \right| = \left| {E[Y_n - {Y}]} \right| \le E\left[ {\left| {Y_n - {Y}} \right|} \right]\]且由假設可知 ${Y_n}\mathop  \to \limits^{{L^p}} Y \Leftrightarrow \mathop {\lim }\limits_{n \to \infty } E[{\left| {{Y_n} - Y} \right|^p}] = 0$  對 $0<p<\infty$故取 $p=1$ 我們有
\[\mathop {\lim }\limits_{n \to \infty } E\left[ {\left| {Y_n - {Y}} \right|} \right] = 0 \Rightarrow \mathop {\lim }\limits_{n \to \infty } E[{Y_n}] = E[Y] \ \ \ \ \square
\]

現在回憶之前的 Example (基於一些假設之下 $\sum_{k=1}^\infty |h_k| < \infty$ 且 對任意 $k$， $E[|X_k|^2] \le B$，)，我們知道
\[\sum\limits_{k = 1}^n {{h_k}{X_k}\mathop  \to \limits^{{L^2}} } \sum\limits_{k = 1}^\infty  {{h_k}{X_k}} \]由 Fact 2 可知
\[\sum\limits_{k = 1}^n {{h_k}{X_k}\mathop  \to \limits^{{L^2}} } \sum\limits_{k = 1}^\infty  {{h_k}{X_k}}  \Rightarrow \mathop {\lim }\limits_{n \to \infty } E\left[ {\sum\limits_{k = 1}^n {{h_k}{X_k}} } \right] = E\left[ {\sum\limits_{k = 1}^\infty  {{h_k}{X_k}} } \right]
\]又注意到
\[\mathop {\lim }\limits_{n \to \infty } E\left[ {\sum\limits_{k = 1}^n {{h_k}{X_k}} } \right] = \mathop {\lim }\limits_{n \to \infty } \sum\limits_{k = 1}^n {E\left[ {{h_k}{X_k}} \right]} : = \sum\limits_{k = 1}^\infty  {E\left[ {{h_k}{X_k}} \right]} \]故我們有
\[\sum\limits_{k = 1}^\infty  {E\left[ {{h_k}{X_k}} \right]}  = E\left[ {\sum\limits_{k = 1}^\infty  {{h_k}{X_k}} } \right]\]亦即 期望值與 infinite summation 可以互換次序。

[測度論] Sigma Algebra 與 Measurable function 簡介

這次要介紹的是 Sigma Algebra 與 可測函數 (Measurable function)。
(在機率論中 隨機變數 (random variable) 即為 可測函數，我們會在本文中稍作介紹 )

在介紹measurable function之前我們需要一些先導概念 (or building block) 來幫助我們。

首先是 空間 (Space) 的概念。
我們說一個 空間 $X$ 其實就是任意(具有某種結構)的集合 (set)。

一般而言牽涉到測度是 因為我們想要在這個空間(集合) 上定義積分，故我們需要加上一些 (額外的) 結構 到這個空間來幫助我們定義積分。也就是所謂的 $\sigma$-algebra 與 測度 (measure)。透過這個結構我們可以來說明什麼是 可測函數。

現在我們先看看空間需要的結構，稱為 sigma-algebra or sigma-field。

以下給出 $\sigma$-algebra的定義：
=============================
首先考慮 空間 $X$ 的子集合(subset)，我們將這些子集合 收集起來形成一個集合；定義做$\mathcal{A}$，我們稱 $\mathcal{A}$為 collection of subsets of $X$

Definition : ( $\sigma$-algebra)
假設 $\mathcal{A}$ 為 collection of subsets of $X$ ，則 $\mathcal{A}$為 $\sigma$-algebra (或稱 $\sigma$-field)如果下列三個條件成立：
1. $X \in \mathcal{A}$ 且 $\emptyset \in \mathcal{A}$ (亦即整個space 與 空集合必須落在 $\mathcal{A}$ 中)
2. $A \in \mathcal{A} \Rightarrow A^c \in \mathcal{A}$ (亦即 補集 必須落在 $\mathcal{A}$ 中)
3. 假設 $\{A_i \}$ 為在 $\mathcal{A}$ 中的 可數 集合序列 (countable set of sequence)，則其聯集 $\cup_i A_i \in \mathcal{A}$
=============================

Comments: 
1. 在機率論中，$X$ 為 sampled space $\Omega$，$\sigma$-algebra 為事件的集合 (事件為$\Omega$的子集)。
2. 注意到上述條件 (3.)，對於不可數集合的聯集並不允許!!，亦即我們無法聯集任意(不可數)多個集合；另外若我們將條件 3 改成只允許 "有限個集合" 聯集，則此時 $\mathcal{A}$ 稱作一個 algebra (NOT $\sigma$-algebra )
4. 對數個 sigma-algebra 取 交集仍為 sigma-algebra。
5. 在機率論中，若樣本空間 $\Omega$ 為可數集合，則我們可以對其上任何子集 $2^{\Omega}$ 皆可 指定對應測度，但若樣本空間為 無窮不可數集合 (uncountable set) ， 則我們很有可能無法對其上所有子集 定義對應的測度，但所幸我們可對 $\sigma$-algebra 所產生之子集定義測度，也就是透過 $\sigma$-algebra 的幫助，可以保證當我們做最大限度的集合的操作 (交集/聯集/差集/...) 之下所產生的 $\sigma$-algebra 的子集皆可被指定測度。


以下我們看幾個 $\sigma$-algebra 的例子
----
Example:
令 $X$ 為任意非空集合
1. 其 power set $\mathcal{P}(X)$ 與 $\{\emptyset, X \}$ 都為 $\sigma$ algebra。

2. 若 $X$ 為 uncountable，則下列集合
\[
 \mathcal{A} := \{E \subset X: \text{$E$ is countable or $E^C$ is countable} \}
\]為 $\sigma$- algebra。

3. 若 $A$ 為 $X$ 中非空子集，則
\[
\mathcal{A} = \{\emptyset, X, A^C, A \}
\]為  $\sigma$- algebra。

4. 若 $X $ 為 可數集合 (e.g., $X = \mathbb{N}$)，則下列集合
\[
 \mathcal{A} := \{E \subset X: \text{$E$ is finite or $E^C$ is finite} \}
\]不為 $\sigma$- algebra。
---

========================
Sigma-algebra generated by a set 
若 $\mathcal{E} \subset \mathcal{P}(X)$，其中 $\mathcal{P}(X)$ 為 $X$ 的 power set (表所有 $X$ 的子集)， 則存在一個 smallest sigma-algebra $\sigma(E)$ 包含 $\mathcal{E}$。亦即 \[
\sigma(\mathcal{E}) = \cap\{ \mathcal{C}: \mathcal{E} \subset \mathcal{C} \text{  and  } \mathcal{C} \text{ is a $\sigma$-algebra}\}
\]========================

Proof. 我們要證明 $\sigma(\mathcal{E})$ 為 sigma-algebra。故由 sigma-algebra 定義
首先檢驗 $\emptyset$ 與 $X$ 是否落在  $\sigma(\mathcal{E})$ 中：由於
 \[
\sigma(\mathcal{E}) = \cap\{ \mathcal{C}: \mathcal{E} \subset \mathcal{C} \text{  and  } \mathcal{C} \text{ is a $\sigma$-algebra}\}
\]且在 $\sigma(\mathcal{E})$ 中的每一個元素 $ \mathcal{C}$ 都為 sigma-algebra，由定義可知必定都具有  $\emptyset$ 與 $X$ ，故可推知 $\emptyset \in \sigma(\mathcal{E})$ 與 $X \in \sigma(\mathcal{E})$。

接著我們檢驗 補集性質：我們讓 $A \in \sigma(\mathcal{E})$ ，則 $A \in \mathcal{C}, \; \forall \mathcal{C} \in \sigma(\mathcal{E})$ 又因為 $ \mathcal{C}$ 都為 sigma-algebra，故 $A^C \in \mathcal{C}, \; \forall \mathcal{C} \in \sigma(\mathcal{E})$ 亦即
\[
A^C \in \sigma(\mathcal{E})
\]
最後我們檢驗 可數聯集性質：讓 $\{A_i \}$ 為在 $\sigma(\mathcal{E})$ 中的 可數 集合序列 (countable set of sequence)，則 $A_i \in C,\; \forall C \in \sigma(\mathcal{E})$故我們若取聯集
\[\bigcup\limits_i^{} {{A_i}}  \in \sigma(\mathcal{E}) \ \ \ \ \square
\]



Example: Sigma-algebra generated by a family of open sets
令 $X$ 為 metric space。
若 $\sigma$-algebra 是由一堆  $X$ 中的 open sets 所形成的集合所產生，則我們稱此 $\sigma$-algebra 為 Borel $\sigma$-algebra 記做 $\mathcal{B}_X$。且 $\mathcal{B}_X$ 的元素我們稱為 Borel sets 且由於其為透過 open sets 所產生，故 $\mathcal{B}_X$ 包含 opne sets，closeed sets, 可數多個交集或者連集的open and closed sets。。


令 $X := \mathbb{R}$，則我們可以取 $\mathbb{R}$ 上的 open sets 建構 Borel sigma algebra $\mathcal{B}_{\mathbb{R}}$


有了 sigma-algebra 作為空間的結構，我們便可以定義我們需要 (用作之後定義積分) 的空間，稱為 可測空間 (Measurable Space)

=============================

Definition (Measurable Space 與 Measurable sets)
若 $X$ 為space 且 $\mathcal{A}$ 為 $\sigma$-algebra 滿足上述定義，則我們稱 有序配對  $(X, \mathcal{A})$ 為一個 Measurable Space。

且$\sigma$-algebra $\mathcal{A}$ 中的元素稱為 Measurable sets。 (亦即 $\sigma$-algebra 為收集Measurable sets的集合)
=============================

有了以上定義我們便可以介紹甚麼是可測函數

現在假設有兩個 Measurable space $(X, \mathcal{A})$ 與 $(Y, \mathcal{B})$，並考慮有一個函數 $f : X \rightarrow Y$，則我們說 $f$ 為對 $\mathcal{A}$的 可測函數 (measruable function) 如果下列條件成立：
若 對所有的 $B \in \mathcal{B}$，其 inverse image 落在$\mathcal{A}$中，亦即
\[
f^{-1}(B)=\{x \in X : f(x) \in B \} = \{ f \in B\} \in \mathcal{A}
\]其中 $\mathcal{B}$ 為 Borel $\sigma$-algebra (亦即 $\mathcal{B}$ 為 最小的 $\sigma$-algebra 且包含 $\mathbb{R}$ 中所有 open subsets )

Comments:
1. 關於甚麼是 Inverse image 請參閱此文： [數學] Image and Preimage

2. 如果考慮機率空間 $(\Omega, \mathcal{F}, P)$ (亦即 sampled space $\Omega$，$\sigma$-algebra $\mathcal{F}$，機率測度 $P$)，關於機率測度有興趣的讀者請參考：[數學]機率公理淺談(Axioms of Probability)

============================
Random Variable as a Measurable Function

則我們可以定義隨機變數 (random variable ) $Z$。事實上 隨機變數 $Z$ 並不是隨機也不是變數，如前所述，本質上 $Z$ 為一個由sampled space $\Omega$ 映射到 實數 $\mathbb{R}$ 的 (可測)函數，亦即
隨機變數 $Z : \Omega \rightarrow \mathbb{R}$ 且滿足下列性質：對所有的 $z \in \mathbb{R}$
\[
\{\omega \in \Omega: Z(\omega) \leq z \} \in \mathcal{F}
\]
為什麼這樣定呢? 因為上述集合 $\{\omega \in \Omega: Z(\omega) \leq z \} \in \mathcal{F}$ ，也就是說是一個事件，既然是事件，我們便可以討論其對應的機率測度 $P(Z \leq z) =?$。

另外如果我們比對前述 可測函數的定義，可發現這樣的函數 $Z$ 為對 $\mathcal{F}$ 的 可測函數，亦即隨機變數為可測函數。

以下我們看一些例子：

Example 1: 設 $(\Omega, \mathcal{F}, P)$ 為一個機率空間，則我們定義函數 $Z: \Omega \rightarrow \mathbb{R}$ 為 $Z(\omega) =c, $ 則此函數 $Z$ 為一個隨機變數。

Proof. 由隨機變數定義：給定  $z \in \mathbb{R}$，我們要證明
\[\{ \omega  \in \Omega :Z(\omega ) \le z\}  \in \mathcal{F}
\]現在觀察
\[\{ \omega  \in \Omega :Z(\omega ) \le z\}  = \{ \omega  \in \Omega :c \le z\}  = \left\{ \begin{array}{l}
\Omega ,\begin{array}{*{20}{c}}
{}&{}
\end{array}c \le z\\
\emptyset ,\begin{array}{*{20}{c}}
{}&{}
\end{array}c > z
\end{array} \right.
\]由 Sigma-algebra 定義可知 $\emptyset, \Omega  \in \mathcal{F}$。$\square$


Example 2: 設 $(\Omega, \mathcal{F}, P)$ 為一個機率空間，令 $A \in \mathcal{F}$ 為一事件。 則我們定義函數 $Z: \Omega \rightarrow \mathbb{R}$ 為
\[Z: = {I_A}\left( \omega  \right): = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}&{}
\end{array}\omega  \in A\\
0,\begin{array}{*{20}{c}}
{}&{}
\end{array}\omega  \notin A
\end{array} \right.\]則此函數 $Z$ 為一個可測函數。

Proof. 我們這邊利用可測函數的定義：給定  $B \in \mathcal{B}_{\mathbb{R}}$，我們要證明
\[\{ \omega  \in \Omega :Z(\omega ) \in B\}  \in \mathcal{F}
\]現在觀察 $\{ \omega  \in \Omega :Z(\omega ) \in B\}  = \{ \omega  \in \Omega :{I_A}\left( \omega  \right) \in B\}$ 故我們可以用以下幾個情況來判斷：
\[\begin{array}{l}
\text{if } 0 \in B,\;1 \notin B:\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \Rightarrow \{ \omega  \in \Omega :\omega  \notin A\}  = {A^c} \in {{\cal F}}\\
\text{if }1 \in B,\;0 \notin B:\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \Rightarrow \{ \omega  \in \Omega :\omega  \in A\}  = A \in {{\cal F}}\\
\text{if } 0,1 \in B:\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \Rightarrow \{ \omega  \in \Omega :\omega  \in \Omega \}  = \Omega  \in {{\cal F}}\\
\text{if }0,1 \notin B:\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \Rightarrow \{ \omega  \in \Omega :\omega  \in \emptyset \}  = \emptyset  \in {{\cal F}} \ \ \ \ \square
\end{array}
\]

3. 如果我們考慮的是一組隨機變數，而不是單一個，比如說
 $\{Z_1, Z_2, ..., Z_n \}$ 為一組 collection of random variables。則我們需要考慮的是 smallest $\sigma$-algebra, 計作$\mathcal{G}$  使得
對任意一個隨機變數 $Z_i$ 都是對 $\mathcal{G}$ 可測，亦即

對所有的 $z \in \mathbb{R}$與 $i = 1,...,n$
\[
\{\omega \in \Omega: Z_i(\omega) \leq z \} \in \mathcal{G}
\] 我們稱此 sub-$\sigma$ algebra $\mathcal{G}$ 為 由 $\{Z_1, Z_2, ..., Z_n \}$所產生的 $\sigma$ algebra，計做 $\sigma\{Z_1, Z_2, ..., Z_n \}$

NOTE: 注意到因為 $\mathcal{G} = \sigma\{Z_1, Z_2, ..., Z_n \}$ 為最小的 $\sigma$-algebra，故其必定為原本 $\sigma$-algebra 的子集合，也就是說 $\mathcal{G} \subset \mathcal{F}$

[機率論] 淺論獨立性質 與 Dynkin's pi-lambda 定理

直觀上，說事件獨立表示事件過去發生的歷史不會影響未來的結果。比如說我們考慮某隨機試驗為 投擲公平銅板三次，其結果 出現正面或者反面 不影響 下一次試驗出現正面或者反面的機率。則我們可將此投擲銅板的隨機試驗視為獨立事件。


以下我們給出各種獨立性的定義：

給定機率空間 $(\Omega, \mathcal{F}, P)$。
Definition: Independence of Two Events
我們說兩事件 $A,B \in \mathcal{F}$ 彼此獨立 (A independent of B) 若下列條件成立
\[
P(A \cap B) = P(A)P(B)
\]

Definition: Independence of Two Random Variables
我們說 兩隨機變數 $X, Y$ 從 $(\Omega, \mathcal{F})$ 映射到 $(\mathbb{R},\mathcal{B}_{\mathbb{R}})$彼此獨立，若下列條件成立
對任意 $C, D \in \mathcal{B}_{\mathbb{R}}$
\[
P(X \in C, Y \in D) = P(X \in C, Y \in D)
\]其中 $\mathcal{B}_{\mathbb{R}}$ 為 Borel sigma-algebra。

Definition: Independence of Two Sigma-Algebras
我們說 兩 sigma-algebra $\mathcal{F}, \mathcal{G}$ 彼此獨立，若下列條件成立
對任意 $A \in \mathcal{F}$ 與 $B \in \mathcal{G}$ 我們有
\[
P(A \cap B) = P(A)P(B)
\]

現在我們看個事件獨立的結果：

=========================
FACT: 若事件 $A$, $B$ 為獨立，則 $A$ 與 $B^c$, $A^c$, 以及 $B$ 與 $B^c$, $A^c$ 均為獨立。
=========================
Proof:
在此只證 $A$ 與 $B^c$ 獨立。其餘證法皆雷同不贅述。由於要證  $A$ 與 $B^c$ 獨立，由定義可知我們必須要證明
\[
P(A \cap B^c) = P(A) P(B^c)
\]現在觀察下列事件等價
\[\left\{ {A \cap {B^c}} \right\} = \left\{ {A\backslash \left( {A \cap B} \right)} \right\}
\]且注意到 $A$ 與 $A \cap B$ 彼此 disjointed，故若我們計算其機率可得
\[P(A \cap {B^c}) = P(A\backslash \left( {A \cap B} \right)) = P(A) - P\left( {A \cap B} \right)
\]由於 $A$ 與 $B$ 獨立故 $P(A \cap B) = P(A) P(B)$，將此代入上式可得
\[\begin{array}{l}
 \Rightarrow P(A \cap {B^c}) = P(A) - P\left( {A \cap B} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = P(A) - P\left( A \right)P\left( B \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = P(A)\left[ {1 - P\left( B \right)} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = P(A)P\left( {{B^c}} \right) \ \ \ \ \square
\end{array}\]



那麼現在如果超過兩個以上的 事件, 隨機變數 or sigma-algebra, 的話怎麼辦呢?

Definition: Independence of Several Events
我們說事件 $A_1,A_2,...,A_n \in \mathcal{F}$ 彼此獨立 若下列條件成立：
$I \subset\{1,2,...,n\}$
\[P\left( {\bigcap\limits_{i \in I}^n {{A_i}} } \right) = \prod\limits_{i \in I}^n {P({A_i})} \]

Definition: Independence of Several Random Variables
我們說 隨機變數 $X_1,X_2,... X_n $ 從 $(\Omega, \mathcal{F})$ 映射到 $(\mathbb{R},\mathcal{B}_{\mathbb{R}})$彼此獨立，若下列條件成立：
對任意 $i=1,2,...,n$, $B_i \in \mathcal{B}_{\mathbb{R}}$
\[P\left( {\bigcap\limits_{i =1}^n {\left\{ {X \in {B_i}} \right\}} } \right) = \prod\limits_{i =1}^n {P\left( {X \in {B_i}} \right)} \]其中 $\mathcal{B}_{\mathbb{R}}$ 為 Borel sigma-algebra。

Definition: Independence of Several Sigma-Algebras
我們說  sigma-algebra $\mathcal{F_1},\mathcal{F_2},...,\mathcal{F_n}$ 彼此獨立，若下列條件成立：
對任意 $i =1,2,...,n$,  $A_i \in \mathcal{F_i}$ 我們有
\[P\left( {\bigcap\limits_{i =1}^n {{A_i}} } \right) = \prod\limits_{i=1}^n {P({A_i})}
\]

為了找出要 獨立性的充分條件，我們先介紹下面一些術語

===============================
Definition: $\pi$-system $\lambda$-system
我們說 $\mathcal{P}$ 為 $\pi$-system 若下列條件成立
1. $\mathcal{P} \neq \emptyset$
2. 若 $A,B \in \mathcal{P}$ 則 $A \cap B \in \mathcal{P}$

我們說 $\mathcal{L}$ 為 $\lambda$-system 若下列條件成立
1. $\mathcal{L} \neq \emptyset$, $\Omega \in \mathcal{L}$
2. 若 $A \in \mathcal{L}$ 則 $A^c \in  \mathcal{L}$
3. 若 $A_i \in  \mathcal{L}, \;\; \forall i$ 且 $A_i$ disjoint， 則 $\bigcup_i A_i  \in \mathcal{L}$
===============================

Comment: Sigma-algebra 本身即為 $\lambda$-system。讀者可自行確認 Sigma-algebra 定義確實符合  $\lambda$-system。

===============================
Theorem: Dynkin's Pi-Lambda Theorem
若 $\mathcal{P}$ 為 $\pi$-system 且 $\mathcal{L}$ 為 $\lambda$-system 使得 $\mathcal{P} \subset \mathcal{L}$，則 $\sigma(\mathcal{P}) \subset \mathcal{L}$
===============================
Proof: omitted.


我們用下面的幾個 proposition 來驗證如何使用 $\pi-\lambda$ Theorem。首先看看如何檢驗一個集合確實為  $\lambda$-system。

===============================
Proposition: 令 $P_1, P_2$ 為兩個在 $(\Omega, \mathcal{B})$ 上的機率測度。則下列集合
\[
\mathcal{L}:=\{A \in \mathcal{B}: P_1(A) = P_2(A)\}
\]為 $\lambda$-system。
===============================

Proof:
要證明 $\mathcal{L}$ 為$\lambda$-system，由定義可知我們需檢驗下列三項性質都被滿足
1. $\mathcal{L} \neq \emptyset$, $\Omega \in \mathcal{L}$
2. 若 $A \in \mathcal{L}$ 則 $A^c \in  \mathcal{L}$
3. 若 $A_i \in  \mathcal{L}, \;\; \forall i$ 且 $A_i$ disjoint， 則 $\bigcup_i A_i  \in \mathcal{L}$

故我們逐項檢驗如下：
1. 由於 $\Omega \in \mathcal{B}$，且 $P_1(\Omega) = P_2(\Omega)$ 故可知 $\Omega \in \mathcal{L}$ 且 $\mathcal{L} \neq \emptyset$。

2. 若 $A \in \mathcal{L}$，則 $A \in \mathcal{B}$ 且 $P_1(A) = P_2(A)$ 故我們觀察
\[\begin{array}{l}
{P_1}(A) = {P_2}(A) \Rightarrow 1 - {P_1}({A^c}) = 1 - {P_2}({A^c})\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} \Rightarrow {P_1}({A^c}) = {P_2}({A^c})
\end{array}\]亦即 $A^c \in \mathcal{L}$。

3. 若 $A_i \in  \mathcal{L}, \;\; \forall i$ 且 $A_i$ disjoint，則我們有 $P_1(A_i) = P_2(A_i), \;\; \forall i$ 且由於  $A_i$ disjoint ，我們觀察下式
\[{P_1}(\bigcup\limits_i^{} {{A_i}} ) = \sum\limits_i^{} {{P_1}({A_i})}  = \sum\limits_i^{} {{P_2}({A_i})}  = {P_2}(\bigcup\limits_i^{} {{A_i}} )\]亦即  $\bigcup_i A_i  \in \mathcal{L}$。

故綜合以上我們可知 $\mathcal{L}$ 三項條件都滿足，故 $\mathcal{L}$確實為 $\lambda$-system。$\square$


接著我們看看如何使用 Dynkin's pi-lambda theorem。

=================
Corollary
若 $P_1, P_2$ 個別為在 $(\Omega, \mathcal{B})$ 上 的機率測度 且 $\mathcal{P}$ 為 $\pi$-system 使得 對任意 $A \in \mathcal{P}$，$P_1(A) = P_2(A)$，則 對任意 $B \in \sigma(\mathcal{P})$，我們有 $P_1(B) = P_2(B)$。其中 $\sigma(\mathcal{P})$ 表示由 $\mathcal{P}$所產生的最小的 sigma-algebra 。
=================

Proof:
由 先前的 Proposition 可知 $\mathcal{L}:=\{A \in \mathcal{B}: P_1(A) = P_2(A)\} $ 為 $\lambda$-system，且注意到我們假設  $\mathcal{P}$ 為 $\pi$-system 使得 對任意 $A \in \mathcal{P}$，$P_1(A) = P_2(A)$，故 $\mathcal{P} \subset \mathcal{L}$，故利用 Dynkin's $\pi-\lambda$ Theorem：
---

若 $\mathcal{P}$ 為 $\pi$-system 且 $\mathcal{L}$ 為 $\lambda$-system 使得 $\mathcal{P} \subset \mathcal{L}$，則 $\sigma(\mathcal{P}) \subset \mathcal{L}$

---
可知  $\sigma(\mathcal{P}) \subset \mathcal{L}$，亦即對任意 $B \in \sigma(\mathcal{P})$，我們有 $P_1(B) = P_2(B)$。$\square$



============
Theorem: Independence class of sets implies independence of generated sigma-algebra
固定機率空間 $(\Omega, \mathcal{F}, P)$， 設  $\mathcal{A}_1,\mathcal{A}_2,...,\mathcal{A}_n$ 彼此獨立，且 $\mathcal{A}_i$ 為 $\pi$-system，則
\[\sigma(\mathcal{A}_1), \sigma(\mathcal{A}_2), ..., \sigma(\mathcal{A}_n)
\] 亦為彼此獨立。
============

Proof: 我們這邊證明上述結果在 $n=2$ 時候成立。首先固定 $A_2 \in \mathcal{A}_2$，我們建構一集合如下
\[
\mathcal{L}:=\{A\in \mathcal{F}: P(A \cap A_2) = P(A) P(A_2) \}
\]我們現在證明 $\mathcal{L}$ 為一個 $\lambda$-system。故首先檢驗 $\Omega $ 是否落在 $\mathcal{L}$之中。觀察 $\Omega \in \mathcal{F}$ 且 $P(\Omega \cap A_2) = P(A_2) = P(A_2) P(\Omega)$ 故 $\Omega \in \mathcal{L}$

接著我們檢驗 若 $A \in \mathcal{L}$ 中 則 $A^c $ 亦必須落在 $\mathcal{L}$之中。故 $A \in  \mathcal{L}$ 表示 $A \in \mathcal{F}$ 且 \[\begin{array}{l}
P(A \cap {A_2}) = P\left( A \right)P\left( {{A_2}} \right)\\
 \Rightarrow P(\left( {\Omega \backslash {A^c}} \right) \cap {A_2}) = \left[ {1 - P\left( {{A^c}} \right)} \right]P\left( {{A_2}} \right)\\
 \Rightarrow P\left( {\left( {\Omega  \cap {A_2}} \right)\backslash \left( {{A^c} \cap {A_2}} \right)} \right) = P\left( {{A_2}} \right) - P\left( {{A^c}} \right)P\left( {{A_2}} \right)\\
 \Rightarrow P\left( {{A_2}\backslash \left( {{A^c} \cap {A_2}} \right)} \right) = P\left( {{A_2}} \right) - P\left( {{A^c}} \right)P\left( {{A_2}} \right)\\
 \Rightarrow P\left( {{A_2}} \right) - P\left( {{A^c} \cap {A_2}} \right) = P\left( {{A_2}} \right) - P\left( {{A^c}} \right)P\left( {{A_2}} \right)\\
 \Rightarrow P\left( {{A^c} \cap {A_2}} \right) = P\left( {{A^c}} \right)P\left( {{A_2}} \right)
\end{array}\]故可得 $A^c \in \mathcal{L}$。

最後我們檢驗若 $B_1, B_2, ...  \in \mathcal{L}$ 且互為 disjoint，我們要檢驗是否  $\bigcup\limits_{i = 1}^\infty  {{B_i}} \in \mathcal{L}$

故令 $B_1, B_2, ...  \in \mathcal{L}$且互為 disjoint，則我們有 $B_1, B_2, ... \in \mathcal{F}$ 且 $P(B_i \cap A_2) = P(B_i) P(A_2), \;\; \forall i \in \mathbb{N}$ 現在觀察  $\bigcup\limits_{i = 1}^\infty  {{B_i}} \in \mathcal{F}$ 且
\[\begin{array}{l}
P\left( {\left( {\bigcup\limits_{i = 1}^\infty  {{B_i}} } \right) \cap {A_2}} \right) = P\left( {\bigcup\limits_{i = 1}^\infty  {\left( {{B_i} \cap {A_2}} \right)} } \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \sum\limits_{i = 1}^\infty  {P\left( {{B_i} \cap {A_2}} \right)}  = P({A_2})\sum\limits_{i = 1}^\infty  {P({B_i})} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = P\left( {\bigcup\limits_{i = 1}^\infty  {{B_i}} } \right)P({A_2})
\end{array}\]亦即 $\bigcup\limits_{i = 1}^\infty  {{B_i}} \in \mathcal{L}$ 。

綜合上述三點我們可以推得 $\mathcal{L}$ 為 $\pi$-system，且由假設可知 $\mathcal{A}_1, \mathcal{A}_2$ 皆為 $\pi$-system 且 $\mathcal{A}_1 \subset \mathcal{L}$ 因為 取任意集合 $A_1 \in \mathcal{A}_1$ 則 由假設$\mathcal{A}_1, \mathcal{A}_2$ 彼此獨立，故 $P(A_1 \cap A_2) = P(A_1) P(A_2)$ 此結果確實滿足 $\mathcal{L}$之要求，故  $\mathcal{A}_1 \subset \mathcal{L}$ 。

現在我們利用 Dynkin's pi-lambda theorem 可知道 $\sigma(\mathcal{A}_1) \subset \mathcal{L}$ 故可推論 $\sigma(\mathcal{A}_1)$ 與 $\mathcal{A}_2$ 互為獨立。

現在推廣上述結果可證得 $\sigma(\mathcal{A}_1)$ 與 $\sigma (\mathcal{A}_2)$ 互為獨立。




============
Theorem: 
設 $\mathcal{F}_{i,j}$, $1 \le i \le n$ 且 $1 \le j \le m(i)$ 互為獨立的 sigma-algebras，且令
\[
\mathcal{G}_i := \sigma(\bigcup_j F_{i,j})
\]則 $\mathcal{G}_1,...,\mathcal{G}_2$ 亦互為獨立。
============
Proof:
我們要證明 sigma-algebras  $\mathcal{G}_1,...,\mathcal{G}_2$ 亦互為獨立。

首先定義集合
\[
\mathcal{A}_i := \{ A_{i,j} \in \mathcal{F}_{i.j} : \bigcap_j A_{i,j} \}
\] 注意到 由於 $\mathcal{F}_{i,j}$ 為 sigma-algebra，可知  $\Omega \in \mathcal{F}_{i,j},\;\; \forall i,j $ ；故若我們取 $A_{i,j} := \Omega$，則 $ \bigcap_j A_{i,j} = \Omega$ 亦即 $\Omega \in \mathcal{A}_i$；且 $\mathcal{A}_i \neq \emptyset$。  $\ \ \ \ (*)$

接著我們檢驗 $\mathcal{A}_i$ 是否為 $\pi$-system： 若  $A_{i,j}, B_{i,j} \in \mathcal{A}_{i,j}$ 則 $A_{i,j} \cap B_{i,j} \in \mathcal{A}_i$ $\ \ \ \ (**)$。故由 $(*)$ 與 $(**)$ 可知 $\mathcal{A}_i$ 為 $\pi$-system。

接著我們試圖要把 $\mathcal{A}_i$ 與我們要證明的 $\mathcal{G}_i$ 關係連結起來，故我們檢驗 $\bigcup_j \mathcal{F}_{i,j} \subset \mathcal{A}_i$：
令 $A_{i,j} \in \mathcal{F}_{i,j}$ 我們要證明  $A_{i,j} \in  \mathcal{A}_i$，現在觀察 $\bigcap_j A_{i,j} = A_{i,j} \cap \Omega \cap \Omega \cap ...$ 故可推得 $A_{i,j} \in \mathcal{A}_i$。亦即 $\bigcup_j \mathcal{F}_{i,j} \subset \mathcal{A}_i$。

再者，若 $A_{i,j} \in \mathcal{A}_i$ 則 $A_{ij} \in \mathcal{F}_{i,j}$ ，由定義可知 $\mathcal{F}_{i,j}$ 互為獨立，故 $\mathcal{A}_i$ 互為獨立。

現在總結手上有的對於 $\mathcal{A}_i$ 結果如下：
1.  $\mathcal{A}_i$ 為 $\pi$-system
2.  $\bigcup_j \mathcal{F}_{i,j} \subset \mathcal{A}_i$
3.  $\mathcal{A}_i$ 互為獨立。

現在由 Theorem: Independence class of sets implies independence of generated sigma-algebra 可知：若 $\mathcal{A}_1,\mathcal{A}_2,...,\mathcal{A}_n$ 彼此獨立，且 $\mathcal{A}_i$ 為 $\pi$-system，則
\[\sigma(\mathcal{A}_1), \sigma(\mathcal{A}_2), ..., \sigma(\mathcal{A}_n)
\] 亦為彼此獨立。

亦即我們得到 $\sigma(\mathcal{A}_i)$ 亦互為獨立。且 $\sigma(\mathcal{A}_i) \supset \mathcal{A}_i \supset \bigcup_j \mathcal{F}_{i,j}$ 故可推知 (由 $ \sigma(\cup_j \mathcal{F}_{i,j})$ 為最小的 sigma-algebra 包含 $\mathcal{F}_{i,j}$)
\[
\sigma(\mathcal{A}_i) \supset \mathcal{G}_i := \sigma(\cup_j \mathcal{F}_{i,j})
\]且由於 $\sigma(\mathcal{A}_i)$ 亦互為獨立，故 $\mathcal{G}_i $ 互為獨立。 $\square$

[機率論] 期望值 與 Lebesgue 積分

這次要介紹機率論中一個重要的概念：期望值 (Expectation)，本質上期望值被視為一個 Lebesgue 積分。更進一步地說就是在較抽象的高等機率論中， 期望值被定義為對某機率測度 (Probability measure, $P$ ) 的 Lebesgue 積分 。亦即 考慮機率空間為 $(\Omega, \mathcal{F}, P)$，則 $E[X]$ 具有如下形式：
\[
E[X] := \int_{\Omega} X d P  = \int_\Omega X(\omega) P(d\omega)
\]

我們由 Simple Function 出發 逐步建構 Lebesgue integral：

Step 1: Simple function 的期望值：

首先，我們定義 $X$ 為一個 simple function。亦即此函數可由 可測集合 (measurable sets $A_i$ ) 的 Indicator function 所組成。我們將其寫作是 Finite sum 如下：
\[
X = \displaystyle \sum_{i=1}^{n} c_i 1_{A_i}
\]其中 $c_i \in \mathbb{R}$， $A_i \in \mathcal{F}$ 且
\[{1_A}\left( x \right): = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}
\end{array}if\begin{array}{*{20}{c}}
{}
\end{array}x \in A\\
0,\begin{array}{*{20}{c}}
{}
\end{array}if\begin{array}{*{20}{c}}
{}
\end{array}x \notin A
\end{array} \right.\]則我們定義 對此 Simple function $X$ 的期望值 (或稱對此 Simple function 的 Integral)為
\[
E[X] := \int X dP := \sum_{i=1}^n c_i P( \{A_i\} )
\]接著，我們定義對 非負隨機變數 的期望值：

Step 2: 非負隨機變數 的期望值：

對任意 非負隨機變數 $Y$ $(Y : \Omega \rightarrow [0,1])$，我們定義 $Y$ 的期望值為上述 simple function 的期望值的 supremum，亦即
\[
E[Y] := \sup \{E[X]: 0 \leq X \leq Y \ \text{with $X$ a simple function}  \}
\] 注意到 $E[X] := \int X dP := \sum_{i=1}^n c_i P(\{A_i\}) $


有了上述定義，我們可以拓展到一般的隨機變數：


Step 3: 一般隨機變數的期望值：

最後，對一般的 隨機變數的情況，該如何定義其期望值呢?

想法如下：
透過將 一般隨機變數 轉換為 上述 非負隨機變數，再用上述非負隨機變數所定義的期望值 即可。

故現在考慮 $Y$ 為任意隨機變數，我們引入兩個 新的非負隨機變數 $Y^+, Y^- \geq 0$ (此法類似線性規劃中，將最佳化問題改寫成標準型式所加入的 slack variable: 有興趣的讀者請參考: [最佳化] 淺談線性規劃(0)- Standard form of Linear Programming )：
\[
Y^+ := Y \cdot 1_{ \{ Y \geq 0 \} }\\
Y^- := -Y \cdot 1_{ \{ Y \leq 0 \}}
\]那麼現在觀察上述 新引入的隨機變數，我們可知其與原本任意隨機變數有如下關係：
\[
Y=Y^+ - Y^-
\]且上述新的隨機變數 (由於 $Y^+, Y^- \geq 0$)，故其期望值可由先前所定義的 非負隨機變數期望值定義而得，故 $E[Y^+], E[Y^-]$ 為 well-defined。有了這些結果我們可以定義對一般隨機變數 $Y$ 的期望值為：
\[
E[Y] := E[Y^+] - E[Y^-] \ \ \ \ (*)
\]上式為 well-defined 若 $E[Y^+], E[Y^-]$ 並非全為 $\infty$ (亦即只要不要發生 $\infty - \infty$ 的情況，則上述定法的期望值 $E[Y]$ 都是 well-defined。 )

Comment:
1. 上式 $(*)$ 與下列積分等價：
\[
\int Y dP := \int Y^+ dP - \int Y^- dP
\]
2. 若 $E|X| = E[X^+] + E[X^-] < \infty$ 則我們稱 $X$ 有 finite expectation，(因為 $E[X^+] < \infty$ 且 $E[X^-] < \infty$)。
3. 如果現在給定 $X$ 但想計算 $X$ 在某個子集上的期望值，也就是說我們現在不是取整個樣本空間 $\Omega$ 而是只有某個 $\mathcal{F}$ 中的集合 $A \in \mathcal{F}$ 則我們仍可求其期望值
\[
\int_A X dP = \int_\Omega X 1_A dP = E[X 1_A]
\]上式稱作 integral of $X$ with respect to $P$ over $A$。另外若此積分存在且有限，則我們稱 $X$ 為 integrable with respect to $P$ over $A$


注意到期望值 $E[X] = \int_\Omega X dP $ 仍不容易計算，因為樣本空間 $\Omega$ 可以內含各式各樣奇形怪狀的東西比如說 $\Omega:=\{apple, orange...\}$，此時計算 $E[X]$ 顯然會過於抽象。那麼我們想問什麼時候才可能比較容易計算 $E[X]$？答案是如果 能給出 $X$ 的 累積分佈函數 (Cumulative Distribution Function, CDF) , 記作 $F$, with respect to $P$，亦即 $F(x) := P(X \le x)$  則 $E[X]$ 可計算如下
\[
E[X] = \int_\Omega X dP = \int_{-\infty}^{\infty} x dF(x) \;\;\;\;\; (*)
\]讀者應注意到第二等式 內含的是 $x$ 不是 $X$，且 上式 $(*)$ 為 Riemann-Stigjies Integral。
若 $X$ 有機率密度函數 (Probability Density Function, f) with respect to $P$ 則回憶機率密度函數定義為 $dF(x)/dx = f(x)$ 故我們可以得到更容易計算的期望值如下
\[
E[X] = \int_{-\infty}^{\infty} x dF(x) = \int_{-\infty}^\infty x f(x) dx
\]但上式有一定限制，因為任意隨機變數必定存在 CDF 但不一定有 PDF (因為 CDF 不一定可微，故不一定有 PDF)

Comments: 
1. 若 $g$ 為 measurable 函數 on $\mathbb{R}$ 則我們亦可計算 $E[g(X)]$，亦即
\[
E[g(X)] = \int_\Omega g(X) dP = \int_{-\infty}^\infty g(x) dF(x) = \int_{-\infty}^\infty g(x) f(x)dx
\]
2. 若 $X$ 為離散隨機變數取值為 $x_1,...,x_n$ 且 具有 probability mass function, pmf with respect to $P$, 記作 $P(X = x_n) = p(x_n)$, 則
\[
E[X] = \sum_{n=1}^\infty x_n p(x_n)
\]
且
\[
E[g(X)] = \sum_{n=1}^\infty g(x_n) p(x_n)
\]

現在看幾個例子：
Example 1:
$\Omega :=\{1,2,3,4\}$ 且 $\mathcal{F} := \sigma ( \{1\}, \{2\}, \{3\}, \{4\})$ 且 令隨機變數 $X = i$ 其中 $i=1,2,3,4$ 且
\[
P(X=1)=1/2;\;\; P(X=2) = 1/4;\;\; P(X=3)=1/6;\;\; P(X=4)=1/12
\]現在令 $X:= 5 \cdot 1_{\{X=1\}} + 2 \cdot 1_{\{X=2\}} - 4 \cdot 1_{\{X=3 \text{ or } X=4\}}$。試求 $E[X]=?$
Solution:
\[\begin{array}{*{20}{l}}
\begin{array}{l}
E[X] = \int_\Omega  {XdP = \sum\limits_n^{} {{x_n}P\left( {X = {x_n}} \right)} } \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = 5\int_\Omega  {{1_{\left\{ {X = 1} \right\}}}dP}  + 2\int_\Omega  {{1_{\left\{ {X = 2} \right\}}}dP}  - 4\int_\Omega  {{1_{\left\{ {X = 3orX = 4} \right\}}}dP}
\end{array}\\
{\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = 5 \cdot P\left( {X = 1} \right) + 2 \cdot P\left( {X = 2} \right) - 4 \cdot \underbrace {P\left( {X = 3orX = 4} \right)}_{ = P\left( {\left\{ {X = 3} \right\} \cup \left\{ {X = 4} \right\}} \right) = P\left( {X = 3} \right) + P\left( {X = 4} \right)}}\\
{\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = 5\left( {\frac{1}{2}} \right) + 2\left( {\frac{1}{4}} \right) - 4\left( {\frac{1}{6} + \frac{1}{{12}}} \right) = 2}
\end{array}\]

Example 2:
同上題，試求 $E[X^2]=?$
Solution:
\[\begin{array}{l}
E[{X^2}] = \int_{ - \infty }^\infty  {{x^2}f\left( x \right)dx}  = \sum\limits_n^{} {{{\left( {{x_n}} \right)}^2}P\left( {X = {x_n}} \right)} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = 5P\left( {X = 1} \right) + 2P\left( {X = 2} \right) + 4P\left( {\left\{ {X = 3} \right\} \cup \left\{ {X = 4} \right\}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = 25\left( {\frac{1}{2}} \right) + 4\left( {\frac{1}{4}} \right) + 16\left( {\frac{1}{6} + \frac{1}{{12}}} \right) = \frac{{35}}{2}
\end{array}\]

Example 3:
假設 $X \sim \mathcal{N}(0,1)$ 亦即我們有 pdf
\[
f_X(x) = \frac{1}{ \sqrt{2 \pi}} \exp(-x^2/2)
\]試證 $E[X]=0$
Proof:
觀察 \[\begin{array}{l}
E[X] = \int_\Omega  {XdP}  = \int_{ - \infty }^\infty  {xdF\left( x \right)}  = \int_{ - \infty }^\infty  {xf\left( x \right)dx} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  {x\frac{1}{{\sqrt {2\pi } }}\exp \left( { - {x^2}/2} \right)dx} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{{\sqrt {2\pi } }}\int_{ - \infty }^\infty  {x{e^{\frac{{ - {x^2}}}{2}}}dx}
\end{array}\]現在令\[u = \frac{{{x^2}}}{2} \Rightarrow 2du = 2xdx\]則 $E[X] = 0$
上述積分有更快速的做法如下：因為 被積函數 $x exp(-x^2/2)$ 為奇函數，且積分範圍對原點對稱 $(-\infty, \infty)$ 故積分為零。此法同理可證 $E[X^3]=E[X^5]=E[X^{2k+1}] = 0$ $k\in \mathbb{N} $



Example 4:
令 $a>0$，設 $F$ 為在 $[0, 3a]$ 上的連續函數滿足
\[F\left( x \right): = \left\{ \begin{array}{l}
\pi ,\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array}0 \le x < a\\
4 + a - x,\begin{array}{*{20}{c}}
{}&{}
\end{array}a \le x < 2a\\
{\left( {x - 2a} \right)^2},\begin{array}{*{20}{c}}
{}&{}
\end{array}x \ge 2a
\end{array} \right.
\]且在 $(0, 3a)$ 有一階導數連續 $F' = f$ 且 $f \in L^1(0,3a)$ 試計算 下列 Lebesgue-Stieltjes integral,
\[\int_{\left( {0,3a} \right]}^{} {xdF\left( x \right)}
\]

Solution
Lebesgue-Stieltjes integral 重點在於對於不連續處需給定其測度值。給定之後其餘部分如同一般微積分課程中採用的積分方法計算即可。故我們直接求解
\[\begin{array}{l}
\int_{\left( {0,3a} \right]}^{} {xdF\left( x \right)}  = \int_{\left( {0,a} \right]}^{} {xd\left( \pi  \right)}  + \int_{\left( {a,2a} \right]}^{} {xd\left( {4 + a - x} \right)}  + \int_{\left( {2a,3a} \right]}^{} {xd{{\left( {x - 2a} \right)}^2}} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} + {\left. {x\left( {F\left( x \right) - F\left( {x - } \right)} \right)} \right|_{x = a}} + {\left. {x\left( {F\left( x \right) - F\left( {x - } \right)} \right)} \right|_{x = 2a}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = 0 - \int_{\left( {a,2a} \right]}^{} {xdx}  + 2\int_{\left( {2a,3a} \right]}^{} {x\left( {x - 2a} \right)dx}  + a\left( {4 - \pi } \right) + 2a\left( { - 4 + a} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \frac{{{a^2}}}{2} + \frac{{8{a^3}}}{3} - \left( {4 + \pi } \right)a \ \ \ \ \square
\end{array}\]


一些期望值性質我們將其記錄如下：令 令 $a,b \in \mathbb{R}$ 且 $X,Y$ 為隨機變數，回憶  $E[X \cdot 1_A] = \int_A X dP$ 則
Property (1): Absolutely Integrability
\[
\int_A XdP < \infty \Leftrightarrow \int_A |X| dP < \infty
\]
Property (2): Linearity
\[
\int_A (a X + bY)dP = a \int_A X dP + b \int_A Y dP
\]
Property (3): Countably Additivity over sets
若 $\{A_n\}$ disjoint set sequences 則
\[
\int_{\cup_n A_n} X dP = \sum_n \int_{A_n} X dP
\]
Property (4): Nonnegativity
若 $X \ge 0$ $P$-almost surely (記作 $P$-a.s.)，則
\[
\int_A X dP \ge 0
\]其中 $P$-a.s. 表示 $P(X \ge 0) = 1$。

comments: 為何要在意 almost surely? 因為我們只關心測度非零的區域，測度為零的情況比如說 單點的測度為零我們並不關心。

Property (5): Monotonicity
若 $X_1 \le X \le X_2$ almost surely 則
\[
\int_A X_1 dP \le \int_A X dP \le \int_A X_2 dP
\]
Property (6): Modulus Inequality
\[
\left| \int_A X dP \right| \le \int_A |X| dP
\]


有了上述期望值的概念之後，我們可以看看如果我們取 limit 甚麼時候可以與 積分互換：也就是說 若現在 給定 一組隨機變數的數列 $\{X_n\}$ 我們想問
\[
\int_A \lim_{n \to \infty} X_n dP =?= \lim_{n \to \infty} \int_A X_n dP
\]回憶在高等微積分我們希望積分極限互換的情況的條件是需要 uniform convergence 但在機率論或者測度理論我們有以下三個極為重要的定理可以幫助我們在不需 uniform convergence 條件之下仍可達成積分與極限互換，此三個定理分別為 Dominated Convergence Theorem，Monotone Convergence Theorem、Fatou's Lemma
此三者為機率論 與積分理論的重要基石。分別紀錄如下：

考慮 $\{X_n\}$ 為任意隨機變數的 sequence。
=========================
Dominated Convergence Theorem (DCT)
若 $ P( \lim_{n \to \infty} X_n = X) =1$ 且對 $1 \leq n < \infty$，
\[
|X_n| \leq Y \text{ a.s. } \ \& \ E[Y] < \infty
\]，則 $E[|X|]<\infty$ 且
\[
\lim_{n \rightarrow \infty} E[X_n] = E[\lim_{n \rightarrow \infty} X_n] = E[X]
\]========================

=========================
Monotone Convergence Theorem (MCT)
若 $ 0 \leq X_n \leq X_{n+1} (亦即為 Monotone Functions), \ \forall n \geq 1$ 且 $\lim_{n \rightarrow \infty} X_n = X$則
\[
\lim_{n \rightarrow \infty} E[X_n] = E[\lim_{n \rightarrow \infty} X_n] = E[X]
\]========================

=========================
Fatou's Lemma
若 $X_n \ge 0 \text{ a.s. } \ \forall n \geq 1$ 則
\[
E[\liminf_{n \rightarrow \infty} X_n] \leq \liminf_{n \rightarrow \infty} E[X_n]
\]========================

ref:
S. I. Resnick, A Probability Path, Birkhauser
J. M. Steele, Stochastic Calculus and Financial Applications, Springer

J. A. Gubner, Probability and Random Processes for Electrical and Computer Engineers, Cambridge.