[機率論] 淺論獨立性質 與 Dynkin's pi-lambda 定理

直觀上，說事件獨立表示事件過去發生的歷史不會影響未來的結果。比如說我們考慮某隨機試驗為 投擲公平銅板三次，其結果 出現正面或者反面 不影響 下一次試驗出現正面或者反面的機率。則我們可將此投擲銅板的隨機試驗視為獨立事件。


以下我們給出各種獨立性的定義：

給定機率空間 $(\Omega, \mathcal{F}, P)$。
Definition: Independence of Two Events
我們說兩事件 $A,B \in \mathcal{F}$ 彼此獨立 (A independent of B) 若下列條件成立
\[
P(A \cap B) = P(A)P(B)
\]

Definition: Independence of Two Random Variables
我們說 兩隨機變數 $X, Y$ 從 $(\Omega, \mathcal{F})$ 映射到 $(\mathbb{R},\mathcal{B}_{\mathbb{R}})$彼此獨立，若下列條件成立
對任意 $C, D \in \mathcal{B}_{\mathbb{R}}$
\[
P(X \in C, Y \in D) = P(X \in C, Y \in D)
\]其中 $\mathcal{B}_{\mathbb{R}}$ 為 Borel sigma-algebra。

Definition: Independence of Two Sigma-Algebras
我們說 兩 sigma-algebra $\mathcal{F}, \mathcal{G}$ 彼此獨立，若下列條件成立
對任意 $A \in \mathcal{F}$ 與 $B \in \mathcal{G}$ 我們有
\[
P(A \cap B) = P(A)P(B)
\]

現在我們看個事件獨立的結果：

=========================
FACT: 若事件 $A$, $B$ 為獨立，則 $A$ 與 $B^c$, $A^c$, 以及 $B$ 與 $B^c$, $A^c$ 均為獨立。
=========================
Proof:
在此只證 $A$ 與 $B^c$ 獨立。其餘證法皆雷同不贅述。由於要證  $A$ 與 $B^c$ 獨立，由定義可知我們必須要證明
\[
P(A \cap B^c) = P(A) P(B^c)
\]現在觀察下列事件等價
\[\left\{ {A \cap {B^c}} \right\} = \left\{ {A\backslash \left( {A \cap B} \right)} \right\}
\]且注意到 $A$ 與 $A \cap B$ 彼此 disjointed，故若我們計算其機率可得
\[P(A \cap {B^c}) = P(A\backslash \left( {A \cap B} \right)) = P(A) - P\left( {A \cap B} \right)
\]由於 $A$ 與 $B$ 獨立故 $P(A \cap B) = P(A) P(B)$，將此代入上式可得
\[\begin{array}{l}
 \Rightarrow P(A \cap {B^c}) = P(A) - P\left( {A \cap B} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = P(A) - P\left( A \right)P\left( B \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = P(A)\left[ {1 - P\left( B \right)} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = P(A)P\left( {{B^c}} \right) \ \ \ \ \square
\end{array}\]



那麼現在如果超過兩個以上的 事件, 隨機變數 or sigma-algebra, 的話怎麼辦呢?

Definition: Independence of Several Events
我們說事件 $A_1,A_2,...,A_n \in \mathcal{F}$ 彼此獨立 若下列條件成立：
$I \subset\{1,2,...,n\}$
\[P\left( {\bigcap\limits_{i \in I}^n {{A_i}} } \right) = \prod\limits_{i \in I}^n {P({A_i})} \]

Definition: Independence of Several Random Variables
我們說 隨機變數 $X_1,X_2,... X_n $ 從 $(\Omega, \mathcal{F})$ 映射到 $(\mathbb{R},\mathcal{B}_{\mathbb{R}})$彼此獨立，若下列條件成立：
對任意 $i=1,2,...,n$, $B_i \in \mathcal{B}_{\mathbb{R}}$
\[P\left( {\bigcap\limits_{i =1}^n {\left\{ {X \in {B_i}} \right\}} } \right) = \prod\limits_{i =1}^n {P\left( {X \in {B_i}} \right)} \]其中 $\mathcal{B}_{\mathbb{R}}$ 為 Borel sigma-algebra。

Definition: Independence of Several Sigma-Algebras
我們說  sigma-algebra $\mathcal{F_1},\mathcal{F_2},...,\mathcal{F_n}$ 彼此獨立，若下列條件成立：
對任意 $i =1,2,...,n$,  $A_i \in \mathcal{F_i}$ 我們有
\[P\left( {\bigcap\limits_{i =1}^n {{A_i}} } \right) = \prod\limits_{i=1}^n {P({A_i})}
\]

為了找出要 獨立性的充分條件，我們先介紹下面一些術語

===============================
Definition: $\pi$-system $\lambda$-system
我們說 $\mathcal{P}$ 為 $\pi$-system 若下列條件成立
1. $\mathcal{P} \neq \emptyset$
2. 若 $A,B \in \mathcal{P}$ 則 $A \cap B \in \mathcal{P}$

我們說 $\mathcal{L}$ 為 $\lambda$-system 若下列條件成立
1. $\mathcal{L} \neq \emptyset$, $\Omega \in \mathcal{L}$
2. 若 $A \in \mathcal{L}$ 則 $A^c \in  \mathcal{L}$
3. 若 $A_i \in  \mathcal{L}, \;\; \forall i$ 且 $A_i$ disjoint， 則 $\bigcup_i A_i  \in \mathcal{L}$
===============================

Comment: Sigma-algebra 本身即為 $\lambda$-system。讀者可自行確認 Sigma-algebra 定義確實符合  $\lambda$-system。

===============================
Theorem: Dynkin's Pi-Lambda Theorem
若 $\mathcal{P}$ 為 $\pi$-system 且 $\mathcal{L}$ 為 $\lambda$-system 使得 $\mathcal{P} \subset \mathcal{L}$，則 $\sigma(\mathcal{P}) \subset \mathcal{L}$
===============================
Proof: omitted.


我們用下面的幾個 proposition 來驗證如何使用 $\pi-\lambda$ Theorem。首先看看如何檢驗一個集合確實為  $\lambda$-system。

===============================
Proposition: 令 $P_1, P_2$ 為兩個在 $(\Omega, \mathcal{B})$ 上的機率測度。則下列集合
\[
\mathcal{L}:=\{A \in \mathcal{B}: P_1(A) = P_2(A)\}
\]為 $\lambda$-system。
===============================

Proof:
要證明 $\mathcal{L}$ 為$\lambda$-system，由定義可知我們需檢驗下列三項性質都被滿足
1. $\mathcal{L} \neq \emptyset$, $\Omega \in \mathcal{L}$
2. 若 $A \in \mathcal{L}$ 則 $A^c \in  \mathcal{L}$
3. 若 $A_i \in  \mathcal{L}, \;\; \forall i$ 且 $A_i$ disjoint， 則 $\bigcup_i A_i  \in \mathcal{L}$

故我們逐項檢驗如下：
1. 由於 $\Omega \in \mathcal{B}$，且 $P_1(\Omega) = P_2(\Omega)$ 故可知 $\Omega \in \mathcal{L}$ 且 $\mathcal{L} \neq \emptyset$。

2. 若 $A \in \mathcal{L}$，則 $A \in \mathcal{B}$ 且 $P_1(A) = P_2(A)$ 故我們觀察
\[\begin{array}{l}
{P_1}(A) = {P_2}(A) \Rightarrow 1 - {P_1}({A^c}) = 1 - {P_2}({A^c})\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} \Rightarrow {P_1}({A^c}) = {P_2}({A^c})
\end{array}\]亦即 $A^c \in \mathcal{L}$。

3. 若 $A_i \in  \mathcal{L}, \;\; \forall i$ 且 $A_i$ disjoint，則我們有 $P_1(A_i) = P_2(A_i), \;\; \forall i$ 且由於  $A_i$ disjoint ，我們觀察下式
\[{P_1}(\bigcup\limits_i^{} {{A_i}} ) = \sum\limits_i^{} {{P_1}({A_i})}  = \sum\limits_i^{} {{P_2}({A_i})}  = {P_2}(\bigcup\limits_i^{} {{A_i}} )\]亦即  $\bigcup_i A_i  \in \mathcal{L}$。

故綜合以上我們可知 $\mathcal{L}$ 三項條件都滿足，故 $\mathcal{L}$確實為 $\lambda$-system。$\square$


接著我們看看如何使用 Dynkin's pi-lambda theorem。

=================
Corollary
若 $P_1, P_2$ 個別為在 $(\Omega, \mathcal{B})$ 上 的機率測度 且 $\mathcal{P}$ 為 $\pi$-system 使得 對任意 $A \in \mathcal{P}$，$P_1(A) = P_2(A)$，則 對任意 $B \in \sigma(\mathcal{P})$，我們有 $P_1(B) = P_2(B)$。其中 $\sigma(\mathcal{P})$ 表示由 $\mathcal{P}$所產生的最小的 sigma-algebra 。
=================

Proof:
由 先前的 Proposition 可知 $\mathcal{L}:=\{A \in \mathcal{B}: P_1(A) = P_2(A)\} $ 為 $\lambda$-system，且注意到我們假設  $\mathcal{P}$ 為 $\pi$-system 使得 對任意 $A \in \mathcal{P}$，$P_1(A) = P_2(A)$，故 $\mathcal{P} \subset \mathcal{L}$，故利用 Dynkin's $\pi-\lambda$ Theorem：
---

若 $\mathcal{P}$ 為 $\pi$-system 且 $\mathcal{L}$ 為 $\lambda$-system 使得 $\mathcal{P} \subset \mathcal{L}$，則 $\sigma(\mathcal{P}) \subset \mathcal{L}$

---
可知  $\sigma(\mathcal{P}) \subset \mathcal{L}$，亦即對任意 $B \in \sigma(\mathcal{P})$，我們有 $P_1(B) = P_2(B)$。$\square$



============
Theorem: Independence class of sets implies independence of generated sigma-algebra
固定機率空間 $(\Omega, \mathcal{F}, P)$， 設  $\mathcal{A}_1,\mathcal{A}_2,...,\mathcal{A}_n$ 彼此獨立，且 $\mathcal{A}_i$ 為 $\pi$-system，則
\[\sigma(\mathcal{A}_1), \sigma(\mathcal{A}_2), ..., \sigma(\mathcal{A}_n)
\] 亦為彼此獨立。
============

Proof: 我們這邊證明上述結果在 $n=2$ 時候成立。首先固定 $A_2 \in \mathcal{A}_2$，我們建構一集合如下
\[
\mathcal{L}:=\{A\in \mathcal{F}: P(A \cap A_2) = P(A) P(A_2) \}
\]我們現在證明 $\mathcal{L}$ 為一個 $\lambda$-system。故首先檢驗 $\Omega $ 是否落在 $\mathcal{L}$之中。觀察 $\Omega \in \mathcal{F}$ 且 $P(\Omega \cap A_2) = P(A_2) = P(A_2) P(\Omega)$ 故 $\Omega \in \mathcal{L}$

接著我們檢驗 若 $A \in \mathcal{L}$ 中 則 $A^c $ 亦必須落在 $\mathcal{L}$之中。故 $A \in  \mathcal{L}$ 表示 $A \in \mathcal{F}$ 且 \[\begin{array}{l}
P(A \cap {A_2}) = P\left( A \right)P\left( {{A_2}} \right)\\
 \Rightarrow P(\left( {\Omega \backslash {A^c}} \right) \cap {A_2}) = \left[ {1 - P\left( {{A^c}} \right)} \right]P\left( {{A_2}} \right)\\
 \Rightarrow P\left( {\left( {\Omega  \cap {A_2}} \right)\backslash \left( {{A^c} \cap {A_2}} \right)} \right) = P\left( {{A_2}} \right) - P\left( {{A^c}} \right)P\left( {{A_2}} \right)\\
 \Rightarrow P\left( {{A_2}\backslash \left( {{A^c} \cap {A_2}} \right)} \right) = P\left( {{A_2}} \right) - P\left( {{A^c}} \right)P\left( {{A_2}} \right)\\
 \Rightarrow P\left( {{A_2}} \right) - P\left( {{A^c} \cap {A_2}} \right) = P\left( {{A_2}} \right) - P\left( {{A^c}} \right)P\left( {{A_2}} \right)\\
 \Rightarrow P\left( {{A^c} \cap {A_2}} \right) = P\left( {{A^c}} \right)P\left( {{A_2}} \right)
\end{array}\]故可得 $A^c \in \mathcal{L}$。

最後我們檢驗若 $B_1, B_2, ...  \in \mathcal{L}$ 且互為 disjoint，我們要檢驗是否  $\bigcup\limits_{i = 1}^\infty  {{B_i}} \in \mathcal{L}$

故令 $B_1, B_2, ...  \in \mathcal{L}$且互為 disjoint，則我們有 $B_1, B_2, ... \in \mathcal{F}$ 且 $P(B_i \cap A_2) = P(B_i) P(A_2), \;\; \forall i \in \mathbb{N}$ 現在觀察  $\bigcup\limits_{i = 1}^\infty  {{B_i}} \in \mathcal{F}$ 且
\[\begin{array}{l}
P\left( {\left( {\bigcup\limits_{i = 1}^\infty  {{B_i}} } \right) \cap {A_2}} \right) = P\left( {\bigcup\limits_{i = 1}^\infty  {\left( {{B_i} \cap {A_2}} \right)} } \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \sum\limits_{i = 1}^\infty  {P\left( {{B_i} \cap {A_2}} \right)}  = P({A_2})\sum\limits_{i = 1}^\infty  {P({B_i})} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = P\left( {\bigcup\limits_{i = 1}^\infty  {{B_i}} } \right)P({A_2})
\end{array}\]亦即 $\bigcup\limits_{i = 1}^\infty  {{B_i}} \in \mathcal{L}$ 。

綜合上述三點我們可以推得 $\mathcal{L}$ 為 $\pi$-system，且由假設可知 $\mathcal{A}_1, \mathcal{A}_2$ 皆為 $\pi$-system 且 $\mathcal{A}_1 \subset \mathcal{L}$ 因為 取任意集合 $A_1 \in \mathcal{A}_1$ 則 由假設$\mathcal{A}_1, \mathcal{A}_2$ 彼此獨立，故 $P(A_1 \cap A_2) = P(A_1) P(A_2)$ 此結果確實滿足 $\mathcal{L}$之要求，故  $\mathcal{A}_1 \subset \mathcal{L}$ 。

現在我們利用 Dynkin's pi-lambda theorem 可知道 $\sigma(\mathcal{A}_1) \subset \mathcal{L}$ 故可推論 $\sigma(\mathcal{A}_1)$ 與 $\mathcal{A}_2$ 互為獨立。

現在推廣上述結果可證得 $\sigma(\mathcal{A}_1)$ 與 $\sigma (\mathcal{A}_2)$ 互為獨立。




============
Theorem: 
設 $\mathcal{F}_{i,j}$, $1 \le i \le n$ 且 $1 \le j \le m(i)$ 互為獨立的 sigma-algebras，且令
\[
\mathcal{G}_i := \sigma(\bigcup_j F_{i,j})
\]則 $\mathcal{G}_1,...,\mathcal{G}_2$ 亦互為獨立。
============
Proof:
我們要證明 sigma-algebras  $\mathcal{G}_1,...,\mathcal{G}_2$ 亦互為獨立。

首先定義集合
\[
\mathcal{A}_i := \{ A_{i,j} \in \mathcal{F}_{i.j} : \bigcap_j A_{i,j} \}
\] 注意到 由於 $\mathcal{F}_{i,j}$ 為 sigma-algebra，可知  $\Omega \in \mathcal{F}_{i,j},\;\; \forall i,j $ ；故若我們取 $A_{i,j} := \Omega$，則 $ \bigcap_j A_{i,j} = \Omega$ 亦即 $\Omega \in \mathcal{A}_i$；且 $\mathcal{A}_i \neq \emptyset$。  $\ \ \ \ (*)$

接著我們檢驗 $\mathcal{A}_i$ 是否為 $\pi$-system： 若  $A_{i,j}, B_{i,j} \in \mathcal{A}_{i,j}$ 則 $A_{i,j} \cap B_{i,j} \in \mathcal{A}_i$ $\ \ \ \ (**)$。故由 $(*)$ 與 $(**)$ 可知 $\mathcal{A}_i$ 為 $\pi$-system。

接著我們試圖要把 $\mathcal{A}_i$ 與我們要證明的 $\mathcal{G}_i$ 關係連結起來，故我們檢驗 $\bigcup_j \mathcal{F}_{i,j} \subset \mathcal{A}_i$：
令 $A_{i,j} \in \mathcal{F}_{i,j}$ 我們要證明  $A_{i,j} \in  \mathcal{A}_i$，現在觀察 $\bigcap_j A_{i,j} = A_{i,j} \cap \Omega \cap \Omega \cap ...$ 故可推得 $A_{i,j} \in \mathcal{A}_i$。亦即 $\bigcup_j \mathcal{F}_{i,j} \subset \mathcal{A}_i$。

再者，若 $A_{i,j} \in \mathcal{A}_i$ 則 $A_{ij} \in \mathcal{F}_{i,j}$ ，由定義可知 $\mathcal{F}_{i,j}$ 互為獨立，故 $\mathcal{A}_i$ 互為獨立。

現在總結手上有的對於 $\mathcal{A}_i$ 結果如下：
1.  $\mathcal{A}_i$ 為 $\pi$-system
2.  $\bigcup_j \mathcal{F}_{i,j} \subset \mathcal{A}_i$
3.  $\mathcal{A}_i$ 互為獨立。

現在由 Theorem: Independence class of sets implies independence of generated sigma-algebra 可知：若 $\mathcal{A}_1,\mathcal{A}_2,...,\mathcal{A}_n$ 彼此獨立，且 $\mathcal{A}_i$ 為 $\pi$-system，則
\[\sigma(\mathcal{A}_1), \sigma(\mathcal{A}_2), ..., \sigma(\mathcal{A}_n)
\] 亦為彼此獨立。

亦即我們得到 $\sigma(\mathcal{A}_i)$ 亦互為獨立。且 $\sigma(\mathcal{A}_i) \supset \mathcal{A}_i \supset \bigcup_j \mathcal{F}_{i,j}$ 故可推知 (由 $ \sigma(\cup_j \mathcal{F}_{i,j})$ 為最小的 sigma-algebra 包含 $\mathcal{F}_{i,j}$)
\[
\sigma(\mathcal{A}_i) \supset \mathcal{G}_i := \sigma(\cup_j \mathcal{F}_{i,j})
\]且由於 $\sigma(\mathcal{A}_i)$ 亦互為獨立，故 $\mathcal{G}_i $ 互為獨立。 $\square$