[機率論] 三角陣列

在機率論中，我們常看到的是單一指標序列：$ \{X_n\}_{n=1}^\infty := (X_1, X_2, \dots,) $ 比如說 iid 序列或者至少定義在同一個機率空間 $(\Omega, \mathcal{F}, P)$上的序列。 此時只有一個指標 $n$，而 $X_n$ 指涉的是該序列第 $n$ 個隨機變數。

標準的大數法則(Law of Large Numbers, LLN) 與經典形式的中央極限定理(Central Limit Theorem, CLT) 常處理的就是這種單一指標序列 $X_1, X_2, \ldots$，其中每個 $X_i$ 的分佈固定。但許多重要情形下，隨著樣本數增加，個別隨機變數的分布可能隨 $n$ 改變，隨機變數序列的聯合分佈本身也會有所變化。三角陣列(triangular array)提供了處理這類問題的框架。

現在我們考慮以下情況，固定整數 $n$，考慮第 $n$ 列的 $n$ 個 Bernoulli 隨機變數： $$ X_{n,1},\dots, X_{n,n} $$ 但是如果我們允許 $n$ 改變，也就是每個 $n$ 都有一整列新的隨機變數序列，則整個聯合分佈也可能跟著改變。比如說 $n=10$，我們有 $$X_{10,1}, X_{10,2}, \dots, X_{10,10}$$ 共 10個 Bernoulli 隨機變數，他們具有一個聯合分佈 (joint distribution)。但是若 $n = 100$，我們有 $$X_{100,1}, X_{100,2}, \dots, X_{100,100}$$ 共 100 個 Bernoulli 隨機變數，其聯合分佈一般不同於前一組 $X_{10,1}, ,X_{10,2}, \dots, X_{10,10}$ 的 joint distribution。這時，如果我們指涉的對象為「第一個 Bernoulli 變數」在 $n=10$ 是 $X_{10,1}$ 與 $n=100$ 是 $X_{100,1}$ 是不同物件，此時這種結構無法再用單一序列來描述，為此我們可以引入三角陣列 (triangular array)

Definition (Triangular Array): 一個三角陣列(triangular array)是指一族以兩個指標標記的隨機變數 $\{X_{n,i}\}_{n\geq 1, 1\leq i \leq n}$，其中第 $n$ 列包含 $X_{n,1}, \dots, X_{n,n}$

Remark. 若將其排列起來可得 $$ \begin{matrix} n=1: & X_{1,1} \\ n=2: &X_{2,1} &   X_{2,2} \\ n=3: &X_{3,1} & X_{3,2} & X_{3,3} \\ \vdots & \vdots & \vdots & \ddots \end{matrix} $$ 第 $n$ 列有 $n$ 個變數，因此看起來是「三角形」，這只是視覺上的名字。注意到上述定義不要求不同 $n$ 列之間有任何獨立性或相容性，通常只在每一列之內做假設。

三角陣列在許多機率論有重要結果，比如以下的 Lindeberg-Feller 中央極限定理：

Lindeberg-Feller CLT: 對每個 $n \ge 1$，令 $\{X_{n,i}\}_{i=1}^{n}$ 為一族隨機變數，其整體族 $\{X_{n,i}\}_{n \ge 1, \, 1 \le i \le n}$ 構成一個三角陣列，對每個 $n$ 而言，$X_{n,1}, \dots, X_{n,n}$ 相互獨立，且滿足 $\mathbb{E}[X_{n,i}] = 0$。定義 $$ S_n := \sum_{i=1}^{n} X_{n,i} $$ 且 $$ \sigma_n^2 := \text{var}(S_n) > 0 $$ 若 Lindeberg 條件成立，亦即對 $\varepsilon > 0$，我們有 $$ \lim_{n \to \infty} \frac{1}{\sigma_n^2} \sum_{i=1}^{n} \mathbb{E}[X_{n,i}^2 \mathbf{1}_{|X_{n,i}| > \varepsilon \sigma_n}] = 0 $$ 則 $\frac{S_n}{\sigma_n} \xrightarrow{D} \mathcal{N}(0,1)$。

上述 Lindeberg-Feller CLT 推廣經典 CLT：

Proof: 取 $X_{n,i} := \frac{Y_i - \mu}{\sqrt{n}}$ 其中 $Y_i$ 為 iid 且均值為 $\mu$ 變異為 $\sigma^2$。則不難發現 $$ S_n := \sum_{i=1}^{n} X_{n,i} = \sum_{i=1}^{n} \frac{Y_i - \mu}{\sqrt{n}} = {\sqrt{n}}(\bar{Y}_n - \mu) $$ 其中 $\bar{Y}_n := \frac{1}{n} \sum_{i=1}^{n} Y_i$。現在我們檢驗 Lindeberg 條件：固定 $\varepsilon > 0$，我們觀察 \begin{align*} \frac{1}{\sigma_n^2} \sum_{i=1}^{n} \mathbb{E}[X_{n,i}^2 \mathbf{1}_{|X_{n,i}| > \varepsilon \sigma_n}] &= \frac{1}{\sigma^2} \sum_{i=1}^{n} \mathbb{E}[ (\frac{Y_i - \mu}{\sqrt{n}})^2 \mathbf{1}_{|\frac{Y_i - \mu}{\sqrt{n}}| > \varepsilon \sigma}] \\ &= \frac{1}{\sigma^2} \sum_{i=1}^{n} \mathbb{E}[ (\frac{(Y_i - \mu)^2}{{n}}) \mathbf{1}_{|{Y_i - \mu}| > \varepsilon \sigma \sqrt{n}}] \\ &= \frac{1}{\sigma^2 n} \sum_{i=1}^{n} \mathbb{E}[ (Y_i - \mu)^2 \mathbf{1}_{|{Y_i - \mu}| > \varepsilon \sigma \sqrt{n}}] \\ &= \frac{1}{\sigma^2 n} \sum_{i=1}^{n} \mathbb{E}[ (Y_1 - \mu)^2 \mathbf{1}_{|{Y_1 - \mu}| > \varepsilon \sigma \sqrt{n}}] &&\text{$Y_i$ are iid}\\ &= \frac{1}{\sigma^2 n} n \mathbb{E}[ (Y_1 - \mu)^2 \mathbf{1}_{|{Y_1 - \mu}| > \varepsilon \sigma \sqrt{n}}] \\ &= \frac{1}{\sigma^2} \mathbb{E}[ (Y_1 - \mu)^2 \mathbf{1}_{|{Y_1 - \mu}| > \varepsilon \sigma \sqrt{n}}] \\ \end{align*} 注意到 $(Y_1 - \mu)^2 \mathbf{1}_{|{Y_1 - \mu}| > \varepsilon \sigma \sqrt{n}} \xrightarrow{a.s.} 0$ 且 $(Y_1 - \mu)^2 \mathbf{1}_{|{Y_1 - \mu}| > \varepsilon \sigma \sqrt{n}} \leq (Y_1 - \mu)^2 $，因為 ${\rm var}(Y_1)= \sigma^2<\infty$故 $(Y_1-\mu)^2$可積，由 Dominated Convergence Theorem (DCT) 可知 \begin{align*} \lim_{n\to\infty} \frac{1}{\sigma_n^2} \sum_{i=1}^{n} \mathbb{E}[X_{n,i}^2 \mathbf{1}_{|X_{n,i}| > \varepsilon \sigma_n}] &= \lim_{n\to\infty} \frac{1}{\sigma^2} \mathbb{E}[ (Y_1 - \mu)^2 \mathbf{1}_{|{Y_1 - \mu}| > \varepsilon \sigma \sqrt{n}}] \\ &= \frac{1}{\sigma^2} \mathbb{E}[ \lim_{n\to\infty} (Y_1 - \mu)^2 \mathbf{1}_{|{Y_1 - \mu}| > \varepsilon \sigma \sqrt{n}}] \\ &= 0 \end{align*} 故 Lindeberg條件成立，由 Lindeberg-Feller CLT 可知， $$ \underbrace{ \frac{S_n}{\sigma_n}}_{= \frac{\sqrt{n}}{\sigma}(\bar{Y}_n - \mu)} \xrightarrow{D} \mathcal{N}(0,1) $$ 亦即標準CLT成立。 

 三角陣列的使用非常廣泛，除了前述的CLT之外，比如Poisson 極限定理(或稱 Weak Law of Small Numbers)，我們定義 $S_n := \sum_{i=1}^{n} X_{n,i}$ 則每個 $S_n$ 都是一個隨機變數且數列 $\{S_n\}_{n \ge 1}$ 可以討論收斂性。

Poisson Limit Theorem:對每個 $n \geq 1$，令 $\{X_{n,i}\}_{i=1}^n$ 為一族隨機變數，其整體族 $\{X_{n,i}\}_{n\geq 1, 1\leq i \leq n}$ 構成一個三角陣列，對每個 $n$ 而言，$X_{n,1}, \dots, X_{n,n}$ 相互獨立且 $X_{n,i} \sim Bernoulli(p_{n,i})$。定義 $n$ 項有限和 $S_n:= \sum_{i=1}^n X_{n,i}$ 且假設當 $n \to \infty$，我們有 $$\max_{1\leq i \leq n} p_{n,i} \to 0$$ 且 $$\sum_{i=1}^n p_{n,i} \to \lambda <\infty$$ 則 $S_n \xrightarrow{D} Poisson(\lambda)$

Remark: 前述定理第一個條件 $\max_{1\leq i \leq n} p_{n,i} \to 0$ 保證單一事件為稀有事件；第二個條件$\sum_{i=1}^n p_{n,i} \to \lambda <\infty$保證總強度有限。

[機率論] 多變數連續映射保持機率收斂

以下我們介紹機率收斂用的推廣型連續映射定理。一些先備知識如下

Definition (Norms)

令 $\mathbf{x} \in \mathbb{R}^k$。則標準 Euclidean norm $\|\mathbf{x}\|:=\sqrt{\sum_{i=1}^k x_i^2}$。

Definition (Tightness of the law of a random vector)

令 $(\Omega, \mathcal{F}, P)$ 為機率空間 且 $\mathbf{X}$ 為 $\mathbb{R}^k$ 上的隨機向量，記其在 $(\mathbb{R}^k,\mathcal{B}(\mathbb{R}^k))$ 上的分佈為 $\mu_X$滿足 $$\mu_X(A) := P(X^{-1}(A)) = P(\{\omega \in \Omega: X(\omega) \in A\}), \qquad A \in \mathcal{B}(\mathbb{R}^k)$$ 我們說 $\mu_X$（或 $\mathbf{X}$ 的分佈）是  tight  若 對任意 $\varepsilon>0$，存在常數 $M>0$ 使得 \[ {P}(\|\mathbf{X}\|>M) = \mu_X(\{\mathbf{x}:\|\mathbf{x}\|>M\}) < \varepsilon \] 

Remark. 上述條件等價於 \[ \lim_{M\to\infty} {P}(\|\mathbf{X}\|>M)=0. \] 因此，給定任意 $\eta>0$，存在 $M>0$ 使得 \[ {P}(\|\mathbf{X}\|>M) < \frac{\eta}{2}, \quad\text{亦即}\quad {P}(\|\mathbf{X}\|\le M) > 1-\frac{\eta}{2}. \]

Lemma. 任意 $\mathbb{R}^k$-valued 隨機向量的分布都是 tight

Proof.  令 $\mathbf{X} : \Omega \to \mathbb{R}^k$ 為隨機向量，其分佈記作 $\mu_X$。由於 $\mu_X$ 是機率測度，故 $\mu_X(\mathbb{R}^k) = 1$。注意到全體 $\mathbb{R}^k$ 空間可以寫成compact sets的遞增連集極限，亦即 $$\mathbb{R}^k = \cup_{M=1}^\infty [-M, M]^k$$令 $K_M:=[-M, M]^k $則對任意 $M \in \mathbb{N}$，注意到我們有 $K_{M} \subset K_{M+1}$，亦即 $\{K_M\}$ 為遞增集合族。故由機率測度對遞增集族的連續性可得 $$1=\mu_X(\mathbb{R}^k) = \mu_X(\cup_{M=1}^\infty [-M, M]^k) = \lim_{M \to \infty} \mu_X([-M, M]^k) $$因此由極限定義可知，對任意 $\varepsilon >0$，存在$N  \in \mathbb{N}$ 使得 $M \geq N$, 我們有 $|1-\mu_X(K_M)| <\varepsilon$，由於 $\mu_X(K_M) \leq 1$，我們可去掉絕對值並將不等式等價改寫為 $\mu_X(K_M) > 1-\varepsilon$，亦即 $$\mu_X(\{ \mathbf{x} : \|\mathbf{x}\| > M\}) < \varepsilon$$

Definition (Convergence in Probability Vector)

令 $\{\mathbf{X}_n\}$ 為 $\mathbb{R}^k$ 上的隨機向量序列，令 $\mathbf{X} \in \mathbb{R}^k$ 為一隨機向量。我們說 $\mathbf{X}_n$機率收斂(convergence in probability)到 $\mathbf{X}$，記作 $\mathbf{X}_n \overset{P}{\to} \mathbf{X}$，若下列條件成立：對任意 $\varepsilon >0$， $$P(\|\mathbf{X}_n - \mathbf{X}\|\geq \varepsilon) \to 0$$ 

有了上面的定義，我們可以給出多變數連續映射定理的敘述以及證明。

Theorem (Multivaraite Continuity Mapping): 令 $\{\mathbf{X}_n\}$ 為 $\mathbb{R}^k$ 上的隨機向量序列，令 $\mathbf{X} \in \mathbb{R}^k$ 為一隨機向量。現在取 $g: \mathbb{R}^k \to \mathbb{R}^m$ 為連續函數。若 $\mathbf{X}_n \overset{P}{\to} \mathbf{X}$ 當 $n \to\infty$，則 $$ g(\mathbf{X}_n) \overset{P}{\to} g(\mathbf{X})$$ 當 $n \to\infty$

Proof. 令 $\varepsilon >0$ 且 $\eta >0$ 。首先透過 localization 建構 compact ball ：由於 $\mathbf{X}$ 為隨機向量，由 tightness 性質可知，存在一個足夠大的常數 $M > 0$ 使得

$$ P(\|\mathbf{X}\| > M) < \frac{\eta}{2} $$

現在令 $$ S:= \overline{B}_{M+1}(\mathbf{0}) =\{\mathbf{z} \in \mathbb{R}^k: \|\mathbf{z}\| \leq M+1\}$$ 為半徑 $M+1$ 且球心在 $\mathbf{x} = \mathbf{0}$ 的closed ball。由 Heine-Borel定理，$S$ 為 closed bounded set，故 $S$ 為 $\mathbb{R}^k$中 compact set (緊緻集)。

因為 $g$ 為在 $\mathbb{R}^k$ 連續函數，故將 $g$ 限制在緊緻集 $S \subset \mathbb{R}^k$ 具有uniform continuity (均勻連續性)。這表示存在 $\delta > 0$ (不失一般性情況下，選 $\delta < 1$) 使得對所有 $\mathbf{x}, \mathbf{y} \in S$，我們有

$$\|\mathbf{x} - \mathbf{y}\| < \delta \implies \|g(\mathbf{x}) - g(\mathbf{y})\| < \varepsilon$$

現在來分析事件 $\{\|g(\mathbf{X}_n) - g(\mathbf{X})\| \geq \varepsilon\}$。如果我們限制在事件 $$E=\{\|\mathbf{X}\| \leq M\} \cap \{ \|\mathbf{X}_n - \mathbf{X}\| < \delta \}$$ 之下，則

1. $\| \mathbf{X}\| \leq M < M+1$ 可知 $\mathbf{X} \in S$。

2. 由 三角不等式 (or Minkowski不等式) $$\|\mathbf{X}_n\| = \|\mathbf{X}_n - \mathbf{X} + \mathbf{X}\| \leq \|\mathbf{X}_n - X\| + \|\mathbf{X}\| < M+1$$故 $\mathbf{X}_n \in S$。

由於 $\mathbf{X}_n, \mathbf{X} \in S$ 。uniform continuity 告訴我們 $$\{\|\mathbf{X}\| \leq M\} \cap \{ \|\mathbf{X}_n - \mathbf{X}\| < \delta\} \implies \{\|g(\mathbf{x}) - g(\mathbf{y})\| < \varepsilon\}$$ 這意味著，若 $\|\|g(\mathbf{x}) - g(\mathbf{y})\| \geq \varepsilon\|$ 發生，則必然是上述事件 $E$不成立 (取 contrapositvie 敘述)： $$\{\|g(\mathbf{x}) - g(\mathbf{y})\| \geq \varepsilon \} \subset \{ \|\mathbf{X}\| > M \} \cup \{\|\mathbf{X}_n - \mathbf{X} \| \geq \delta \}$$ 兩邊同取機率測度得到

\begin{align*} P(\|g(\mathbf{x}) - g(\mathbf{y})\| \geq \varepsilon ) & \leq P( \|\mathbf{X} > M\| ) + P( \|\mathbf{X}_n - \mathbf{X} \| \geq \delta )\\ & < \frac{\eta}{2} + P( \|\mathbf{X}_n - \mathbf{X} \| \geq \delta ) \qquad (*)\end{align*}

因為 $\mathbf{X}_n \overset{P}{\to} \mathbf{X}$，故 $P( \|\mathbf{X}_n - \mathbf{X} \| \geq \delta ) \to 0$ 亦即，存在一個夠大的 $N$ 使得當 $n\geq N$，我們有

$$ P( \|\mathbf{X}_n - \mathbf{X} \| \geq \delta ) < \frac{\eta}{2} $$ 當 $n\geq N$時，式 $(*)$ 變成 $$P(\|g(\mathbf{x}) - g(\mathbf{y})\| \geq \varepsilon )  < \frac{\eta}{2} + \frac{\eta}{2} < \eta$$ 由於 $\eta$ 是任取的，故我們推得 $P(\|g(\mathbf{x}) - g(\mathbf{y})\| \geq \varepsilon )  \to 0$

[測度論] 期望值下確界與函數值下確界之恆等式

 Claim: 令 $(X, \mathcal{F})$ 為可測空間。令 $g: X \to \mathbb{R}$ 為可測函數，則 $$\inf_{\mathbb{P} \in \mathcal{P}(X)} \int_X g(x) d\mathbb{P}(x) = \inf_{x \in X} g(x)$$ 其中 $\mathcal{P}(X)$ 為 $(X, \mathcal{F})$ 上所有機率測度所成之集合。

Proof: 先證明 $\geq$: 對任意機率測度 $\mathbb{P}$，我們有 $$ g(x) \geq \inf_{x \in X}g(x) $$ 故取期望值不等式仍成立，亦即 $$ \mathbb{E}^\mathbb{P}[g(X)] = \int_X g(x) d\mathbb{P}(x) \geq \inf_{x \in X} g(x) $$  

以下接著證明 $\leq$: 固定 $\varepsilon > 0$，則由 infimum 定義，存在 $x_\varepsilon \in X$ 滿足 $$ g(x_\varepsilon) \leq \inf_x g(x) + \varepsilon \qquad (*) $$ 令 $\mathbb{P}:=\delta_{x_\varepsilon}$ (Dirac at $x_\varepsilon$ 滿足 $\delta_x(A):=1_{x \in A}$, $A \in \mathcal{F}$ ) 則 $$ \mathbb{E}^\mathbb{P}[g(X)] = \int_X g(x) d\delta_{x_\varepsilon} = g(x_\varepsilon) $$ 由$(*)$我們進一步得到 $$ \int_X g(x) d\delta_{x_\varepsilon} = g(x_\varepsilon) \leq \inf_x g(x) + \varepsilon $$ 對兩邊同取 $\inf_\mathbb{P}$ 可得 $$ \inf_\mathbb{P} \int_X g(x) d\mathbb{P}(x) \leq \inf_x g(x) + \varepsilon $$ 令 $\varepsilon \downarrow 0$ 得到 $\inf_{\mathbb{P} \in \mathcal{P}(X)} \int_X g(x) d\mathbb{P}(x) \leq \inf_{x \in X} g(x)$

Remark: (Dirac 測度不需單點可測）：在任意可測空間 $(X,\mathcal F) $上，對每個 $x\in X$ 定義 $\delta_x(A)=\mathbf 1_{\{x\in A\}}$ 其中 $A \in \mathcal F$，則 $\delta_x$ 是機率測度，且對一切 $\mathcal F$-可測 $g$ 有 $\int g\,d\delta_x=g(x)$。因此上述證明中以 $\delta_{x_\varepsilon}$ 作為選擇的測度不需要額外假設 $\{x\}\in\mathcal F$。

[機率論] 兩隨機變數相等表示兩者有相同分布但反之不然

Claim: 給定機率空間 \((\Omega, \mathcal{F}, P)\)，令\(X\)與\(Y\)為兩隨機變數。若 $P(X=Y)=1$ 則$X$與$Y$有相同分布，亦即對任意可測集合 $A \in \mathcal{F}$，

$$P(X \in A) = P(Y \in A)$$

Proof: 令$A \in \mathcal{F}$，我們觀察
$$
P(X\in A\cap X\neq Y)\leq P(X\neq Y)=0
$$ 故可推得 $P(X\in A\cap X\neq Y)=0$。利用此結果，我們注意到
$$
P(X\in A)=P(X\in A\cap X=Y)+\underbrace{P(X\in A\cap X\neq Y)}_{=0}=P(X\in A\cap X=Y)
$$ 同理我們亦可觀察 $P(Y\in A)=P(Y\in A\cap X=Y)$。注意到若我們可證明 $$P(X\in A\cap X=Y) = P(Y\in A\cap X=Y) \;\;\;\;\; (*)$$則 $$P(X\in A)=P(X\in A\cap X=Y)=P(Y\in A\cap X=Y)=P(Y\in A)$$即為所求。

現在我們回頭證明等式$(*)$。我們僅須證明下列事件集合等式關係成立 $$\{X\in A\cap X=Y\} = \{Y\in A\cap X=Y\} $$即可。首先證明 $\{X\in A\cap X=Y\} \subset \{Y\in A\cap X=Y\} $: 令 $\omega \in \{ X \in A\cap X=Y\}$ 即表明 $X(\omega) \in A$ 且 $X(\omega) = Y(\omega)$。 故我們可推得 $Y(\omega) \in A$ 故此，$\omega \in \{Y \in A\cap X=Y\}$。亦即$$\{X\in A\cap X=Y\} \subset \{Y\in A\cap X=Y\} $$ 同理不難證得 $\{X\in A\cap X=Y\} \supset \{Y\in A\cap X=Y\} $。故我們得到 $\{X\in A\cap X=Y\} = \{Y\in A\cap X=Y\} $至此證明完畢。$\square$

上述 Claim 的反面論述並不成立。以下我們給個反例：考慮均勻分布 $X$為隨機變數服從均勻分布 $U[-1,1]$ 現在取另一隨機變數 $Y:=-X$則 $Y$亦為在 $[-1,1]$上均勻分布，亦即 $X$與 $Y$具有同分布。然而

$$P(X = Y) = 0$$

[機率論] 一類含有supremum運算與期望值的不等式問題

令 $X,Y$ 為兩隨機變數定義在某機率空間 $(\Omega, \mathcal{B}, P)$ 且 $f: \mathbb{R}^2 \to \mathbb{R}$ 為一連續函數。若對 $X$ 的實現 $X=x$ 而言 (亦即，存在 $\omega \in \Omega$ 使得 $X(\omega) = x$ )，我們顯然有 

$$\mathbb{E}[f(x,Y)] \leq \sup_x \mathbb{E}[f(x,Y)]$$ 

試問上述不等式左方若將 $x$ 換回隨機變數 $X$ 時仍然成立?亦即我們想問 $$\mathbb{E}[f(X,Y)] \leq ? \sup_x \mathbb{E}[f(x,Y)]$$

答案是否定的，我們看以下的反例：

Counterexample

考慮隨機變數 $X=Y$ 且 $P(X=1)=P(X=-1) = 1/2$ 且 $f(x,y) := xy$ 則我們可驗證 $$\mathbb{E}[f(X,Y)] = \mathbb{E}[X^2] = 1/2 + 1/2 = 1$$然而如果我們觀察 $$\mathbb{E}[f(1,Y)] = \mathbb{E}[Y] = \mathbb{E}[X] = 0$$ 另外 $$\mathbb{E}[f(-1,Y)] = \mathbb{E}[-Y] = -\mathbb{E}[X] = 0$$ 故 $\sup_x\mathbb{E}[f(x,Y)] = 0$但是 $$\sup_x\mathbb{E}[f(x,Y)] < \mathbb{E}[f(X,Y)]$$

[機率論] 關於條件期望的一些基本觀念

在大學部機率論課程後半大多會介紹到所謂條件機率與條件期望，其中條件期望由於授課時間較接近晚期且觸及之內容較深，初次學習時並不容易掌握。以下我們試圖說明條件期望值本身為一隨機變數並給出一個簡單的例子做配搭。

條件機率為一隨機變數

令$X,Y$ 為兩隨機變數。假設$X$ 有給定事件 $\{Y=y\}$ 的條件機率分布其中 $y$ 表示隨機變數 $Y$ 所能取到的值。 既然有條件機率分布，則條件期望值存在，我們將其記作 $$\mathbb{E}[X\mid Y=y]$$ 注意到條件期望值與取值 $y$ 相關，故我們可寫 $$\mathbb{E}[X\mid Y=y]:=g(y)$$ 其中 $g(y)$ 表示為 $y$的函數 。依此，若我們把取值 $y$用 $Y$ 代回，則$g(Y)$ 為一隨機變數，記作 $\mathbb{E}[X \mid Y]$。

重疊期望性質 (Law of Iterated Expectations)

一般期望值與條件期望之間的關係可由 law of iterated expectations (或稱 law of total expectation) 定理刻劃。亦即 $$\mathbb{E}[X] = \mathbb{E}_Y[\mathbb{E}_X[X \mid Y]] $$其中 $\mathbb{E}_Y$表對 $Y$取期望 且 $\mathbb{E}_X$表對 $X$ 取期望。一般而言下標多半不寫出，多簡寫作 $$\mathbb{E}[X] = \mathbb{E}[\mathbb{E}[X \mid Y]] $$

以下我們看個具體的例子。讀者按照此例應可看出為何上述條件期望為隨機變數。並練習計算條件期望與使用重疊期望性質。

=======================

Example: 假設有五顆紅球與三顆綠球被放在一袋中，現在我們從中依序取出兩球不放回。令 $Y$ 為第一次取到紅球的計數 ($Y\in \{0,1\}$其中$Y=0$表示第一次沒取到 $Y=1$表示第一次取到)，且 $X$ 為第二次取到紅球的計數 ($X \in \{0,1\}$ 其中 $X=0$表示第二次沒取到紅球，$X=1$表示第二次沒取到)。則 $X,Y$皆為(離散)隨機變數。求

(a) $\mathbb{E}[X \mid Y=0]$ 與 $\mathbb{E}[X \mid Y=1]$
(b) $\mathbb{E}[X \mid Y]$
(c) $\mathbb{E}[\mathbb{E}[X \mid Y]]$ 與 $\mathbb{E}[X]$。並驗證此兩者相等。

========================

Answer: 首先注意到 $$Y = \begin{cases} 0 & \text{with probability } \dfrac 3 8, \\[6pt]1 & \text{with probability } \dfrac 5 8. \end{cases}$$ 接著我們依序計算所求:

(a) 注意到 $$\begin{align}\mathbb{E}[X\mid Y=0] &= \sum_i i P(X=i \mid Y=0) \\&= 1\cdot P(X=1 \mid Y=0) + 0\cdot P(X=0 \mid Y=0) \\&= \dfrac 5 7 + 0 = \dfrac 5 7\end{align}$$ 同理$$\mathbb{E}[X\mid Y=1]= \sum_i i P(X=i \mid Y=1) = P(X=1 \mid Y=1) =\dfrac 4 7$$ 故此

(b) 由 (a)可知 $\mathbb{E}[X \mid Y] $ 為隨機變數滿足 $$\mathbb{E}[X \mid Y] = \begin{cases} \mathbb{E}[X\mid Y=0]=\dfrac 5 7 & \text{with probability } \dfrac 3 8, \\[6pt]\mathbb{E}[X\mid Y=1]=\dfrac 4 7 & \text{with probability } \dfrac 5 8. \end{cases}$$ 

(c) 一但有了隨機變數 $\mathbb{E}[X \mid Y] $ 的機率分布，由 law of iterated expectation 我們可直接計算 $\mathbb{E}[\mathbb{E}[X\mid Y]]$ 並驗證此確實等同於 $\mathbb{E}[X]$。亦即我們計算 $$\begin{align} \mathbb{E}[\mathbb{E}[X\mid Y]] &= \sum_{i} \mathbb{E}[X\mid Y=i] P(Y=i) \\&= 1 \cdot \mathbb{E}[X \mid Y=1] P(Y=1) + \mathbb{E}[X \mid Y=0]  P(Y=0) \\& = \dfrac 5 7 \cdot \dfrac 3 8 + \dfrac 4 7 \cdot \dfrac 5 8 = \dfrac {35} {56}\end{align}$$

另一方面，我們直接計算 $\mathbb{E}[X]$ ：利用期望值的定義如下 $$\begin{align}\mathbb{E}[X] &= \sum_i i P(X=i) \\&=1 \cdot P(X=1) + 0 \cdot P(X=0) \\ & = P(X=1,Y=0) + P(X=1,Y=1) \\ &= P(X=1|Y=0)P(Y=0) + P(X=1|Y=1)P(Y=1) \\&= \dfrac 5 7 \cdot \dfrac 3 8 + \dfrac 4 7 \cdot \dfrac 5 8 = \dfrac {35} {56}\end{align}$$與前述結果一致，至此得證。

[機率論] 關於含有 Factorial 函數的求導的注意事項 - Erlang 分佈為例

在某些情況，我們可能會希望對含有 Factorial (比如說 $k!$, $k \in \mathbb{N}$) 的函數 取導數，但在求導 的過程中有些細微的部分需要多加留意。以下我們用一個例子來體現。

令 $m \in \mathbb{N}$，考慮隨機變數 $X$ 配備 Erlang 分佈
$$
F_X(x) := 1 - \sum_{k=0}^{m-1} \frac{(\lambda x)^k}{k!} e^{-\lambda x}, x>0
$$ 試證 其 機率密度函數 (Probability Density Function, pdf) $f_X$ 滿足
\[{f_X}\left( x \right) = \frac{{{{(\lambda x)}^{\left( {m - 1} \right)}}}}{{\left( {m - 1} \right)!}}\lambda {e^{ - \lambda x}}\]

(FALSE) Proof:
首先注意到分佈函數可導，故我們可利用 分佈函數的導數 為 密度函數 的性質 ($F'(x) = f(x)$)，來求得 $f_X$。現在對 $F_X$ 求導
\[\frac{d}{{dx}}{F_X}(x) =  - \sum\limits_{k = 0}^{m - 1} {\left( {\underbrace {\frac{{k{{(\lambda x)}^{k - 1}}\lambda }}{{k!}}{e^{ - \lambda x}}}_{**} + \frac{{{{(\lambda x)}^k}}}{{k!}}\left( { - \lambda } \right){e^{ - \lambda x}}} \right)} \]注意到summation的第一項 $(**)$，讀者可能會很自然地認為 $**$ 可寫成
\[\frac{{k{{(\lambda x)}^{k - 1}}\lambda }}{{k!}}{e^{ - \lambda x}} = \frac{{k{{(\lambda x)}^{k - 1}}\lambda }}{{k\left( {k - 1} \right)!}}{e^{ - \lambda x}}\]
然後試圖對 分子分母的 $k$對消。但注意到此項 是在 summation內部，若對 分子 與 分母 進行 對消將產生問題，因為當 $k=0$ 時候會出現 難以處理未定義的 $-1!$ 。到此我們無法繼續進行，該怎麼避免這種問題呢？我們必須將可能出問題的 $k=0$ 項次分開討論。

Proof:
首先改寫

\[{F_X}(x): = 1 - \sum\limits_{k = 0}^{m - 1} {\frac{{{{(\lambda x)}^k}}}{{k!}}} {e^{ - \lambda x}} = 1 - (\lambda x){e^{ - \lambda x}} - \sum\limits_{k = 1}^{m - 1} {\frac{{{{(\lambda x)}^k}}}{{k!}}} {e^{ - \lambda x}}\]再取導數
\[\small
 \begin{align*}
  \frac{d}{{dx}}{F_X}(x) &= 0 - \left[ {\left( { - \lambda } \right){e^{ - \lambda x}} + \sum\limits_{k = 1}^{m - 1} {\left( {\frac{{k{{(\lambda x)}^{k - 1}}\lambda }}{{k!}}{e^{ - \lambda x}} + \frac{{{{(\lambda x)}^k}}}{{k!}}\left( { - \lambda } \right){e^{ - \lambda x}}} \right)} } \right] \hfill \\
   & =   - \left[ {\left( { - \lambda } \right){e^{ - \lambda x}} + \left( {\left( {\frac{{{{(\lambda x)}^0}}}{{1!}} - \frac{{{{(\lambda x)}^1}}}{{1!}}} \right) + \left( {\frac{{2{{(\lambda x)}^1}}}{{2!}} - \frac{{{{(\lambda x)}^2}}}{{2!}}} \right) + ... + \left( {\frac{{\left( {m - 1} \right){{(\lambda x)}^{\left( {m - 1} \right) - 1}}}}{{\left( {m - 1} \right)!}} - \frac{{{{(\lambda x)}^{\left( {m - 1} \right)}}}}{{\left( {m - 1} \right)!}}} \right)} \right)\lambda {e^{ - \lambda x}}} \right]\hfill \\
  & = \lambda {e^{ - \lambda x}} - \left( {\frac{{{{(\lambda x)}^0}}}{{1!}}\underbrace { - \frac{{{{(\lambda x)}^1}}}{{1!}} + \frac{{2{{(\lambda x)}^1}}}{{2!}}}_{ = 0}\underbrace { - \frac{{{{(\lambda x)}^2}}}{{2!}} + \frac{{3{{(\lambda x)}^2}}}{{3!}}}_{ = 0}\underbrace { - \frac{{{{(\lambda x)}^3}}}{{3!}} + }_{ = 0}...\underbrace { + \frac{{\left( {m - 1} \right){{(\lambda x)}^{\left( {m - 1} \right) - 1}}}}{{\left( {m - 1} \right)!}}}_{ = 0} - \frac{{{{(\lambda x)}^{\left( {m - 1} \right)}}}}{{\left( {m - 1} \right)!}}} \right)\lambda {e^{ - \lambda x}} \hfill \\
  & = \lambda {e^{ - \lambda x}} - \left( {1 - \frac{{{{(\lambda x)}^{\left( {m - 1} \right)}}}}{{\left( {m - 1} \right)!}}} \right)\lambda {e^{ - \lambda x}} \hfill \\
   &= \frac{{{{(\lambda x)}^{\left( {m - 1} \right)}}}}{{\left( {m - 1} \right)!}}\lambda {e^{ - \lambda x}} \hfill \\
\end{align*} \]上述第三行等式為 telescoping sum，中間各項等於 $0$。至此證畢。$\square$

[機率論] 連續隨機變數條件機率的定義

若 $X$ 是連續隨機變數，則其累積機率分配(cumulative distribution function, cdf)
\[
F_X(x) := P(X \leq x) = \int_{-\infty}^x f_X(t) dt
\]為 (對 $x$ ) 連續函數，故單點機率測度 $P(X=x) =0$。但若我們考慮條件機率的情況事情會變得稍微有點棘手，因為假設我們引入第二個連續隨機變數 $Y$且假設 $X,Y$ 為 jointly continuous，現在我們想計算 $P(Y \in C| X=x)$，由條件機率定義可知
\[
P(Y \in C| X=x) = \frac{P(X=x,Y=c)}{P(X=x)}
\]但此時我們發現因為 $P(X=x) =0$，分母是$ 0$。對於這種情況我們該怎麼對 連續隨機機變數定義其條件機率？或者更簡單的說，該怎麼計算(或者定義)$P(Y \in C| X=x)$?


要計算 $P(Y \in C| X=x)$，我們首先考慮
\[
\lim_{h \to 0} P(Y \in C| x<X\leq x + h)
\]對任意 $h>0$而言，上述條件機率可寫成
\[P(Y \in C|x < X \leqslant x + h) = \frac{{P(Y \in C,x < X \leqslant x + h)}}{{P(x < X \leqslant x + h)}}\]注意到分子部分等價為
\[P(Y \in C,x < X \leqslant x + h) = P\left( {\left( {X,Y} \right) \in \left( {x,x + h} \right] \times C} \right)\]若 $X,Y$ 為 jointly continuous，則
\begin{align*}
  P(Y \in C|x < X \leqslant x + h) &= \frac{{P(Y \in C,x < X \leqslant x + h)}}{{P(x < X \leqslant x + h)}} \hfill \\
   &= \frac{{\int_x^{x + h} {\int_C^{} {{f_{XY}}\left( {t,s} \right)dsdt} } }}{{\int_x^{x + h} {{f_X}\left( t \right)dt} }} \hfill \\
\end{align*} 對上式分子分母同除 $1/h$ 並且讓 $h \to 0$ ，利用下文中的 FACT可得
\begin{align*}
  \mathop {\lim }\limits_{h \to 0} P(Y \in C|x < X \leqslant x + h) &= \mathop {\lim }\limits_{h \to 0} \frac{{\frac{1}{h}\int_x^{x + h} {\int_C^{} {{f_{XY}}\left( {t,s} \right)dsdt} } }}{{\frac{1}{h}\int_x^{x + h} {{f_X}\left( t \right)dt} }} \hfill \\
   &= \frac{{\int_C^{} {{f_{XY}}\left( {x,s} \right)ds} }}{{{f_X}\left( x \right)dt}} \hfill \\
\end{align*} 由上述 極限，我們可定義 在給定 $X$ 條件之下 ，$Y$的條件機率密度函數，記作 $f_{Y|X}$ 如下：
================

Definition: Conditional Probability and Conditional Density: 對任意 $x$ 滿足 $f_X(x) >0$，給定 $X$ 條件之下 ，$Y$的條件機率密度函數定義為
\[
f_{Y|X}(y|x) := \frac{f_{XY}(x,y)}{f_X(x)}
\]由 $f_{Y|X} $，我們可定義 給定條件 $X=x$ 之下，事件 $Y \in C$ 的條件機率為
\[
P(Y \in C|X=x):= \int_C f_{Y|X}(y|x)dy
\]================

Comments: 1. 同理，我們可定義 Conditional CDF 記作 $F_{Y|X}$ 滿足
\[
F_{Y|X}(y|x) := P(Y \leq y| X = x) = \int_{-\infty}^y f_{Y|X}(t|x) dt
\]2. 讀者應不難驗證 $\int_{-\infty}^{\infty} f_{Y|X}(y|x)dy = 1$。

================
FACT: 令 $X$ 為隨機變數配備 機率密度函數(probability density function, pdf) $f_X$，則
\[\lim_{h \to 0}\frac{1}{h}\int_x^{x + h} {{f_X}\left( t \right)dt}  = F_X'(x) =f_X(x)\]其中 $F_X$ 為 $X$ 累積分配函數(cdf)。
================

Proof: 首先觀察
\[\frac{1}{h}\int_x^{x + h} {{f_X}\left( t \right)dt}  = \frac{1}{h}\left( {{F_X}\left( {x + h} \right) - {F_X}\left( x \right)} \right)\]現在讓 $h\to 0$我們有
\[\mathop {\lim }\limits_{h \to 0} \frac{1}{h}\int_x^{x + h} {{f_X}\left( t \right)dt}  = \mathop {\lim }\limits_{h \to 0} \frac{1}{h}\left( {{F_X}\left( {x + h} \right) - {F_X}\left( x \right)} \right) = F'(x)\]若 density 存在，則利用 pdf 是 cdf的微分的事實，
\[
F_X'(x) = f_X(x)
\] 至此證明完畢。$\square$

[數理統計] 對平均值的信賴區間

考慮一組 i.i.d. random samples $X_1,X_2,...,$ 配備 期望平均 $m$ 與 變異數 (variance) $\sigma^2$，假設變異已知，但期望平均 $m$ 為未知。我們想對 $m$ 進行估計。一般的做法是採用 sample mean 估計量
\[
M_n := \frac{1}{n}\sum_{i = 1}^n X_i
\] 則我們知道 sample mean $M_n \to m$ 當 $n \to \infty$ in probability，此性質稱作 (weak) consistency estimator，但實際上，大多情況之下我們僅僅只能量測有限 $n$ (比如只能做有限次實驗)，則我們想問該如何描述紹述 $M_n$ 有多接近 $m$ 呢？此想法為建構 信賴區間的動機：對某些 $\delta >0$ 而言，我們定義
\[
P(m \in [M_n -\delta, M_n + \delta] ) = 1-\alpha
\]其中 $[M_n -\delta, M_n + \delta] $ 稱作信賴區間(Confidence interval) 且 $1-\alpha$ 稱作 信心水準 (Confidence level)，因此 Confidence interval 是一個隨機集合 而信心水準是 此隨機集合包含未知參數 $m$ 的機率。一般而言，在實務上多使用 $1-\alpha \in [0.9, 0.99]$。

Comments:
1. 上述 $M_n$ 不但為為 真實平均 (或者期望值) $m$  的 consistent estimator 且 亦為不偏 (unbiased)估計量。


問題：給定 $\alpha$，我們想問該如何選取參數 $\delta$ 使得 \[
P(m \in [M_n -\delta, M_n + \delta] ) = 1-\alpha
\]成立？

要回答此問題，我們首先觀察
\[m \in [{M_n} - \delta ,{M_n} + \delta ] \Leftrightarrow {M_n} - \delta  \leqslant m \leqslant {M_n} + \delta \]亦即 $- \delta  \leqslant m - {M_n} \leqslant \delta $ 此等價為
\[
|M_n - m| \leq \delta
\]故此
\[P(m \in [{M_n} - \delta ,{M_n} + \delta ]) = P\left( {\left| {{M_n} - m} \right| \leqslant \delta } \right)\]現在我們取
\[
\delta := \frac{\sigma y}{\sqrt{n}}
\] 上述 $\delta$ 的取法給了我們極大的方便，因為
\begin{align*}
  P\left( {\left| {{M_n} - m} \right| \leqslant \delta } \right) &= P\left( {\left| {{M_n} - m} \right| \leqslant \frac{{\sigma y}}{{\sqrt n }}} \right) \hfill \\
  & = P\left( {\left| {\frac{{{M_n} - m}}{{\sigma /\sqrt n }}} \right| \leqslant y} \right) \hfill \\
  & = P\left( { - y \leqslant \frac{{{M_n} - m}}{{\sigma /\sqrt n }} \leqslant y} \right) \hfill \\
   & = {F_{\frac{{{M_n} - m}}{{\sigma /\sqrt n }}}}\left( y \right) - {F_{\frac{{{M_n} - m}}{{\sigma /\sqrt n }}}}\left( { - y} \right) \hfill \\
\end{align*} 其中 $F_X(\cdot)$ 表示隨機變數 $X$的累積機率密度函數 (cdf)。由 中央極限定理(Central Limit Theorem, CLT) 我們可知 \[{F_{\frac{{{M_n} - m}}{{\sigma /\sqrt n }}}}\left( y \right) \to \Phi \left( y \right)\]其中 $\Phi(y)$ 為 標準常態分配的累積機率密度函數 (standard normal cdf) 滿足
\[
\Phi(y) := \frac{1}{\sqrt{2 \pi}} \int_{-\infty}^y e^{-t^2/2} dt
\]故當 $n$ 足夠大的時候，
\[\begin{gathered}
  P\left( {\left| {{M_n} - m} \right| \leqslant \delta } \right) = {F_{\frac{{{M_n} - m}}{{\sigma /\sqrt n }}}}\left( y \right) - {F_{\frac{{{M_n} - m}}{{\sigma /\sqrt n }}}}\left( { - y} \right) \hfill \\
   \approx \Phi \left( y \right) - \Phi \left( { - y} \right) \hfill \\
\end{gathered} \]由於 $\Phi(y)$ 為 even density function，由附註的 FACT ，我們有 $\Phi(-y) =1 - \Phi(y)$ 故可推得
\[P\left( {\left| {{M_n} - m} \right| \leqslant \delta } \right) \approx \Phi \left( y \right) - \Phi \left( { - y} \right) = 2\Phi \left( y \right) - 1\]現在觀察上述結果，我們得到以下結論：若我們希望
\[P\left( {\left| {{M_n} - m} \right| \leqslant \delta } \right) = 1 - \alpha \]則等價求解 $2\Phi \left( y \right) - 1 = 1- \alpha$ 亦即
\[\Phi \left( y \right) = 1 - \frac{\alpha }{2}\]注意到上式與 $n$ 無關 且 也與 $X_i$ 的 pdf 無關！此式的解我們將其記作 $y_{\alpha/2}$ 在 MATLAB 我們可求解
\[
y_{\alpha/2} = \text{norminv(1-alpha/2)}
\]以下我們將上述討論記作以下結果。

====================
Theorem:
固定信心水準 $1-\alpha$ ，則其平均值 對應的 $(1-\alpha) \%$ 信賴區間 為
\[m \in \left[ {{M_n} - \frac{1}{{\sqrt n }}\sigma {y_{\alpha /2}},{M_n}  + \frac{1}{{\sqrt n }}\sigma {y_{\alpha /2}}} \right]\]
====================

接著我們看個例子：
====================
Example: 令 $X_1,X_2...$為 i.i.d. random samples 滿足 $\sigma = 2$。若我們已知 $M_{100} = 1 $ 試求出其真實平均 落在信心水準分別為 95% 與 99% 信賴區間：
====================

Proof: 對於 $95\%$ 信心水準，其 $\alpha = 1 - 0.95 = 0.05$。接著我們求解 $y_{\alpha/2}$，利用 MATLAB :
$$
y_{\alpha/2} = \text{norminv(1 - 0.05/2)} = 1.96
$$故其對應的 95% 信賴區間為
\begin{align*}
  m &\in \left[ {{M_n} - \frac{1}{{\sqrt n }}\sigma {y_{\alpha /2}},{M_n} + \frac{1}{{\sqrt n }}\sigma {y_{\alpha /2}}} \right] \\
&= \left[ {1 - \frac{1}{{\sqrt {100} }}2\left( {1.96} \right),1 + \frac{1}{{\sqrt {100} }}2\left( {1.96} \right)} \right] \hfill \\
  & = \left[ {0.608,1.392} \right] \hfill \\
\end{align*}

對於 99% 信心區間可用同樣方法，不難求得
\[
m \in [0.4848,  1.5152]
\]細節留給讀者自行練習。

由上述例子可看出當 信心水準越大，對應的信賴區間越大。另外注意到因為
\[m \in \left[ {{M_n} - \frac{1}{{\sqrt n }}\sigma {y_{\alpha /2}},{M_n}  + \frac{1}{{\sqrt n }}\sigma {y_{\alpha /2}}} \right]\]不難看出如果想要縮減信賴區間，另一種方法則是 增加 量測值，也就是把 $n$ 提高。


Comments:
注意到上述討論我們假設 random samples 已知變異數。若變異數未知，則我們使用變異數的不偏估計量 $S_n^2$ 取代，亦即使用
\[
S_n^2 = \frac{1}{N-1} \sum_{i=1}^n (X_i -m)^2
\]則前述的信賴區間變成
\[m \in \left[ {{M_n} - \frac{1}{{\sqrt n }}{S_n}{y_{\alpha /2}},{M_n} + \frac{1}{{\sqrt n }}{S_n}{y_{\alpha /2}}} \right]
\]證明我們暫且略過。



附註
=================
FACT:
令 $X$ 為配備 even density function $f$ 的隨機變數。若 $F$ 為任意 even density function $f$ 的 cdf函數，則
$$
F(-x) = 1 - F(x)
$$=================
Proof:
令 $f$ even density function ，則由 cdf 定義可知
\[F\left( { - x} \right): = P(X \leq -x) = \int_{ - \infty }^{ - x} {f\left( t \right)dt} \]現在引入變數變換，令 $t := -y$則
\[\int_{ - \infty }^{ - x} {f\left( t \right)dt}  =  - \int_\infty ^x {f\left( { - y} \right)dy} \]由於 $f$ 為 even function 故 $f(-y) = f(y) \;\; \forall y $，所以
\begin{align*}
  \int_{ - \infty }^{ - x} {f\left( t \right)dt}  &=  - \int_\infty ^x {f\left( { - y} \right)dy}  \hfill \\
  & =  - \int_\infty ^x {f\left( y \right)dy}  \hfill \\
  & = \int_x^\infty  {f\left( y \right)dy}  = 1 - F\left( x \right) \hfill \\
\end{align*} 換言之，我們得到
\[
F(-x) = 1 - F(x)
\]至此得證。$\square$

上述 FACT 亦可用反證法求證，在此不贅述。

[機率論] 關於配備 Pareto Density 隨機變數 的一個簡單例子

令 $X$ 為隨機變數配備標準 Pareto density，亦即其機率密度函數 $f_X$ 滿足
\[f_X\left( x \right): = \left\{ \begin{gathered}
  \frac{2}{{{x^3}}}\begin{array}{*{20}{c}}
  {}&{x \geqslant 1}
\end{array} \hfill \\
  0\begin{array}{*{20}{c}}
  {}&{o.w.}
\end{array} \hfill \\
\end{gathered}  \right.\]
(a) 對任意 $a \geq 1$ 試求 $P(X \geq a)$
(b) 延續 (a)，利用 Markov inequality 求其上界。

Proof (a)
\begin{align*}
  P(X \geqslant a) &= 1 - P\left( {X < a} \right) \hfill \\
   &= 1 - \int_1^a {\frac{2}{{{x^3}}}dx}  \hfill \\
   &= 1 - 2\left( {\left. {\frac{{{x^{ - 2}}}}{{ - 2}}} \right|_1^a} \right) \hfill \\
   &= \frac{1}{{{a^2}}} \hfill \\
\end{align*}

Comments: 讀者可注意到上述結果亦可 透過直接計算
\[P\left( {X \geqslant a} \right) = \int_a^\infty  {\frac{2}{{{x^3}}}dx}  = 2\left( {\frac{1}{{ - 2}}\left. {{x^{ - 2}}} \right|_a^\infty } \right) = {a^{ - 2}}\]


Proof (b):
注意到 $X$ 為取值非負隨機變數，故對任意 $a \geq 1$，利用 Markov inequality, 我們有
\begin{align*}
  P(X \geqslant a) &\leqslant \frac{{E\left[ X \right]}}{a} \hfill \\
   &= \frac{1}{a}\int_{ - \infty }^\infty  {x{f_X}\left( x \right)dx}  \hfill \\
   &= \frac{1}{a}\int_1^\infty  {x\frac{2}{{{x^3}}}dx}  \hfill \\
   &= \frac{2}{a}\int_1^\infty  {\frac{1}{{{x^2}}}dx}  \hfill \\
   &=  - \frac{2}{a}\left( {\left. {{x^{ - 1}}} \right|_1^\infty } \right) =  - \frac{2}{a}\left( {0 - 1} \right) = \frac{2}{a} \hfill \\
\end{align*}

Comments:
1. 注意到上述 (b) 部分透過 Markov inequality 所得到的上界只有在 $a \geq 2$ 才有效力，因為當 $a \in [1,2]$ 之間時，我們得到 $2/a >1$。但由於機率測度不能超過 $1$，上述 $2/a$ 上界在 $a \in [1,2]$ 之間對我們的 $P(X \geq a)$ 的估計並無任何幫助。


2. 注意到 $a \geq 1$ 故不難得證
\[\frac{1}{{{a^2}}} \leqslant \frac{2}{a} \] 此說明了在此分佈之下，利用 Markov inequality 所得到的機率上界過鬆。下圖顯示了 $a \in [1,5]$ 的機率 與 Markov inequality所得的上界

[機率論] Chebyshev's Inequality 的推廣型

以下介紹一個在機率論中 相當有用的 一條不等式，稱為 Chebyshev inequality，此不等式將 期望值 與 機率測度 做出一定程度的連結 來用以估計 期望值的下界 （或者說 求某機率測度的上界）。以下我們給出此不等式之陳述與證明：讀者可注意要求的假設條件並不多，證明也稍具巧思。

================
Theorem: Generalized Chebyshev's Inequality 
令 $X$ 為 任意 連續型 隨機變數 配備 機率密度函數 $f_X$ ，現在定義 $g(X)$ 為任意非負函數，若 $E[g(X)]$ 存在，則 對任意常數 $c>0$，我們有
\[
P(g(X) \geq c) \leq \frac{E[g(X)]}{c}
\]================

Proof: 假設 $X$ 為連續型隨機變數且 $E[g(X)]$ 存在，令 $c >0$ 為任意正值常數。由於期望值 $E[g(X)]$ 存在，由定義可知我們有
\[
E\left[ {g\left( X \right)} \right] = \int_{ - \infty }^\infty  {g\left( x \right){f_X}\left( x \right)dx}
\]其中 $f_X(x)$ 為 $X$ 的 機率密度函數 (Probability Density Function, pdf)。現在觀察上述右式積分，我們可將其等價寫為
\begin{align*}
  \int_{ - \infty }^\infty  {g\left( x \right){f_X}\left( x \right)dx}  &= \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx}  + \int_{\left\{ {x:g\left( x \right) < c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx}  \hfill \\
 &  \geq \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx}  \;\;\;\; (*)
\end{align*} 注意到上述不等式成立 是 因為對所有 $x$ 而言， $g(x) \geq 0$ 且 pdf $f_X(x) \geq 0$。現在我們觀察不等式右方的積分式子 $ \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx} $ 可以發現此積分範圍是對所有的 $x$ 滿足 $g(x) \geq c$，這表示我們可以進一步寫出此積分的下界
\[\int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx}  \geqslant \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {c{f_X}\left( x \right)dx} \;\;\;\;\; (**)
\]由 $(*)$ 與 $(**)$ 我們可知
\begin{align*}
  E\left[ {g\left( X \right)} \right] &\geq \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {c{f_X}\left( x \right)dx}  \hfill \\
   &= c\int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {{f_X}\left( x \right)dx}  \hfill \\
   &= cP\left( {g\left( x \right) \geqslant c} \right) \hfill \\
\end{align*} 故
\[\frac{{E\left[ {g\left( X \right)} \right]}}{c} \geqslant P\left( {g\left( x \right) \geqslant c} \right)\]至此得證。$\square$

Comments:
1. 上述定理對 離散型隨機變數仍然成立，僅須將證明的積分部分 $\int (\cdot)$ 改成累加 $\sum (\cdot)$ 即可。
2. Chebyshev's inequality 的界的 "鬆緊程度" 依隨機變數情況而定，故拿來做精準上下界估計不一定準確。
3. 若 $g(X):=X$ 則上述 廣義 Chebyshev's inequality 又稱作 Markov's inequality。
4. 上述廣義的 Chebyshev's inequality 應用在於如何"識別"或者 "選取" 適當的 非負函數 $g(X)$，我們會在以下再作進一步說明。



以下我們看個上述定理的應用例：

==================
FACT 1: Standard Chebyshev's inequality 
令 $X$ 為隨機變數具有 有限期望值 與變異數，記作 $ E[X] := \mu$ 且 $E[(X- \mu)^2] =\sigma^2$ 。則對任意 $n>0$ 而言，我們有
\[
P( (X-\mu)^2 \geq n^2 \sigma^2) \leq \frac{1}{n^2}
\]==================

Proof:
給定 $n >0$， 定義 $g(X) := (X-\mu)^2 \geq 0$，則 Generalized Chebyshev's inequality 告訴我們對任意 $c>0$，我們有
\[P({\left( {X - \mu } \right)^2} \geqslant c) \leqslant \frac{{E\left[ {{{\left( {X - \mu } \right)}^2}} \right]}}{c}\]又因為 ${E\left[ {{{\left( {X - \mu } \right)}^2}} \right] = {\sigma ^2}}$ 故上式可改寫為
\[
P({\left( {X - \mu } \right)^2} \geqslant c) \leqslant \frac{{{\sigma ^2}}}{c}
\]現在取 $c:=\sigma^2 n^2 >0$ 則\[
P({\left( {X - \mu } \right)^2} \geqslant n^2 \sigma^2 ) \leqslant \frac{1}{n^2}
\]至此得證。$\square$

==================
FACT 2:
令 $X$ 為隨機變數配備 期望值 $\mu$ 且令 $E[(X-\mu)^{2k}]$ 對任意正整數 $k$ 都存在，則對任意 $c >0$，
\[
P(|X-\mu| \geq c) \leq E[(X-\mu)^{2k}]/c^{2k}
\]==================

Proof: omitted. (取 $g(X):= (X-\mu)^{2k}$ 且 $c = d^{1/2k}, \;\; \forall d>0$ )


以下結果為利用 Chebyshev inequality 與 動差生成函數 Moment Generating Function (mgf) 拉上關係：


==================
FACT 3:
令 $X$ 為隨機變數配備 mgf 滿足下列條件：存在 $\delta>0$ 使得當 $t \in (-\delta, \delta)$，其 mgf $M_X(t)$ 存在，則
\[
P(X \geq c) \leq e^{-ct} M_X(t), \;\;\; t \in (0, \delta)
\]且
\[
P(X \leq c) \leq e^{-ct} M_X(t), \;\;\; t \in (-\delta,0)
\]==================

Proof: omitted (取 $g(X):= e^{tX}$ 且 $c = \frac{\log d}{ t}, \;\; \forall d>0$  )

[機率論] 動差生成函數 的 常見應用 (1)

令 $\Omega$ 為 樣本空間，定義 $X : \Omega \to \mathbb{R}$ 為配備 機率分配函數 $f_X$ 的 隨機變數。

==================
Definition: k-th Moment
隨機變數 $X : \Omega \to \mathbb{R}$  的 k階 動差 (k-th moment) 定為 $E[X^k]$
==================

==================

Definition: Moment Generating Function
令 $X$ 為隨機變數，若存在 $\delta >0$ 使得對 $t \in (-\delta,\delta )$ 而言，期望值 $E[e^{tX}]$ 存在，則 $X$ 的 動差生成函數 (Moment Generating Function, mgf) 存在，且定義為
\[
M_X(t) := E[e^{tX}], \;\;\; t \in (-\delta,\delta )
\]除此之外，若上述條件成立則
\[
D_t^k E[e^{tX}] = E[D_t^k e^{tX}]
\]其中 $D_t^k $ 表示為對 $t$ 微分 $k$次 微分算子。
==================

Comments:
1. 動差生成函數 $M_X(t)$ 是一個以 $t$ 為變數 的函數，目的在於 "產生動差"，至於如何產生我們會在下面進行討論。
2. 上述定義僅僅要求 mgf 在 $t = 0$ 附近開區間 $t \in (-\delta, \delta)$ 期望值存在，此條件也保證積分與微分互換性。
3. 若在開區間 $ t \in (-\delta, \delta)$ 期望值存在，立刻可得知 $M_X(0) = E[e^{0}] = 1$


FACT: 上述動差生成函數算是非常便利的工具，我們可以透過其產生各種具有常見分配的隨機變數之一，二階動差。假定某隨機變數之 mgf 存在，則此隨機變數的 k-th 動差表為
\[
D_t^k M_X (0) = E[X^k], \;\; k=1,2,...
\]

Comment:
由上述討論可知，若我們想求期望值則
\[
D_t M_X(0) = E[X]
\]若我們想求變異數則
\begin{align*}
Var(X) &= E[(X - E[X] )^2]\\
& = E[X^2] -(E[X])^2\\
& = D_t^2 M_X(0) - D_t M_X(0)
\end{align*}

==================
Theorem: MGF唯一決定分配函數且 兩 MGF 相等 保證 分配函數相等 
令 $X,Y$ 為兩隨機變數且其各自對應的 mgf $M_X, M_Y$ 在含 $0$ 開區間存在。則此兩隨機變數的分配函數 $$
F_X(z) = F_Y(z), \;\;\; \forall \;\; z \in \mathbb{R}
$$若且唯若 存在 $\delta >0$ 使得 對任意 $t \in (-\delta, \delta)$ 而言
$$M_X(t) = M_Y(t)$$
==================
Proof: omitted


Comments:
1. 上述定理是非常強大的結果，他說明了要決定某隨機變數的分配可以透過 mgf 來唯一決定。也就是說 mgf 與 分配函數為 1-1 對應，且如果當分配函數很困難取得，我們可以透過計算 mgf 來幫助我們確定分配。
2. 機率論中另外有一種函數稱作 特性函數 (characteristic function) 其作用與 mgf相仿，且永遠存在，定義為 $\varphi_X(t) := E[e^{i tX}]$，但是此式包含複數，一般在計算上會稍微比 mgf 複雜一些。


以下我們展示幾個例子來使用動差生成函數求得 期望值 與 變異數。首先我們看幾個離散隨機變數的例子：

==================
Example 1: Bernoulli Random Variable 的 期望值 與 變異數
令 $X$ 為 Bernoulli random variable 滿足 $P(X=1) = p$ 且 $P(X=0)=1-p$。
(a) 試問其 mgf 是否存在？若存在則求其 mgf
(b) 利用 part(a) 證明 $E[X] = p$ 與 $Var(X) = p (1-p)$。
==================

Proof (a): 以下我們使用 mgf 方法來求期望值 以及 變異數 ，首先計算 mgf ，由定義可知
\begin{align*}
  {M_X}(t) &= E\left[ {{e^{tX}}} \right] \hfill \\
   &= \sum\limits_{x \in \left\{ {0,1} \right\}}^{} {{e^{tx}}{f_X}\left( x \right)}  \hfill \\
   &= {e^{t1}}p + {e^{t0}}\left( {1 - p} \right) \hfill \\
   &= {e^t}p + \left( {1 - p} \right) \hfill \\
\end{align*} 注意到上式對任意 $t \in \mathbb{R}$ 成立，故存在 $\delta >0$ 使得對 $t \in (-\delta,\delta )$ 而言，期望值 $E[e^{tX}]$ 存在。

Proof (b): 
以下我們計算 mgf 的微分
\[\left\{ \begin{align*}
  {D_t}{M_X}(t) &= {D_t}\left( {{e^t}p + \left( {1 - p} \right)} \right) = {e^t}p \hfill \\
  D_t^2{M_X}(t) &= {e^t}p \hfill \\
\end{align*}  \right.\] 故 $ E[X] = {D_t}{M_X}(0) = p $ 且

\begin{align*}
 Var(X) &= D_t^2{M_X}(0) - {({D_t}{M_X}(0))^2} \hfill \\
 &= p - {p^2} = p\left( {1 - p} \right) \hfill \\
 \end{align*}至此得證 $\square$





==================
Example 2: Poisson Random Variable 的 期望值 與 變異數
令 $X \sim Poisson(\lambda)$ 為 Poisson random variable  配備機率密度函數
\[
f_X(x) = \frac{\lambda^x e^{-\lambda}}{x!},\;\;\; x=0,1,2,...
\]
(a) 試問其 mgf 是否存在？若存在則求其 mgf
(b) 利用 part(a) 求 $E[X] = \lambda$ 與 $Var(X) = \lambda$。
==================

Proof (a):
由 mgr 定義，我們觀察 \begin{align*}
  {M_X}\left( t \right) &= E\left[ {{e^{tX}}} \right] \hfill \\
   &= \sum\limits_{x = 0}^\infty  {{e^{tx}}{f_X}(x)}  \hfill \\
   &= \sum\limits_{x = 0}^\infty  {{e^{tx}}\frac{{{\lambda ^x}{e^{ - \lambda }}}}{{x!}}}  \hfill \\
   &= {e^{ - \lambda }}\underbrace {\sum\limits_{x = 0}^\infty  {\frac{{{{\left( {{e^t}\lambda } \right)}^x}}}{{x!}}} }_{ = {e^{{e^t}\lambda }}} = {e^{\left( {{e^t} - 1} \right)\lambda }} \hfill \\
\end{align*}
上式最後一條等式成立因為
\[{e^z}: = \sum\limits_{k = 0}^\infty  {\frac{{{z^k}}}{{k!}}},\;\;\; \forall \; z \in \mathbb{C} \]注意到 $M_X(t)$ 對任意 $t \in \mathbb{R}$ 有定義，故存在 $\delta >0$ 使得對 $t \in (-\delta,\delta )$ 而言，期望值 $E[e^{tX}]$ 存在。

Proof (b):
首先對 mgf 求一階 與 二階導數，
\[\left\{ \begin{gathered}
  {D_t}{M_X}\left( t \right) = {D_t}\left( {{e^{\left( {{e^t} - 1} \right)\lambda }}} \right) = {e^{\left( {{e^t} - 1} \right)\lambda }}\lambda {e^t} \hfill \\
  D_t^2{M_X}\left( t \right) = D_t^2\left( {{e^{\left( {{e^t} - 1} \right)\lambda }}\lambda {e^t}} \right) = {e^{\left( {{e^t} - 1} \right)\lambda }}{\left( {\lambda {e^t}} \right)^2} + {e^{\left( {{e^t} - 1} \right)\lambda }}\lambda {e^t} \hfill \\
\end{gathered}  \right.\] 故期望值為 $E\left[ X \right] = {D_t}{M_X}\left( 0 \right) = \lambda $ 且變異數為
\begin{align*}
  Var\left( X \right) &= D_t^2{M_X}\left( 0 \right) - {\left( {{D_t}{M_X}\left( 0 \right)} \right)^2} \hfill \\
   &= {\left. {\left( {{e^{\left( {{e^t} - 1} \right)\lambda }}{{\left( {\lambda {e^t}} \right)}^2} + {e^{\left( {{e^t} - 1} \right)\lambda }}\lambda {e^t}} \right)} \right|_{t = 0}} - {\lambda ^2} = \lambda  \hfill \\
\end{align*} 至此得證 $\square$






下面例子是 連續隨機變數 的情況。

=======================
Example 3: Normal Distribution
令 $X \sim \mathcal{N}(\mu, \sigma^2)$ 配備機率密度函數
\[{f_X}(x): = \frac{1}{{\sqrt {2\pi } \sigma }}\exp \left( { - \frac{{{{\left( {x - \mu } \right)}^2}}}{{2{\sigma ^2}}}} \right), \;\;\; x \in \mathbb{R}
\]其中 $\mu \in \mathbb{R}, \sigma >0$
(a) 試求 $X$ 的 mgf
(b) 利用 part(a) 證明 $E[X] =\mu$ 與 $Var(X) =\sigma^2$
=======================

Proof: (a)
由定義出發，觀察
\begin{align*}
  {M_X}\left( t \right) &= E\left[ {{e^{tX}}} \right] \hfill \\
   &= \int_{ - \infty }^\infty  {{e^{tx}}{f_X}(x)} dx \hfill \\
   &= \int_{ - \infty }^\infty  {{e^{tx}}\frac{1}{{\sqrt {2\pi } \sigma }}{e^{ - \frac{{{{\left( {x - \mu } \right)}^2}}}{{2{\sigma ^2}}}}}} dx \hfill \\
   &= \frac{1}{{\sqrt {2\pi } \sigma }}\int_{ - \infty }^\infty  {{e^{\frac{{2{\sigma ^2}tx - {{\left( {x - \mu } \right)}^2}}}{{2{\sigma ^2}}}}}} dx \hfill \\
   &= \frac{1}{{\sqrt {2\pi } \sigma }}{e^{\frac{{ - {\mu ^2}}}{{2{\sigma ^2}}}}}\int_{ - \infty }^\infty  {{e^{\frac{{ - \left( {{x^2} - 2\left( {{\sigma ^2}t + \mu } \right)x + {{\left( {{\sigma ^2}t + \mu } \right)}^2}} \right)}}{{2{\sigma ^2}}}}}{e^{\frac{{{{\left( {{\sigma ^2}t + \mu } \right)}^2}}}{{2{\sigma ^2}}}}}} dx \hfill \\
   &= \frac{1}{{\sqrt {2\pi } \sigma }}{e^{\frac{{ - {\mu ^2}}}{{2{\sigma ^2}}}}}{e^{\frac{{{{\left( {{\sigma ^2}t + \mu } \right)}^2}}}{{2{\sigma ^2}}}}}\int_{ - \infty }^\infty  {{e^{\frac{{ - {{\left( {x - \left( {{\sigma ^2}t + \mu } \right)} \right)}^2}}}{{2{\sigma ^2}}}}}} dx \hfill \\
   &= {e^{\frac{{{\sigma ^2}{t^2} + 2\mu t}}{2}}}\underbrace {\frac{1}{{\sqrt {2\pi } \sigma }}\int_{ - \infty }^\infty  {{e^{\frac{{ - {{\left( {x - \left( {{\sigma ^2}t + \mu } \right)} \right)}^2}}}{{2{\sigma ^2}}}}}} dx}_{ = 1{\text{ }}\left( {{\text{pdf of normal }}\mathcal{N}\left( {\mu+\sigma^2 t ,{\sigma ^2}} \right)} \right)} \hfill \\
   &= {e^{\mu t + \frac{{{\sigma ^2}{t^2}}}{2}}} \hfill \\
\end{align*}

Proof (b):
以下我們計算 mgf 的微分
\[\left\{ \begin{align*}
  {D_t}{M_X}\left( t \right) &= {D_t}\left( {{e^{\mu t + \frac{{{\sigma ^2}{t^2}}}{2}}}} \right) = {e^{\mu t + \frac{{{\sigma ^2}{t^2}}}{2}}}\left( {\mu  + {\sigma ^2}t} \right) \hfill \\
  D_t^2{M_X}\left( t \right) &= {D_t}\left( {{e^{\mu t + \frac{{{\sigma ^2}{t^2}}}{2}}}\left( {\mu  + {\sigma ^2}t} \right)} \right) = {e^{\mu t + \frac{{{\sigma ^2}{t^2}}}{2}}}{\left( {\mu  + {\sigma ^2}t} \right)^2} + {e^{\mu t + \frac{{{\sigma ^2}{t^2}}}{2}}}{\sigma ^2} \hfill \\
\end{align*}  \right.\]故對應的期望值為
\[E\left[ X \right] = {D_t}{M_X}\left( 0 \right) = {\left. {{e^{\mu t + \frac{{{\sigma ^2}{t^2}}}{2}}}\left( {\mu  + {\sigma ^2}t} \right)} \right|_{t = 0}} = \mu \]
且 變異數 為

\begin{align*}
  Var\left( X \right) &= D_t^2{M_X}\left( 0 \right) - {\left( {D_t^1{M_X}\left( 0 \right)} \right)^2} \hfill \\
   &= {\left. {\left( {{e^{\mu t + \frac{{{\sigma ^2}{t^2}}}{2}}}{{\left( {\mu  + {\sigma ^2}t} \right)}^2} + {e^{\mu t + \frac{{{\sigma ^2}{t^2}}}{2}}}{\sigma ^2}} \right)} \right|_{t = 0}} - {\mu ^2} \hfill \\
   &= {\sigma ^2} \hfill \\
\end{align*} 至此得證 $\square$

[基礎機率論] 兩隨機變數的 共變異 與 相關性

在機率論的討論中，很多時候我們需要考慮多個隨機變數，一種情況是這些多個隨機變數彼此互為獨立，那麼其相關的數學運算可以被大幅簡化。但是若多個隨機變數彼此之間有一定程度的相關性，是否有一種合適的量化方法來衡量呢？以下我們給出所謂共變異的概念：


==============
Definition: 令 $X,Y$ 為兩隨機變數各自具備 有限期望值 $E[X],E[Y]$ 與有限變異數 $\sigma_X, \sigma_Y$ ，則我們可定義此組隨機變數 之共變異 (covariance)，記作 $\sigma_{XY}$，表為：
\[
\sigma_{XY} := E[(X-E[X])(Y-E[Y])]
\]==============

Comments:
1. [對稱性質]： 由上述定義，讀者應不難看出 $\sigma_{XY} = \sigma_{YX}$

2. [共變異數不必恆為正] ：由上述定義，透過簡單的運算可得到
\[{\sigma _{XY}} = E\left[ {XY} \right] - E\left[ X \right]E\left[ Y \right]\]注意到此式為兩項相減，故暗示了 共變異數 可能為正值 亦可能為負值。

3. 上述對於 $X,Y$ 具有有限期望值與有限變異之條件可簡寫為 $X,Y \in L^2$ 其中 $L^2$ 為由所有隨機變數滿足 $E[X^2]<\infty$ 所組成之函數空間。為求簡便起見，以下我們討論涉及 $L^2$ 之處皆以 有限期望值 與有限變異 做為等價之論述。有興趣讀者請參閱 本 Blog 其他相關文章或者查閱相關機率論/隨機過程之教材。

4. 有部分文獻之作者習慣將共變異數 用符號 $Cov(X,Y)$ 取代 $\sigma_{XY}$，端看個人習慣與喜好。

5. 一但兩隨機變數之共變異被定義，那麼給定多個隨機變數，比如說 $X_1,X_2,...,X_n$。我們亦可求其兩兩成對之共變異，舉例而言，若欲求 $X_i, X_j$ 之共變異 (其中 $i,j \in \{1,2,...,n\}$ ) 即為
$$
\sigma_{ij} :=  E[ (X_i- E[X_i]) (X_j = E[X_j])]
$$
另外當 $i =j$ 讀者可自行驗證上述共變異退化為變異數。



一旦定義了共變異，我們可接著引入所謂 相關性(correlation) 的概念：
==============
Definition:
當 $\sigma_{XY} = 0$ 我們說 隨機變數 $X,Y$ 彼此之間互 不相關
當 $\sigma_{XY}>0$ 我們說 隨機變數 $X,Y$ 彼此之間為 正相關
當 $\sigma_{XY} <0$ 我們說 隨機變數 $X,Y$ 彼此之間為 負相關
==============

一但有了共變異，第一個立即的問題便是此共變異與原本各自變異之間的關係是什麼？以下 FACT 對此問題給出回答：

=============

FACT: 對任意 $X,Y \in L^2$，其共變異數之上界可表為
$$
|\sigma_{XY}| \leq \sigma_X \sigma_Y
$$=============
Proof: 首先觀察
\[{\sigma _{XY}} = E\left[ {\left( {X - E\left[ X \right]} \right)\left( {Y - E\left[ Y \right]} \right)} \right]\]現在回憶 Cauchy-Schwarz Inequality ：對任意 $U,V \in L^2$ 之隨機變數， \[\left| {E\left[ {UV} \right]} \right| \leqslant \sqrt {E\left[ {{U^2}} \right]} \sqrt {E\left[ {{V^2}} \right]} \]故若我們令 $U:= X-E[X]$ 且 $V:= Y-E[Y]$ 則應用上述 Cauchy-Schwarz Inequality 立刻得到
\begin{align*}
  \left| {{\sigma _{XY}}} \right| &= \left| {E\left[ {\left( {X - E\left[ X \right]} \right)\left( {Y - E\left[ Y \right]} \right)} \right]} \right| \hfill \\
   & \leq \sqrt {E\left[ {{{\left( {X - E\left[ X \right]} \right)}^2}} \right]} \sqrt {E\left[ {{{\left( {X - E\left[ X \right]} \right)}^2}} \right]}  \hfill \\
  & = {\sigma _X}{\sigma _Y}. \;\;\;\;\;\;\; \square
\end{align*}

Comments:
一般而言，若 $\sigma_{XY} = \sigma_X \sigma_Y$ 我們稱 $X,Y$ 為 完全相關 (perfectly correlated)，反之若  $\sigma_{XY} = - \sigma_X \sigma_Y$ 則稱 $X,Y$ 為完全負相關(perfectly negative correlated)。


在統計學中常用與指出相關性的指標稱作 相關係數 (correlation coefficient) ，此係數可以由前述的共變異數與變異數直接定義如下：

=================
Definition: Correlation Coefficient of $X$ and $Y$
Correlation Coefficient of $X$ and $Y$, 記作 $\rho_{XY}$, 滿足
\[{\rho _{XY}}: = \frac{{{\sigma _{XY}}}}{{{\sigma _X}{\sigma _Y}}}
\]=================

Comment: 注意到由前述 FACT 可知 $-\sigma_X \sigma_Y \leq \sigma_{XY} \leq \sigma_X \sigma_Y$ 故
\[
-1 \leq \rho_{XY} \leq 1
\]



----附註---
與上述的相關係數有關的內容，有時候會定義所謂 相關函數 (correlation function)：

Definition: 令 $X,Y$ 為兩隨機變數，則我們定義 Correlation function between $X$ and $Y$  為  $E[XY]$

Comment:
1. correlation 決定了兩隨機變數何時具有線性相關。
2. 上述 correlation 事實上可視為 $L^2$ 空間之內積運算，在此不贅述。


Example: 
令 $X$ 為具有 mean $=0$ 與 variance $=1$ 的隨機變數，現在令 $Y := 2X$，試求  correlation between $X$ and $Y$
Solution
由定義出發，我們計算 $E[XY] = E[X 2X] = 2E[X^2]$。因為 $X$ 具有 unit variance 由 variance 定義可知 $Var(X) = E[X^2] - (E[X])^2$ 亦即
\[\begin{array}{l}
Var(X) = E[{X^2}] - {(E[X])^2}\\
 \Rightarrow 1 = E[{X^2}] - 0\\
 \Rightarrow E[{X^2}] = 1
\end{array}\]
故 $E[XY]  = 2E[X^2] =2$

[機率論] 求 一組獨立隨機變數最大值的期望值

給定 $X_1,...,X_n$ 為一組 i.i.d. 非負隨機變數，現在令 $M:=\max\{X_1,...,X_n\}$我們想問
\[
E[M] =?
\]

首先我們回憶
\[E[M] = \sum\limits_{k \geqslant 0} P (M > k) = \sum\limits_{k \geqslant 0} {\left( {1 - P(M \leqslant k)} \right)}
\]上述第一等式利用 非負隨機變數的期望值的性質(亦即若 $X$ 為非負隨機變數，則 $E[X] = \int_0^\infty P(X>x)dx$)，在此不做贅述。現在注意到
\begin{align*}
  P(M \leqslant k) &= P\left( {\max \left\{ {{X_1},...,{X_n}} \right\} \leqslant k} \right) \hfill \\
   &= P\left( {\bigcap\limits_{i = 1}^n {{X_i} \leqslant k} } \right) \hfill \\
  & = P{\left( {{X_1} \leqslant k} \right)^n} \hfill \\
\end{align*} 上述最後一條等式成立 因為 i.i.d 性質。故我們得到
\begin{align*}
  E[M] &= \sum\limits_{k \geqslant 0} {\left( {1 - P(M \leqslant k)} \right)}  \hfill \\
   &= \sum\limits_{k \geqslant 0} {\left( {1 - P{{\left( {{X_1} \leqslant k} \right)}^n}} \right)}  \hfill \\
\end{align*}

[投資理論] 股價動態模型(1) - 離散時間乘法模型

此文我們將討論離散時間股價較為合宜的動態模型：令 $k=0,1,2,...,N-1$ 且 $S(k) >0$ 為時刻 $k$ 之股價 且 $S(0)$ 已知常數，現在考慮股價服從以下 乘法模型
\[
S(k+1) = u(k) S(k) \;\;\;\; (*)
\] 其中  $u(k)$ 為  mutually independent 隨機變數 (代表時刻 $k$ 到 $k+1$ 股價的相對變化，亦即 $u(k) = S(k+1)/S(k)$)。現在對上述乘法模型等號兩邊取對數
\begin{align*}
  \ln S(k + 1) &= \ln \left( {u(k)S(k)} \right) \hfill \\
  & = \ln u(k) + \ln \left( {S(k)} \right)
\end{align*}
上述等號對 $k=0,1,2...,N-1$ 皆成立。

Comments:
1. 上述乘法模型中的 $u(k)$ 導致下一時刻的股價產生隨機波動，此結果在一般經濟學中稱為 價格衝擊 (shocks) 在控制理論中被稱為 干擾 (disturbances) 。
2. 上述乘法模型為股價離散時間標準模型，若我們考慮上述 $k=0,1,...,N$ 發生在 時間範圍 $\Delta t$ 之間，則讓 $N \to \infty$ 我們可以近似 股價連續時間的標準模型，也就是 幾何布朗運動 (Geometric Brownian Motion)，但此非本文重點在此不做贅述，有興趣的讀者可以參閱本 BLOG其他相關幾何布朗運動的文章。



對數常態分布的股價 (Log-normal Price)
現在對  $k=0,1,2...,N-1$ ，定義 $w(k):= \ln u(k)$ 且我們指定 $w(k)$ 服從具有 $E[w(k)] = \mu$ 與變異數 $Var(w(k)) = \sigma^2$ 的常態分佈 且 $w(k)$ mutually independent 。

Comments:
由於 $w(k):= \ln u(k)$，我們有 $u(k) = exp(w(k))$ 且 由於 $w(k) \sim N(\mu, \sigma^2)$ 故 $u(k)$ 為 log-normal 隨機變數 (亦即 取 log 之後為常態分配) 。


由乘法模型，不難得知
\[\ln S(k) = \ln \left[ {u(k - 1)u(k - 2) \cdots u\left( 0 \right)S(0)} \right]
\]故若對等號兩邊同取 log可知
\begin{align*}
  \ln S(k) &= \ln S\left( 0 \right) + \sum\limits_{i = 0}^{k - 1} {\ln u(i)}  \hfill \\
   &= \ln S\left( 0 \right) + \sum\limits_{i = 0}^{k - 1} {w(i)}  \hfill \\
\end{align*}
注意到 $\ln S(0)$ 為已知常數，且 $w(i)$ 為 mutually independent 的常態分佈隨機變數 滿足 期望值 $\mu$ 與變異數 $\sigma^2$，故由大學部機率論可知， $\sum_{i=0}^{k-1} w(i)$ 亦為常態隨機變數且其期望值為 $k \mu$ 變異數為 $k \sigma^2$，亦即
\[\sum\limits_{i = 0}^{k - 1} {w(i)} \sim N\left( {k\mu ,k{\sigma ^2}} \right)\]
又因為 $\ln S(0)$ 為已知常數，故 $\ln S(k)$ 亦為常態分佈滿足
\[\ln S(k)\sim N\left( {\ln S\left( 0 \right) + k\mu ,k{\sigma ^2}} \right)\]

Comments
一般在實務上的角度，真實股價 的確反映了 lognormal 分佈的行為但在分佈的兩端會有較大的不一致性，這種性質稱之為 skewness，在此不贅述。讀者可以自行任取市面上的股價進行驗證。

[機率論] 期望值保存遞增函數的遞增性質

令 $X$ 為具有任意分佈 $f_X$ 的隨機變數 且我們將其支撐集 (support set) 記作 $\cal X$，考慮參數 $K \in [0,1]$ 與 函數 $g(X,K)$ 為對參數 $K$ 遞增函數 with probability one，我們想問當我們對該函數取期望值時，是否 $ E[g(X,K)] $是否仍為對 $K$ 遞增?

答案為肯定的，我們將其記錄如下



令 $X$ 為具有任意分佈 $f_X$ 且 其支撐集為 $\cal X$ 隨機變數，考慮參數 $K \in [0,1]$
=====================
Theorem: 函數 $g(X,K)$ 為對參數 $K$ 遞增 with probability one，則 $ E[g(X,K)] $ 仍為對 $K$ 遞增
=====================

Proof:
令 $K_1,K_2 \in [0,1]$ 且 $K_1 \geq K_2$，我們要證明
\[
E[g(X,K_1)] \geq E[g(X,K_2)]
\]現在觀察
\[\left\{ \begin{gathered}
  E[g(X,{K_1})] = \int_{\cal X} g (x,{K_1}){f_X}(x)dx; \hfill \\
  E[g(X,{K_2})] = \int_{\cal X} g (x,{K_2}){f_X}(x)dx \hfill \\
\end{gathered}  \right.\]由於 $g(X,K)$ 為對參數 $K$ 遞增函數 with probability one，故可知對任意實現 $X=x$， $g(x,K_1) \geq g(x, K_2)$，又因為 分佈函數 $f_X$ 的非負性質，不難得知
\[
\int_{\cal X} g(x, K_1)f_X(x)dx \geq  \int_{\cal X} g(x, K_2)f_X(x)dx
\]亦即
\[
E[g(X,K_1)] \geq E[g(X,K_2)]
\]

[機率論] 期望值 $E[X]$ 與 $E[|X|]$ 的定義良好 與 有界問題

給定 $X$ 為任意隨機變數，期望值 $E[X]$ 的定義為
\[
E[X] := E[X^+] - E[X^-]
\]其中 $X^+ := \max\{X,0\} \ge 0$ 且 $ X^- := -\min\{X,0\} \ge 0$。

當我們說 $E[X]$ 為 定義良好 (well-defined) 若 $E[X^+],E[X^-] <\infty$ 或者只有其中一項為無窮，亦即要不 $E[X^+]=\infty$ 就是 $E[X^-] =\infty$。但不可以兩者都為無窮


Comments:
1. 讀者可驗證 $X = X^+ - X^-$ 且 $|X| = X^+ + X^-$ 恆成立。
2. 上述 $E[X] = E[X^+] - E[X^-]$ 的定義在於避免 $\infty - \infty$ 發生
3. 上述 $E[X]= E[X^+] - E[X^-]$ 的定義允許 $E[X]=\infty$ 或者 $E[X]=-\infty$
4. 給定 $X$ 為在機率空間 $(\Omega, \mathcal{F},P)$上的隨機變數， 則上述 $E[X]$ 定義一般亦寫作 $$E[X] = \int_\Omega X(\omega) P(d\omega)$$


現在我們考慮以下幾組問題
Question 1: 
$E[X]$ 為 well-defined 則 $E[X] < \infty$
Answer: False
Proof: 因為 $E[X]$ 可以取值到無窮大，此結果違反 $E[X]<\infty$ $\square$


Question 2:
$-\infty < E[X] < \infty$ 則 $E[X]$ 為 well-defined
Answer: True
Proof: 因為若 $ -\infty < E[X]< \infty$ 則表示
\[
0 \le E[X^+] <\infty
\] 與
\[
0 \le E[X^-] < \infty
\] 故 $E[X]=E[X^+] - E[X^-]$ well-defined $\square$


Question 3: 
若 $0 \le E[|X|] <\infty$ 則 $E[X] < \infty$
Answer: True
Proof: 注意到 $E[|X|]= E[X^+] + E[X^-]$ 且又因為 $0 \le E[|X|] <\infty$ 故我們有
\[
0 \le E[X^+] + E[X^-] < \infty
\]亦即 $E[X^+]$ 與 $E[X^-]$ 皆有界，故 $E[X] < \infty$ 且由 Question 1，我們可知 $E[X]$ well-defined $\square$


Question 4: 
若 $E[X] <\infty$ 則 $E[|X|] < \infty$
Answer: False
Proof: 考慮 $X = -2^k$ 且 對應機率為 $P(X = -2^k) = \frac{1}{2^{k+1}}$ 對 $k=0,1,2,...$則 $E[X] = -\infty < \infty$ 滿足前件假設，但
\[
E[|X|]=\infty \;\;\;\;\; \square
\]

Question 5: 
若 $-\infty<E[X]<\infty$ 則 $E[|X|] <\infty$
Answer: True
Proof: 由於 \[
-\infty< E[X] := E[X^+] - E[X^-] <\infty
\]此暗示 $0 \le E[X^+] <\infty $ 與 $0\le E[X^-] < \infty$ ，故 $E[|X|]=E[X^+] + E[X^-] $ 必為有界且 $E[|X|]<\infty$ $\square$

[機率論] 非負連續隨機變數 的期望值

令 $Y $ 為 任意非負 連續隨機變數 配備機率密度 $f_Y$，則我們有以下非常簡潔的結果來描述 $Y$ 的期望值 $E[Y]$。

============
Lemma:
\[
E[Y] = \int_0^\infty P(Y>y) dy
\]============
Proof:
首先觀察等式右方，由於 $P\left( {Y > y} \right) = \int_y^\infty  {{f_Y}\left( x \right)dx} $ 故
\[\begin{array}{l}
\int_0^\infty  {P\left( {Y > y} \right)dy}  = \int_0^\infty  {\left( {\int_y^\infty  {{f_Y}\left( x \right)dx} } \right)dy} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \int_0^\infty  {\left( {\int_0^\infty  {{f_Y}\left( x \right){1_{\left\{ {x \ge y} \right\}}}\left( x \right)dx} } \right)dy} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \int_0^\infty  {\left( {\int_0^\infty  {{f_Y}\left( x \right){1_{\left\{ {y \le x} \right\}}}\left( y \right)dx} } \right)dy}
\end{array}\]由於 integrand 非負，由 Fubini Theorem 我們可互換積分順序並得到如下結果
\[\begin{array}{l}
\int_0^\infty  {P\left( {Y > y} \right)dy}  = \int_0^\infty  {\int_0^\infty  {{f_Y}\left( x \right){1_{\left\{ {y \le x} \right\}}}\left( y \right)dydx} } \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \int_0^\infty  {{f_Y}\left( x \right)\left( {\int_0^\infty  {{1_{\left\{ {y \le x} \right\}}}\left( y \right)dy} } \right)} dx\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \int_0^\infty  {{f_Y}\left( x \right)\left( {\int_0^x {1dy} } \right)} dx\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \int_0^\infty  {{f_Y}\left( x \right)x} dx\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \int_0^\infty  {x{f_Y}\left( x \right)} dx = E[Y] \;\;\;\;\;\;\; \square
\end{array}\]

Comments:
1. 前述假設 非負隨機變數是指 $Y \ge 0$ almost surely, 亦即 $ P(Y \ge 0) = 1$
2. 上述證明中採用的符號 $1_{A} (x)$ 表示 指示函數 (indicator function)，我們給出定義如下：令 $X$ 為任意集合 則我們可定義對其上的任意子集 $A  \subset X$ 所對應的指示函數( indicator function of a subset $A$ of a set $X$ ) 為 $1_A: X \to \{0,1\}$ 滿足 \[{1_A}\left( x \right): = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}&{x \in A}
\end{array}\\
0,\begin{array}{*{20}{c}}
{}&{x \notin A}
\end{array}
\end{array} \right.\]
3. 上述結果可用 distribution function 改寫，令 $F_Y(y) := P(Y \leq y)$則
\[
E[Y] = \int_0^\infty P(Y>y) dy = \int_0^\infty (1 - F_Y(y)) dy
\]這個結果可以使得我們在計算期望值的同時，不用再困擾需要先求出 pdf ，只要有分配函數 即可計算期望值。

[博弈論] Kelly criterion - Simplest Case

這次要介紹 凱利 J. Kelly, Jr 在 1956 年利用 Information Theory 所提出的一套 賭博理論結果，又稱作 凱利判準 (Kelly Criterion) ，此結果其後又被其在同僚 E. D. Throp 進一步推廣，且在近幾十年中已被逐步推廣且應用在 避險基金 與 投信銀行 等金融業中。以下我們將簡介最簡單的 Kelly criterion 型式：

凱利判準 (Kelly Criterion): 賭徒參與賭局，應追求 最大化 長期 報酬增長率 $G$ (asymptotically maximize the growth rate of wealth)
凱利公式 (Kelly formula): 此公式用來計算 每次賭金押注應該是多少可達成最大化 長期報酬增長率 $G$。

不過在介紹之前我們先考慮以下一個簡單的賭局情形：

Example
考慮 某賭徒身懷 $V_0$ 元全身資產 興致勃勃的 參與 某 投擲銅板 賭局，若銅板出現正面，則賭徒可贏得 $1$ 元，反之若出現反面則 賭徒輸掉 $1$元。且每次投擲銅板之間彼此互為獨立，現在給定 銅板出現正面機率為 $p$ 則反面出現的機率為 $1-p$ 並且 定義隨機變數 $X_k$表示 第 $k$ 次 投擲銅板，若銅板出現正面 我們記做 $X_k = 1$ 反之則記做 $X_k = -1$。

試問 (a) 賭徒在 第 $k$ 次 投擲銅板 的獲利期望值為何 $E[X_k]=?$
(b) 令第 $k$ 次賭注為 $B_k$ $(k=1,...,n)$，試問累計到 $n$ 次投擲銅板時 的獲利期望值為何 $E[V_n]=?$

Solution
(a) 第 $k$ 次 投擲銅板 的獲利期望值 由定義可知
\[\begin{array}{l}
E\left[ {{X_k}} \right] = 1 \cdot P\left( {{X_k} = 1} \right) + \left( { - 1} \right) \cdot P\left( {{X_k} =  - 1} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}\;
\end{array} = 1 \cdot p + \left( { - 1} \right) \cdot \left( {1 - p} \right) = 2p - 1
\end{array}\]
(b) 對 $k=1,2,...$ 我們有 $V_k = V_{k-1} + X_kB_k $ 故
\[{V_n} = {V_0} + \sum\limits_{k = 1}^n {B_k}{X_k}
\]現在對上式取期望值可得
\[\begin{array}{l}
E{V_n} = {V_0} + \sum\limits_{k = 1}^n E [{B_k}{X_k}]\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = {V_0} + \sum\limits_{k = 1}^n {E[{B_k}]E[{X_k}]} \ \ \ \ \ (*) \\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = {V_0} + \sum\limits_{k = 1}^n {\left( {2p - 1} \right)E[{B_k}]}
\end{array}\]

Comments:
1. 注意到若 $2 p -1 >0$ 則表示第 $k$ 次 投擲銅板賭局的 獲利的期望值為正 ($EX_k >0$)。
2. 式 $(*)$ 中利用了 $B_k$ 與 $X_k$ 的獨立性 (儘管 $B_k$ 與 $X_{k-1}$ 有關 )。


有了以上想法我們開始檢驗以下幾種策略。假設你已知此投擲銅板的賭局的一個 "內線"消息，也就是此銅板是不公平的銅板，其出現正面的機率為 $p > \frac{1}{2}$ ，若你是賭徒試問應如何建構必勝法?

===============
策略 A: 既然已知出現正面機率較高，應該一次就押注全部的錢就對了。
===============
ANS: 若採用此策略，不難想像如果這位賭徒運氣不佳，前面好幾次都連續出現 反面，則 賭徒如果採用此全部押注的策略，只要出現一次反面就會輸個精光。且如果你說運氣很好 比如說此賭徒連贏 $n$ 次機率 為 $p^n $ 且 $0 < p < 1$ 故現在若 $n \to \infty$ 可想而知 賭徒連續贏無窮次的機率為 $0$ almost surely，亦即此賭徒必定破產。

對於 策略A 的結論如下：
只要輸一次賭徒就破產，且長期而言 ($n \to \infty$ ) 賭徒連贏的機率是 $0$，故若將全部資金投入賭局絕非必勝法。


故此很明顯我們該採取 將資金分批賭，那麼該如何分配這些資金才能 最大化賭徒贏錢的機會? 或者說 創造某種必勝法呢?

===============
策略 B: Martingale ! 每輸一次就加倍賭金。
===============
ANS: 此法看似必勝法事實上要求賭徒具備無窮資本。相關細節請讀者參閱本 BLOG 相關 Martingale 理論的介紹。


===============
策略 C: 利用 Kelly criterion 幫助我們決定每次賭注金的金額，使得長期而言，賭徒可贏得最大化 Geometric mean 收益。
===============

Kelly 定義 賭徒 參與第 $N$ 次賭局的資金 長期成長率 $G$ 為
\[G: = \mathop {\lim }\limits_{N \to \infty } \frac{1}{N}{\log _2}\left( {\frac{{{V_N}}}{{{V_0}}}} \right)\] 其中 $V_N$ 為 $N$ 次賭局後賭徒的手上的資金，$V_0$ 為 賭徒的初始資金。(NOTE: 我們在此將成長率定為 $\log_2$ 是依照 Kelly 1956 原文，事實上亦可直接訂為 $\ln(\cdot)$)

由於賭徒事先知道一個 "內線"消息，也就是此銅板是不公平的銅板，其出現正面的機率為 $p > \frac{1}{2}$ ，且此時賭徒只考慮投注比率為 $K$ ，而 $W$ 與 $L$ 各自代表贏得賭局 或者 輸掉賭局的次數，那麼考慮  $N$ 次賭局之後 (注意 $W + L = N$)，賭徒剩餘資金可表示為
\[
V_N = (1 + K)^W(1 - K)^L V_0
\]且賭徒資金成長率 $G$ 亦可計算如下
\[\begin{array}{l}
G = \mathop {\lim }\limits_{N \to \infty } \frac{1}{N}{\log _2}\left( {\frac{{{V_N}}}{{{V_0}}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \mathop {\lim }\limits_{N \to \infty } \frac{1}{N}{\log _2}\left( {\frac{{{{(1 + K)}^W}{{(1 - K)}^L}{V_0}}}{{{V_0}}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \mathop {\lim }\limits_{N \to \infty } \frac{1}{N}{\log _2}\left( {{{(1 + K)}^W}{{(1 - K)}^L}} \right)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \mathop {\lim }\limits_{N \to \infty } \frac{1}{N}\left[ {W{{\log }_2}(1 + K) + L{{\log }_2}(1 - K)} \right]\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \mathop {\lim }\limits_{N \to \infty } \left[ {\frac{W}{N}{{\log }_2}(1 + K) + \frac{L}{N}{{\log }_2}(1 - K)} \right]\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = p{\log _2}(1 + K) + \left( {1 - p} \right){\log _2}(1 - K)
\end{array}\]注意到上式 $-G$ 為 convex function of $K$，故可對其求解最佳 $K$ 值 (透過一階必要條件 $dG/dK =0$ )可得
\[\begin{array}{l}
\frac{{dG}}{{dK}} = 0\\
 \Rightarrow  - \frac{{1 - p}}{{\left( {1 - K} \right)\log \left[ 2 \right]}} + \frac{p}{{\left( {1 + K} \right)\log \left[ 2 \right]}} = 0\\
 \Rightarrow K = 2p - 1
\end{array}\]亦即 Kelly criterion 指出 若賭徒每次都以 $K = 2p-1$ 比率的賭金進行賭局，則可以最大化 Geometric mean 報酬率。且賭金成長率的最大值 $G_{max}$ 如下
\[\begin{array}{l}
{G_{\max }} = {\left. G \right|_{K = 2p - 1}} = p{\log _2}(2p) + \left( {1 - p} \right){\log _2}(2 - 2p)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = p\left[ {{{\log }_2}(2) + {{\log }_2}(p)} \right] + \left( {1 - p} \right)\left[ {{{\log }_2}2 + {{\log }_2}(1 - p)} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = 1 + p{\log _2}(p) + \left( {1 - p} \right){\log _2}(1 - p)
\end{array}\]

故以前例而言，若已知 $p = 0.55$ (因為已知小道消息幫助我們確認正面出現機率較高) 且賭徒身上帶著 $V_0$ 元作為賭本， 則 每次賭注金 應為 $(2 p - 1) V_0 = 0.1 V_0$ 亦即每次下注 $10 \%$。
Comments
以前述討論為例，若賭徒每次下注都低於 $10 \%$，則長期而言賭徒仍會持續勝利，但是獲利的成長率會較 每次都下注 $10 \%$ 來的慢 (因為非最佳解)。


上述的結果可以進一步推廣如下：首先引入 賠率 (賠率 := 贏的金額 / 輸的金額 )；比如說下注金 $2$元，若賭贏則贏得 $4$ 元，賭輸則輸掉 $2$ 元。則此時賠率為 $4/2 = 2$ 。

Generalization of Kelly formula for Uneven payoff game  (1984, Thorp)
若已知賠率 $B$ 與獲勝機率 $p >0$ 且 $(B+1)p-1 >0$，則前述的 Kelly formula 可修正為
\[
K = \frac{(B + 1)p - 1} {B}
\] 上述結果來自於對下式最大化：
\[
\max_K G(K)
\]其中 $G(K) = p\ln \left( {1 + BK} \right) + \left( {1 - p} \right)\ln \left( {1 - K} \right)$

Example: 考慮賠率為 $B = 2$ 且 $p = 0.55$ 則 ，每次的最佳下注金比率應為
\[K = \frac{{(B + 1)p - 1}}{B} = \frac{{(2 + 1)\left( {0.55} \right) - 1}}{2} = 0.325
\]

Comment:
1. 事實上，讀者可以在文獻中找到更保守的投資方法，稱為 Half-Kelly (or fractiaonal-Kelly)，一類常見的做法是限定 $ K^\star := 1/2 K^*$ 其中 $K^*$ 為 Kelly 最佳解。但不論是 Kelly 或者 Half-Kelly，此法則都還是有相當大的限制與問題：首先是 當賭徒把最佳解調降來得到 frctional-Kelly optimum 本身便相當具有爭議，此作法大概可以說成是把最佳化方法丟掉然後隨便亂調一個夠小的 Kelly optimum 並聲稱此解仍為最佳，既然如此何必費工做最佳化呢？ 再者， Kelly Criterion 所求得的最佳比率 $K^*$ 儘管 "長期" 而言能最大化成長率，但不保證有限期間的績效，也就是說很有可能在有限期間透過 $K^*$ 去投資的 sampled path 仍會發生在某時刻大幅度資產減少 (亦即 會有極為巨大的 最大跌幅 (Max Drawdown) )，在 [4] 中我們證明就算是最基本的投擲銅板的情況，其 期望的最大跌幅仍超過 50% 以上。此現象在許多文獻中都被提及，一般將此性質稱為 Kelly optimum 具有過度投資的特性 (或稱 Kelly Criterion 是 too aggressive)。

2. 許多文獻試圖應用 Kelly Criterion 到股票市場之中，但實際應用上仍有非常多的限制，比如說有部分文獻透過 Talyor Approximation method 來求解最佳比率 $K^*$ 而無視 凱莉問題本質上是 concave program， 此類近似法可以給出漂亮的解析解並且看似合理，但其實仍潛藏諸多限制與謬誤。有興趣的讀者可參考個人的著作 [4].

3. 應用 Kelly Criterion 到股票市場有另外一類更嚴重的問題：回憶若 Kelly Criterion 應用在賭局情況，則賭徒大可假設 報酬的機率分佈已知，但是股票市場的機率分佈是完全未知，連最基本的 i.i.d. 或者 stationarity 報酬假設都僅只有在交易時間不長的情況下成立。有興趣的讀者在查閱相關文獻不難發現若貿然應用 Kelly Criterion 並透過模擬方式宣稱回測結果幾乎都無可避免上述的嚴重謬誤。


ref:
[1] Kelly, J. L., A New Interpretation of Information Rate," Bell System Technical Journal, 1956
[2] Thorp, E. O., "The Mathematics of Gambling," Lyle Stuart, Secaucus,NJ. 1984
[3] Thorp, E. O., The Kelly Criterion in Blackjack Sports Betting, and The Stock Market, 2007
[4] Hsieh, C.H., and Barmish, B. R., "On Kelly Betting: Some Limitations,"  Proceedings of 53rd Annual Allerton Conference, pp. 165-172, Monticello, IL., 2015

[機率論] Martingale (3) - Example

Example: 令 $\{X_n\}$ 為 Martingale with Filtration $\mathcal{F_n}$，假設 $T$ 為 stopping time。試證 $Y_n:=X_{\min(n,T)}$ 為 Martingale with $\mathcal{F_n}$。

Proof:
首先證明 (1) $E|Y_n| < \infty $：
注意到：
\[\begin{array}{l}
{Y_n}: = {X_{n \wedge T}} = {X_n}{1_{n{\rm{ < }}T}} + {X_T}{1_{T \le n}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = {X_n}{1_{n{\rm{ < }}T}} + \sum\limits_{m = 1}^n {{X_T}{1_{T = k}}}
\end{array}\]故
\[\begin{array}{l}
E\left| {{Y_n}} \right| = E\left| {{X_{n \wedge T}}} \right| = E\left| {{X_n}{1_{n{\rm{ < }}T}} + \sum\limits_{m = 1}^n {{X_T}{1_{T = k}}} } \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} \le E\left| {{X_n}{1_{n{\rm{ < }}T}}} \right| + \sum\limits_{m = 1}^n {E\left| {{X_T}{1_{T = k}}} \right|} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} \le E\left| {{X_n}} \right| + \sum\limits_{m = 1}^n {E\left| {{X_T}} \right|}  < \infty
\end{array}\]

接著我們證明 (2) : $Y_n \in \mathcal{F}_n $
觀察 \[{Y_n}: = {X_{n \wedge T}} = {X_n}{1_{n{\rm{ < }}T}} + \sum\limits_{m = 1}^n {{X_T}{1_{T = k}}} \]由於 $1_{T>n} = 1_{T \le n}^c \in \mathcal{F}_n$ 且 $X_m \in \mathcal{F}_m \subset \mathcal{F}_n$ 且 $1_{T=m} \in \mathcal{F}_m \subset \mathcal{F}_n$ 對任意 $m\le n$ 故
\[{Y_n}: = \underbrace {{X_n}}_{ \in {F_n}}\underbrace {{1_{n{\rm{ < }}T}}}_{ \in {F_n}} + \underbrace {\sum\limits_{m = 1}^n {{X_T}{1_{T = k}}} }_{ \in {F_n}} \in {F_n}\]

最後我們證明 (3): $E[Y_{n+1}|\mathcal{F}_n] = E[X_{}]$ 注意到
\[\begin{array}{l}
E[{Y_{n + 1}}|{{{\cal F}}_n}] = E[{X_{n + 1}}{1_{n + 1 < T}} + {X_T}{1_{T \le n + 1}}|{{{\cal F}}_n}]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = E[{X_{n + 1}}{1_{n + 1 < T}}|{{{\cal F}}_n}] + E[{X_T}{1_{T \le n + 1}}|{{{\cal F}}_n}]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = E[{X_{n + 1}}{1_{n + 1 < T}}|{{{\cal F}}_n}] + E[\sum\limits_{k = 1}^n {{X_k}{1_{T = k}}}  + {X_{n + 1}}{1_{T = n + 1}}|{{{\cal F}}_n}]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = E[{X_{n + 1}}{1_{n + 1 < T}}|{{{\cal F}}_n}] + {X_T}{1_{T \le n}} + E[{X_{n + 1}}{1_{T = n + 1}}|{{{\cal F}}_n}]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = {X_n}{1_{n + 1 \le T}} + {X_T}{1_{T \le n}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = {X_n}{1_{n < T}} + {X_T}{1_{T \le n}} = {Y_n}
\end{array}\]