[機率論] 連續隨機變數條件機率的定義

若 $X$ 是連續隨機變數，則其累積機率分配(cumulative distribution function, cdf)
\[
F_X(x) := P(X \leq x) = \int_{-\infty}^x f_X(t) dt
\]為 (對 $x$ ) 連續函數，故單點機率測度 $P(X=x) =0$。但若我們考慮條件機率的情況事情會變得稍微有點棘手，因為假設我們引入第二個連續隨機變數 $Y$且假設 $X,Y$ 為 jointly continuous，現在我們想計算 $P(Y \in C| X=x)$，由條件機率定義可知
\[
P(Y \in C| X=x) = \frac{P(X=x,Y=c)}{P(X=x)}
\]但此時我們發現因為 $P(X=x) =0$，分母是$ 0$。對於這種情況我們該怎麼對 連續隨機機變數定義其條件機率？或者更簡單的說，該怎麼計算(或者定義)$P(Y \in C| X=x)$?


要計算 $P(Y \in C| X=x)$，我們首先考慮
\[
\lim_{h \to 0} P(Y \in C| x<X\leq x + h)
\]對任意 $h>0$而言，上述條件機率可寫成
\[P(Y \in C|x < X \leqslant x + h) = \frac{{P(Y \in C,x < X \leqslant x + h)}}{{P(x < X \leqslant x + h)}}\]注意到分子部分等價為
\[P(Y \in C,x < X \leqslant x + h) = P\left( {\left( {X,Y} \right) \in \left( {x,x + h} \right] \times C} \right)\]若 $X,Y$ 為 jointly continuous，則
\begin{align*}
  P(Y \in C|x < X \leqslant x + h) &= \frac{{P(Y \in C,x < X \leqslant x + h)}}{{P(x < X \leqslant x + h)}} \hfill \\
   &= \frac{{\int_x^{x + h} {\int_C^{} {{f_{XY}}\left( {t,s} \right)dsdt} } }}{{\int_x^{x + h} {{f_X}\left( t \right)dt} }} \hfill \\
\end{align*} 對上式分子分母同除 $1/h$ 並且讓 $h \to 0$ ，利用下文中的 FACT可得
\begin{align*}
  \mathop {\lim }\limits_{h \to 0} P(Y \in C|x < X \leqslant x + h) &= \mathop {\lim }\limits_{h \to 0} \frac{{\frac{1}{h}\int_x^{x + h} {\int_C^{} {{f_{XY}}\left( {t,s} \right)dsdt} } }}{{\frac{1}{h}\int_x^{x + h} {{f_X}\left( t \right)dt} }} \hfill \\
   &= \frac{{\int_C^{} {{f_{XY}}\left( {x,s} \right)ds} }}{{{f_X}\left( x \right)dt}} \hfill \\
\end{align*} 由上述 極限，我們可定義 在給定 $X$ 條件之下 ，$Y$的條件機率密度函數，記作 $f_{Y|X}$ 如下：
================

Definition: Conditional Probability and Conditional Density: 對任意 $x$ 滿足 $f_X(x) >0$，給定 $X$ 條件之下 ，$Y$的條件機率密度函數定義為
\[
f_{Y|X}(y|x) := \frac{f_{XY}(x,y)}{f_X(x)}
\]由 $f_{Y|X} $，我們可定義 給定條件 $X=x$ 之下，事件 $Y \in C$ 的條件機率為
\[
P(Y \in C|X=x):= \int_C f_{Y|X}(y|x)dy
\]================

Comments: 1. 同理，我們可定義 Conditional CDF 記作 $F_{Y|X}$ 滿足
\[
F_{Y|X}(y|x) := P(Y \leq y| X = x) = \int_{-\infty}^y f_{Y|X}(t|x) dt
\]2. 讀者應不難驗證 $\int_{-\infty}^{\infty} f_{Y|X}(y|x)dy = 1$。

================
FACT: 令 $X$ 為隨機變數配備 機率密度函數(probability density function, pdf) $f_X$，則
\[\lim_{h \to 0}\frac{1}{h}\int_x^{x + h} {{f_X}\left( t \right)dt}  = F_X'(x) =f_X(x)\]其中 $F_X$ 為 $X$ 累積分配函數(cdf)。
================

Proof: 首先觀察
\[\frac{1}{h}\int_x^{x + h} {{f_X}\left( t \right)dt}  = \frac{1}{h}\left( {{F_X}\left( {x + h} \right) - {F_X}\left( x \right)} \right)\]現在讓 $h\to 0$我們有
\[\mathop {\lim }\limits_{h \to 0} \frac{1}{h}\int_x^{x + h} {{f_X}\left( t \right)dt}  = \mathop {\lim }\limits_{h \to 0} \frac{1}{h}\left( {{F_X}\left( {x + h} \right) - {F_X}\left( x \right)} \right) = F'(x)\]若 density 存在，則利用 pdf 是 cdf的微分的事實，
\[
F_X'(x) = f_X(x)
\] 至此證明完畢。$\square$