[機率論] Chebyshev's Inequality 的推廣型

以下介紹一個在機率論中 相當有用的 一條不等式，稱為 Chebyshev inequality，此不等式將 期望值 與 機率測度 做出一定程度的連結 來用以估計 期望值的下界 （或者說 求某機率測度的上界）。以下我們給出此不等式之陳述與證明：讀者可注意要求的假設條件並不多，證明也稍具巧思。

================
Theorem: Generalized Chebyshev's Inequality 
令 $X$ 為 任意 連續型 隨機變數 配備 機率密度函數 $f_X$ ，現在定義 $g(X)$ 為任意非負函數，若 $E[g(X)]$ 存在，則 對任意常數 $c>0$，我們有
\[
P(g(X) \geq c) \leq \frac{E[g(X)]}{c}
\]================

Proof: 假設 $X$ 為連續型隨機變數且 $E[g(X)]$ 存在，令 $c >0$ 為任意正值常數。由於期望值 $E[g(X)]$ 存在，由定義可知我們有
\[
E\left[ {g\left( X \right)} \right] = \int_{ - \infty }^\infty  {g\left( x \right){f_X}\left( x \right)dx}
\]其中 $f_X(x)$ 為 $X$ 的 機率密度函數 (Probability Density Function, pdf)。現在觀察上述右式積分，我們可將其等價寫為
\begin{align*}
  \int_{ - \infty }^\infty  {g\left( x \right){f_X}\left( x \right)dx}  &= \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx}  + \int_{\left\{ {x:g\left( x \right) < c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx}  \hfill \\
 &  \geq \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx}  \;\;\;\; (*)
\end{align*} 注意到上述不等式成立 是 因為對所有 $x$ 而言， $g(x) \geq 0$ 且 pdf $f_X(x) \geq 0$。現在我們觀察不等式右方的積分式子 $ \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx} $ 可以發現此積分範圍是對所有的 $x$ 滿足 $g(x) \geq c$，這表示我們可以進一步寫出此積分的下界
\[\int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx}  \geqslant \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {c{f_X}\left( x \right)dx} \;\;\;\;\; (**)
\]由 $(*)$ 與 $(**)$ 我們可知
\begin{align*}
  E\left[ {g\left( X \right)} \right] &\geq \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {c{f_X}\left( x \right)dx}  \hfill \\
   &= c\int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {{f_X}\left( x \right)dx}  \hfill \\
   &= cP\left( {g\left( x \right) \geqslant c} \right) \hfill \\
\end{align*} 故
\[\frac{{E\left[ {g\left( X \right)} \right]}}{c} \geqslant P\left( {g\left( x \right) \geqslant c} \right)\]至此得證。$\square$

Comments:
1. 上述定理對 離散型隨機變數仍然成立，僅須將證明的積分部分 $\int (\cdot)$ 改成累加 $\sum (\cdot)$ 即可。
2. Chebyshev's inequality 的界的 "鬆緊程度" 依隨機變數情況而定，故拿來做精準上下界估計不一定準確。
3. 若 $g(X):=X$ 則上述 廣義 Chebyshev's inequality 又稱作 Markov's inequality。
4. 上述廣義的 Chebyshev's inequality 應用在於如何"識別"或者 "選取" 適當的 非負函數 $g(X)$，我們會在以下再作進一步說明。



以下我們看個上述定理的應用例：

==================
FACT 1: Standard Chebyshev's inequality 
令 $X$ 為隨機變數具有 有限期望值 與變異數，記作 $ E[X] := \mu$ 且 $E[(X- \mu)^2] =\sigma^2$ 。則對任意 $n>0$ 而言，我們有
\[
P( (X-\mu)^2 \geq n^2 \sigma^2) \leq \frac{1}{n^2}
\]==================

Proof:
給定 $n >0$， 定義 $g(X) := (X-\mu)^2 \geq 0$，則 Generalized Chebyshev's inequality 告訴我們對任意 $c>0$，我們有
\[P({\left( {X - \mu } \right)^2} \geqslant c) \leqslant \frac{{E\left[ {{{\left( {X - \mu } \right)}^2}} \right]}}{c}\]又因為 ${E\left[ {{{\left( {X - \mu } \right)}^2}} \right] = {\sigma ^2}}$ 故上式可改寫為
\[
P({\left( {X - \mu } \right)^2} \geqslant c) \leqslant \frac{{{\sigma ^2}}}{c}
\]現在取 $c:=\sigma^2 n^2 >0$ 則\[
P({\left( {X - \mu } \right)^2} \geqslant n^2 \sigma^2 ) \leqslant \frac{1}{n^2}
\]至此得證。$\square$

==================
FACT 2:
令 $X$ 為隨機變數配備 期望值 $\mu$ 且令 $E[(X-\mu)^{2k}]$ 對任意正整數 $k$ 都存在，則對任意 $c >0$，
\[
P(|X-\mu| \geq c) \leq E[(X-\mu)^{2k}]/c^{2k}
\]==================

Proof: omitted. (取 $g(X):= (X-\mu)^{2k}$ 且 $c = d^{1/2k}, \;\; \forall d>0$ )


以下結果為利用 Chebyshev inequality 與 動差生成函數 Moment Generating Function (mgf) 拉上關係：


==================
FACT 3:
令 $X$ 為隨機變數配備 mgf 滿足下列條件：存在 $\delta>0$ 使得當 $t \in (-\delta, \delta)$，其 mgf $M_X(t)$ 存在，則
\[
P(X \geq c) \leq e^{-ct} M_X(t), \;\;\; t \in (0, \delta)
\]且
\[
P(X \leq c) \leq e^{-ct} M_X(t), \;\;\; t \in (-\delta,0)
\]==================

Proof: omitted (取 $g(X):= e^{tX}$ 且 $c = \frac{\log d}{ t}, \;\; \forall d>0$  )