[機率論] Bernoulli 與 Binomial 隨機變數

假設進行一次隨機試驗，若其結果可以僅分為 "成功" 或者 "失敗"兩類，現在我們令隨機變數 $X=1$ 時表示成功，$X=0$ 表示失敗，則 $X$ 對應的機率質量函數 (Probability mass function, pmf) 可以表示為
\[
P(X=1) = p;\;\;\; P(X=0)=1-p
\]其中 $p$ 表為實驗成功的機率且滿足 $0 \le p \le 1$。

===============
Definition: Bernoulli Random Variable
我們說隨機變數 $X$ 為 白努力 (Bernoulli) 隨機變數 若下列條件成立：
存在 $p\in(0,1)$ 使得 $X$ 的機率質量函數滿足
\[
P(X=1) = p;\;\;\; P(X=0)=1-p
\]===============

透過上述的 Bernoulli 隨機變數，我們考慮其進一步推廣：
假設進行 $n$ 次獨立隨機試驗，且每次試驗仍僅有 "成功" 或者 "失敗"兩類，且成功的機率均為 $p$，失敗的機率均為 $1-p$。現在我們定義隨機變數 $X$ 為 $n$ 次實驗中成功的次數，則稱 $X$ 為參數 (n,p) 的二項 (Binomial)隨機變數且其對應的機率質量函數滿足 對任意 $i=0,1,2,...,n$，
\[
p(X=k): = \left( \begin{array}{l}
n\\
k\end{array} \right){p^k}{\left( {1 - p} \right)^{n - k}} \;\;\;\; (*)
\]

Comments:
1. 注意到 Bernoulli 隨機變數為參數 $(1,p)$ 的 Binomial 隨機變數。
2. Binomial 隨機變數 $X$ 亦稱做 $X$ 服從 Binomial 分佈，且分佈由上述 $(*)$ 所描述。


以下我們驗證為何 Binomial 隨機變數的滿足機率質量函數的要求 亦即我們證明
1. 對任意 $i=0,1,2,..,n$, $P(X=k) \ge 0$
2. $\sum_{k=0}^n P(X=k) = 1$

Proof:
條件 1 不難驗證，讀者可直接觀察 $(*)$而得。
條件 2，我們觀察
\[\sum\limits_{k = 0}^n {P(X = k)}  = \sum\limits_{k = 0}^n {\left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right){p^k}{{\left( {1 - p} \right)}^{n - k}}}
\]使用 Binomial Theorem，亦即
\[{(x + y)^n} = \mathop \sum \limits_{k = 0}^n \left( \begin{array}{l}
n\\
k
\end{array} \right){x^k}{y^{n - k}}
\]令 $x=p$ 且 $y=1-p$ 可得
\[\sum\limits_{k = 0}^n {P(X = k)}  = \sum\limits_{k = 0}^n {\left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right){p^k}{{\left( {1 - p} \right)}^{n - k}}}  = {\left( {p + \left( {1 - p} \right)} \right)^n} = 1\]

以下我們看個例子：
Example:
考慮投擲一不公平的銅板 6 次，假設該銅板出現正面機率為 $p=2/3$ 且假設投擲銅板的試驗結果彼此互相獨立，
(a) 試求出現正面個數為 $1$ 次的機率質量函數。
(b) 試求出現正面個數為 $2$ 次的機率質量函數。
(c) 試求出現正面個數為 $3$ 次的機率質量函數。


Solution 
投擲銅板 $6$ 次可視為 $6$ 次隨機試驗，且每次結果只有出現正面 (機率為 $p=2/3$)或者反面 (機率為 $1-p = 1/3$)，現在我們要求在6次試驗中，銅板出現正面個數為 $1$ 次的機率質量函數。故我們可透過數學對上述試驗來進行建構模型，亦即定義隨機變數 $X$ 為 銅板出現正面次數 為 $k$，則由前述討論可知 $X$ 服從 Binomial 分佈，亦即機率質量函數為
\[
P(X=k): = \left( \begin{array}{l}
n\\
k\end{array} \right){p^k}{\left( {1 - p} \right)^{n - k}}
\]其中 $n=6$ 且 $k$ 表示六次試驗中銅板出現正面的次數，另外 $p=2/3$。

故現在對於 $(a)$ 而言，我們可以直接寫下其對應的機率質量函數為
\[\begin{array}{*{20}{l}}
{P(X = k) = \left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right){p^k}{{\left( {1 - p} \right)}^{n - k}}}\\
{ \Rightarrow P(X = 1) = \left( {\begin{array}{*{20}{l}}
6\\
1
\end{array}} \right){{\left( {\frac{2}{3}} \right)}^1}{{\left( {1 - \frac{2}{3}} \right)}^{6 - 1}} = \frac{{6!}}{{1!\left( {6 - 1} \right)!}}\left( {\frac{2}{3}} \right){{\left( {\frac{1}{3}} \right)}^5}}\\
{ \Rightarrow P(X = 1) = \frac{{12}}{{{3^6}}} \cong 0.0165}
\end{array}\]
同理對於問題 $(b)$，其對應的機率質量函數為
\[\begin{array}{*{20}{l}}
{P(X = k) = \left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right){p^k}{{\left( {1 - p} \right)}^{n - k}}}\\
{ \Rightarrow P(X = 2) = \left( {\begin{array}{*{20}{l}}
6\\
2
\end{array}} \right){{\left( {\frac{2}{3}} \right)}^2}{{\left( {1 - \frac{2}{3}} \right)}^{6 - 2}} = \frac{{6!}}{{2!\left( {6 - 2} \right)!}}{{\left( {\frac{2}{3}} \right)}^2}{{\left( {\frac{1}{3}} \right)}^4}}\\
{ \Rightarrow P(X = 2) = \left( {\frac{{60}}{{{3^6}}}} \right) \cong 0.08}
\end{array}\]
對於問題 $(c)$，對應的機率質量函數為
\[\begin{array}{*{20}{l}}
{P(X = k) = \left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right){p^k}{{\left( {1 - p} \right)}^{n - k}}}\\
{ \Rightarrow P(X = 3) = \left( {\begin{array}{*{20}{l}}
6\\
3
\end{array}} \right){{\left( {\frac{2}{3}} \right)}^3}{{\left( {1 - \frac{2}{3}} \right)}^{6 - 3}} = \frac{{6!}}{{3!\left( {6 - 3} \right)!}}{{\left( {\frac{2}{3}} \right)}^3}{{\left( {\frac{1}{3}} \right)}^3}}\\
{ \Rightarrow P(X = 3) = \left( {\frac{{160}}{{{3^6}}}} \right) \cong 0.2195}
\end{array}\]

Exercise: 重複上述例題，試求
(a) 試求出現反面個數為 $1$ 次的機率質量函數。
(b) 試求出現反面個數為 $2$ 次的機率質量函數。
(c) 試求出現反面個數為 $3$ 次的機率質量函數。



現在我們進一步問一個問題，如果我們執行 無限次 ($n \to \infty$)的 Bernoulli 實驗，會發生什麼事情？ 已下定理給出答案

Theorem: 令 $\lambda = n p$ 為定數，則當 $n \to \infty$ ， Binomial(n,p) 的 PDF函數滿足
\[\left( \begin{gathered}
  n \hfill \\
  k \hfill \\
\end{gathered}  \right){p^k}{\left( {1 - p} \right)^{n - k}} \to \frac{{{\lambda ^k}{e^{ - \lambda }}}}{{k!}}\]
Proof: 觀察
\[\small \begin{align*}
  \left( \begin{gathered}
  n \hfill \\
  k \hfill \\
\end{gathered}  \right){p^k}{\left( {1 - p} \right)^{n - k}}
&= \frac{{n!}}{{k!\left( {n - k} \right)!}}{\left( {\frac{\lambda }{n}} \right)^k}{\left( {1 - \frac{\lambda }{n}} \right)^{n - k}} \hfill \\
 &  = \frac{{{\lambda ^k}}}{{k!}}\left( {\frac{{n!}}{{\left( {n - k} \right)!}}{{\left( {\frac{1}{n}} \right)}^k}{{\left( {1 - \frac{\lambda }{n}} \right)}^{n - k}}} \right) \hfill \\
  & = \frac{{{\lambda ^k}}}{{k!}}\left( {\frac{{n\left( {n - 1} \right) \cdots \left( {n - \left( {k + 1} \right)} \right)\left( {n - k} \right)!}}{{\left( {n - k} \right)!}}{{\left( {\frac{1}{n}} \right)}^k}{{\left( {1 - \frac{\lambda }{n}} \right)}^{n - k}}} \right) \hfill \\
  & = \frac{{{\lambda ^k}}}{{k!}}\left( {\frac{{\overbrace {n\left( {n - 1} \right) \cdots \left( {n - \left( {k + 1} \right)} \right)}^{{\text{k times}}}}}{{{n^k}}}{{\left( {1 - \frac{\lambda }{n}} \right)}^n}{{\left( {1 - \frac{\lambda }{n}} \right)}^{ - k}}} \right) \hfill \\
  & = \frac{{{\lambda ^k}}}{{k!}}\left( {\left( {\frac{n}{n}\frac{{\left( {n - 1} \right)}}{n} \cdots \frac{{\left( {n - \left( {k + 1} \right)} \right)}}{n}} \right){{\left( {1 - \frac{\lambda }{n}} \right)}^n}{{\left( {1 - \frac{\lambda }{n}} \right)}^{ - k}}} \right) \hfill \\
  & = \frac{{{\lambda ^k}}}{{k!}}\left( {\left( {1\left( {1 - \frac{1}{n}} \right) \cdots \left( {1 - \frac{{k + 1}}{n}} \right)} \right){{\left( {1 - \frac{\lambda }{n}} \right)}^n}{{\left( {1 - \frac{\lambda }{n}} \right)}^{ - k}}} \right) \hfill \\
   & \to \frac{{{\lambda ^k}}}{{k!}}\left( {\left( {1 \cdot 1 \cdots 1} \right){e^{ - \lambda }} \cdot 1} \right) =   \frac{{{\lambda ^k}}}{{k!}}{e^{ - \lambda }} \square
\end{align*} \]

Comments
1. 上述證明中使用了以下結果：
\[\mathop {\lim }\limits_{n \to \infty } {\left( {1 - \frac{\lambda }{n}} \right)^n} = {e^{ - \lambda }}\]
2. 上述的極限分配 $\frac{{{\lambda ^k}}}{{k!}}{e^{ - \lambda }}$ 又稱作 Poisson 分配，亦即若隨機變數 $X$ 服從 Poisson 分配，則其 機率分佈函數 為
\[{f_X}\left( k \right): = P\left( {X = k} \right) = \left\{ \begin{gathered}
  \frac{{{\lambda ^k}}}{{k!}}{e^{ - \lambda }}\begin{array}{*{20}{c}}
  {}&{k = 0,1,2....}
\end{array} \hfill \\
  0,\begin{array}{*{20}{c}}
  {}&{}
\end{array}o.w. \hfill \\
\end{gathered}  \right.\]