1/23/2016

[MATLAB] 如何對 ezplot 擷取圖形資料

MATLAB 中所提供的 symbolic toolbox 是非常強大的符號運算工具,其中的 ezplot 幫助我們能對未定符號進行快速畫圖,現在假定我們非常滿意圖形的結果,並且想試圖擷取 ezplot中的 x軸與 y軸的 圖形資料該怎麼辦?

以下我們用一個例子說明如何擷取圖形資料:

syms x %使用 symbolic toolbox 定義變數 $x$ 

f = ezplot( x^2, [-1,1] ); %使用 ezplot 繪製 $x^2$ 且限定 區間 $[-1,1]$

f_xaxis = get(f, 'xdata' ); %從 ezplot 提取 圖形 $x$ 軸資料
f_yaxis = get(f,  'ydata');  %從 ezplot 提取 圖形 $y$ 軸資料

那麼上述中的 f_xaxis 即為我們原函數在ezplot 的x軸資料, f_yaxis 為我們原函數在ezplot 的y軸資料。一旦擷取完畢,要做剩餘的運算會變得相當容易,比如說要找ezplot 圖中的最大值,我們可以直接針對剛剛截取到的 y軸資料使用

max(f_yaxis)

NOTE:
由於我們是從 ezplot 的 x軸與 y軸資料來擷取最大值,故此法不保證取得的結果為 "真正" 的極值。僅是一種簡便的方法。如果讀者目的在於要找極值,則建議使用 fmincon 或者 fminunc 等函數會更為精準。

1/20/2016

[線性代數] 線性系統已知兩解,試求其餘可能解

我們知道線性系統 $A {\bf x} = {\bf b}$ 的解僅有三種可能

  1. 無解
  2. 有解,且有無窮多解
  3. 有解,且僅有唯一解


也就是說 $A {\bf x} = {\bf b}$ 不可能僅有兩解,故現在我們考慮以下問題:

令 ${\bf x}_1$ 與 ${\bf x}_2$ 恰好為線性系統 $A {\bf x} = {\bf b}$ 之兩解,則由前所述可知線性系統不可能只有這兩個解,故此系統必定是有無窮多解,現在我們想問是否能找出其餘的解:


由於 ${\bf x}_1$ 與 ${\bf x}_2$ 恰好為線性系統 $A {\bf x} = {\bf b}$ 之兩解,故我們有 $A {\bf x}_1 = {\bf b}$ 與 $A {\bf x}_2 = {\bf b}$。我們考慮新的可能解為前兩者之線性組合
\[
{\bf y} := c {\bf x}_1 + d {\bf x}_2
\]其中 $c,d$ 為待定係數。現在我們企圖檢驗什麼情況之下,可以使 $\bf y$ 成為我們的線性系統的解。亦即我們希望找出 $c,d$ 使得 $A {\bf y} = {\bf b}$

故我們觀察左式可知
\[\begin{array}{l}
A{\bf{y}} = A\left( {c{{\bf{x}}_1} + d{{\bf{x}}_2}} \right)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = A\left( {c{{\bf{x}}_1}} \right) + A\left( {d{{\bf{x}}_2}} \right)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = c\underbrace {A{{\bf{x}}_1}}_{ = {\bf{b}}} + d\underbrace {A{{\bf{x}}_2}}_{ = {\bf{b}}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = c{\bf{b}} + d{\bf{b}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left( {c + d} \right){\bf{b}}
\end{array}\]上式表明當 $c+d = 1$ 的時候,${\bf y}$ 為我們線性系統的解。亦即若選 $d=1+c$ 且 $c \in \mathbb{R}$ 則
\[
{\bf y} = c {\bf x}_1 +  (1-c) {\bf x}_2
\]為線性系統的解。

1/15/2016

[機率論] Bernoulli 與 Binomial 隨機變數

假設進行一次隨機試驗,若其結果可以僅分為 "成功" 或者 "失敗"兩類,現在我們令隨機變數 $X=1$ 時表示成功,$X=0$ 表示失敗,則 $X$ 對應的機率質量函數 (Probability mass function, pmf) 可以表示為
\[
P(X=1) = p;\;\;\; P(X=0)=1-p
\]其中 $p$ 表為實驗成功的機率且滿足 $0 \le p \le 1$。

===============
Definition: Bernoulli Random Variable
我們說隨機變數 $X$ 為 白努力 (Bernoulli) 隨機變數 若下列條件成立:
存在 $p\in(0,1)$ 使得 $X$ 的機率質量函數滿足
\[
P(X=1) = p;\;\;\; P(X=0)=1-p
\]===============



透過上述的 Bernoulli 隨機變數,我們考慮其進一步推廣:
假設進行 $n$ 次獨立隨機試驗,且每次試驗仍僅有 "成功" 或者 "失敗"兩類,且成功的機率均為 $p$,失敗的機率均為 $1-p$。現在我們定義隨機變數 $X$ 為 $n$ 次實驗中成功的次數,則稱 $X$ 為參數 (n,p) 的二項 (Binomial)隨機變數且其對應的機率質量函數滿足 對任意 $i=0,1,2,...,n$,
\[
p(X=k): = \left( \begin{array}{l}
n\\
k\end{array} \right){p^k}{\left( {1 - p} \right)^{n - k}} \;\;\;\; (*)
\]

Comments:
1. 注意到 Bernoulli 隨機變數為參數 $(1,p)$ 的 Binomial 隨機變數。
2. Binomial 隨機變數 $X$ 亦稱做 $X$ 服從 Binomial 分佈,且分佈由上述 $(*)$ 所描述。


以下我們驗證為何 Binomial 隨機變數的滿足機率質量函數的要求 亦即我們證明
1. 對任意 $i=0,1,2,..,n$, $P(X=k) \ge 0$
2. $\sum_{k=0}^n P(X=k) = 1$

Proof:
條件 1 不難驗證,讀者可直接觀察 $(*)$而得。
條件 2,我們觀察
\[\sum\limits_{k = 0}^n {P(X = k)}  = \sum\limits_{k = 0}^n {\left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right){p^k}{{\left( {1 - p} \right)}^{n - k}}}
\]使用 Binomial Theorem,亦即
\[{(x + y)^n} = \mathop \sum \limits_{k = 0}^n \left( \begin{array}{l}
n\\
k
\end{array} \right){x^k}{y^{n - k}}
\]令 $x=p$ 且 $y=1-p$ 可得
\[\sum\limits_{k = 0}^n {P(X = k)}  = \sum\limits_{k = 0}^n {\left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right){p^k}{{\left( {1 - p} \right)}^{n - k}}}  = {\left( {p + \left( {1 - p} \right)} \right)^n} = 1\]

以下我們看個例子:
Example:
考慮投擲一不公平的銅板 6 次,假設該銅板出現正面機率為 $p=2/3$ 且假設投擲銅板的試驗結果彼此互相獨立,
(a) 試求出現正面個數為 $1$ 次的機率質量函數。
(b) 試求出現正面個數為 $2$ 次的機率質量函數。
(c) 試求出現正面個數為 $3$ 次的機率質量函數。


Solution 
投擲銅板 $6$ 次可視為 $6$ 次隨機試驗,且每次結果只有出現正面 (機率為 $p=2/3$)或者反面 (機率為 $1-p = 1/3$),現在我們要求在6次試驗中,銅板出現正面個數為 $1$ 次的機率質量函數。故我們可透過數學對上述試驗來進行建構模型,亦即定義隨機變數 $X$ 為 銅板出現正面次數 為 $k$,則由前述討論可知 $X$ 服從 Binomial 分佈,亦即機率質量函數為
\[
P(X=k): = \left( \begin{array}{l}
n\\
k\end{array} \right){p^k}{\left( {1 - p} \right)^{n - k}}
\]其中 $n=6$ 且 $k$ 表示六次試驗中銅板出現正面的次數,另外 $p=2/3$。

故現在對於 $(a)$ 而言,我們可以直接寫下其對應的機率質量函數為
\[\begin{array}{*{20}{l}}
{P(X = k) = \left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right){p^k}{{\left( {1 - p} \right)}^{n - k}}}\\
{ \Rightarrow P(X = 1) = \left( {\begin{array}{*{20}{l}}
6\\
1
\end{array}} \right){{\left( {\frac{2}{3}} \right)}^1}{{\left( {1 - \frac{2}{3}} \right)}^{6 - 1}} = \frac{{6!}}{{1!\left( {6 - 1} \right)!}}\left( {\frac{2}{3}} \right){{\left( {\frac{1}{3}} \right)}^5}}\\
{ \Rightarrow P(X = 1) = \frac{{12}}{{{3^6}}} \cong 0.0165}
\end{array}\]
同理對於問題 $(b)$,其對應的機率質量函數為
\[\begin{array}{*{20}{l}}
{P(X = k) = \left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right){p^k}{{\left( {1 - p} \right)}^{n - k}}}\\
{ \Rightarrow P(X = 2) = \left( {\begin{array}{*{20}{l}}
6\\
2
\end{array}} \right){{\left( {\frac{2}{3}} \right)}^2}{{\left( {1 - \frac{2}{3}} \right)}^{6 - 2}} = \frac{{6!}}{{2!\left( {6 - 2} \right)!}}{{\left( {\frac{2}{3}} \right)}^2}{{\left( {\frac{1}{3}} \right)}^4}}\\
{ \Rightarrow P(X = 2) = \left( {\frac{{60}}{{{3^6}}}} \right) \cong 0.08}
\end{array}\]
對於問題 $(c)$,對應的機率質量函數為
\[\begin{array}{*{20}{l}}
{P(X = k) = \left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right){p^k}{{\left( {1 - p} \right)}^{n - k}}}\\
{ \Rightarrow P(X = 3) = \left( {\begin{array}{*{20}{l}}
6\\
3
\end{array}} \right){{\left( {\frac{2}{3}} \right)}^3}{{\left( {1 - \frac{2}{3}} \right)}^{6 - 3}} = \frac{{6!}}{{3!\left( {6 - 3} \right)!}}{{\left( {\frac{2}{3}} \right)}^3}{{\left( {\frac{1}{3}} \right)}^3}}\\
{ \Rightarrow P(X = 3) = \left( {\frac{{160}}{{{3^6}}}} \right) \cong 0.2195}
\end{array}\]

Exercise: 重複上述例題,試求
(a) 試求出現反面個數為 $1$ 次的機率質量函數。
(b) 試求出現反面個數為 $2$ 次的機率質量函數。
(c) 試求出現反面個數為 $3$ 次的機率質量函數。



現在我們進一步問一個問題,如果我們執行 無限次 ($n \to \infty$)的 Bernoulli 實驗,會發生什麼事情? 已下定理給出答案

Theorem: 令 $\lambda = n p$ 為定數,則當 $n \to \infty$ , Binomial(n,p) 的 PDF函數滿足
\[\left( \begin{gathered}
  n \hfill \\
  k \hfill \\
\end{gathered}  \right){p^k}{\left( {1 - p} \right)^{n - k}} \to \frac{{{\lambda ^k}{e^{ - \lambda }}}}{{k!}}\]
Proof: 觀察
\[\small \begin{align*}
  \left( \begin{gathered}
  n \hfill \\
  k \hfill \\
\end{gathered}  \right){p^k}{\left( {1 - p} \right)^{n - k}}
&= \frac{{n!}}{{k!\left( {n - k} \right)!}}{\left( {\frac{\lambda }{n}} \right)^k}{\left( {1 - \frac{\lambda }{n}} \right)^{n - k}} \hfill \\
 &  = \frac{{{\lambda ^k}}}{{k!}}\left( {\frac{{n!}}{{\left( {n - k} \right)!}}{{\left( {\frac{1}{n}} \right)}^k}{{\left( {1 - \frac{\lambda }{n}} \right)}^{n - k}}} \right) \hfill \\
  & = \frac{{{\lambda ^k}}}{{k!}}\left( {\frac{{n\left( {n - 1} \right) \cdots \left( {n - \left( {k + 1} \right)} \right)\left( {n - k} \right)!}}{{\left( {n - k} \right)!}}{{\left( {\frac{1}{n}} \right)}^k}{{\left( {1 - \frac{\lambda }{n}} \right)}^{n - k}}} \right) \hfill \\
  & = \frac{{{\lambda ^k}}}{{k!}}\left( {\frac{{\overbrace {n\left( {n - 1} \right) \cdots \left( {n - \left( {k + 1} \right)} \right)}^{{\text{k times}}}}}{{{n^k}}}{{\left( {1 - \frac{\lambda }{n}} \right)}^n}{{\left( {1 - \frac{\lambda }{n}} \right)}^{ - k}}} \right) \hfill \\
  & = \frac{{{\lambda ^k}}}{{k!}}\left( {\left( {\frac{n}{n}\frac{{\left( {n - 1} \right)}}{n} \cdots \frac{{\left( {n - \left( {k + 1} \right)} \right)}}{n}} \right){{\left( {1 - \frac{\lambda }{n}} \right)}^n}{{\left( {1 - \frac{\lambda }{n}} \right)}^{ - k}}} \right) \hfill \\
  & = \frac{{{\lambda ^k}}}{{k!}}\left( {\left( {1\left( {1 - \frac{1}{n}} \right) \cdots \left( {1 - \frac{{k + 1}}{n}} \right)} \right){{\left( {1 - \frac{\lambda }{n}} \right)}^n}{{\left( {1 - \frac{\lambda }{n}} \right)}^{ - k}}} \right) \hfill \\
   & \to \frac{{{\lambda ^k}}}{{k!}}\left( {\left( {1 \cdot 1 \cdots 1} \right){e^{ - \lambda }} \cdot 1} \right) =   \frac{{{\lambda ^k}}}{{k!}}{e^{ - \lambda }} \square
\end{align*} \]

Comments
1. 上述證明中使用了以下結果:
\[\mathop {\lim }\limits_{n \to \infty } {\left( {1 - \frac{\lambda }{n}} \right)^n} = {e^{ - \lambda }}\]
2. 上述的極限分配 $\frac{{{\lambda ^k}}}{{k!}}{e^{ - \lambda }}$ 又稱作 Poisson 分配,亦即若隨機變數 $X$ 服從 Poisson 分配,則其 機率分佈函數 為
\[{f_X}\left( k \right): = P\left( {X = k} \right) = \left\{ \begin{gathered}
  \frac{{{\lambda ^k}}}{{k!}}{e^{ - \lambda }}\begin{array}{*{20}{c}}
  {}&{k = 0,1,2....}
\end{array} \hfill \\
  0,\begin{array}{*{20}{c}}
  {}&{}
\end{array}o.w. \hfill \\
\end{gathered}  \right.\]

1/14/2016

[基礎數學] Binomial Theorem 與其應用例

首先給出 Binomial Theorem 的陳述

Theorem: 
令 $a,b \in \mathbb{R}$ 且 $n \in \mathbb{N}$ 則
\[{(a + b)^n} = \mathop \sum \limits_{k = 0}^n \left( \begin{array}{l}
n\\
k
\end{array} \right){a^k}{b^{n - k}}\]


在證明 Binomial Theorem之前,我們會需要以下結果來幫助我們,

FACT: 給定 $n,k \in \mathbb{N}$ 且 $n \ge k$,則
\[\left( \begin{array}{l}
n + 1\\
k
\end{array} \right) = \left( \begin{array}{l}
n\\
k
\end{array} \right) + \left( \begin{array}{l}
n\\
k - 1

\end{array} \right)\]
Proof: 觀察左式,由定義可知
\[\left( \begin{array}{l}
n + 1\\
k
\end{array} \right): = \frac{{\left( {n + 1} \right)!}}{{k!\left( {n + 1 - k} \right)!}}\]
故如果我們可以證明右式等同於左式,則證明完畢。現在觀察右式
\[\begin{array}{l}
\left( \begin{array}{l}
n\\
k
\end{array} \right) + \left( \begin{array}{l}
n\\
k - 1
\end{array} \right) = \frac{{n!}}{{k!\left( {n - k} \right)!}} + \frac{{n!}}{{\left( {k - 1} \right)!\left( {n - \left( {k - 1} \right)} \right)!}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \frac{{n!\left( {n - k + 1} \right)}}{{k!\left( {n - k + 1} \right)\left( {n - k} \right)!}} + \frac{{n!k}}{{k\left( {k - 1} \right)!\left( {n + 1 - k} \right)!}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \frac{{n!\left( {n - k + 1} \right) + n!k}}{{k!\left( {n + 1 - k} \right)!}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \frac{{n!\left( {n + 1} \right)}}{{k!\left( {n + 1 - k} \right)!}} = \frac{{\left( {n + 1} \right)!}}{{k!\left( {n + 1 - k} \right)!}}
\end{array}\]注意到最後的等式與原本左式相等,故證明完畢。$\square$

現在我們可以開始證明 Binomial Theorem

Proof: (Binomial Theorem)
給定 $a,b \in \mathbb{R}$ 且 $n \in \mathbb{N}$ 利用數學歸納法,先觀察 $n=1$ 則
\[\begin{array}{l}
{(a + b)^1} = \sum\limits_{k = 0}^1 {\left( {\begin{array}{*{20}{l}}
1\\
k
\end{array}} \right)} {a^k}{b^{1 - k}}\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left( {\begin{array}{*{20}{l}}
1\\
0
\end{array}} \right){a^0}{b^{1 - 0}} + \left( {\begin{array}{*{20}{l}}
1\\
1
\end{array}} \right){a^1}{b^{1 - 1}}\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {b^1} + {a^1}
\end{array}\]故成立。現在利用歸納法假設對 Binomial Theorem 對 $n$ 成立,我們要證明 $n+1$ 也成立:亦即假設 ${(a + b)^n} = \mathop \sum \limits_{k = 0}^n \left( \begin{array}{l}
n\\
k
\end{array} \right){a^k}{b^{n - k}}$成立,我們要證明
\[{(a + b)^{n+1}} = \mathop \sum \limits_{k = 0}^{n+1} \left( \begin{array}{l}
n+1\\
k
\end{array} \right){a^k}{b^{n+1 - k}} \;\;\;\;\; (*)
\]現在觀察
\[\begin{array}{l}
{\left( {a + b} \right)^{n + 1}} = {\left( {a + b} \right)^n}\left( {a + b} \right)\\
 = \sum\limits_{k = 0}^n {\left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right)} {a^k}{b^{n - k}}\left( {a + b} \right)\\
 = \sum\limits_{k = 0}^n {\left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right)} {a^{k + 1}}{b^{n - k}} + \sum\limits_{k = 0}^n {\left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right)} {a^k}{b^{n - k + 1}}
\end{array}\]為了使上述兩項和可以合成,我們使用變數變換,對第一項和令 $j=k+1$ 且對第二項和令 $j=k$ 則我們可得
\[\begin{array}{*{20}{l}}
{{{\left( {a + b} \right)}^{n + 1}} = \sum\limits_{k = 0}^n {\left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right)} {a^{k + 1}}{b^{n - k}} + \sum\limits_{k = 0}^n {\left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right)} {a^k}{b^{n - k + 1}}}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \underbrace {\sum\limits_{j = 1}^{n + 1} {\left( {\begin{array}{*{20}{l}}
n\\
{j - 1}
\end{array}} \right)} {a^j}{b^{n - \left( {j - 1} \right)}}}_{term1} + \underbrace {\sum\limits_{j = 0}^n {\left( {\begin{array}{*{20}{l}}
n\\
j
\end{array}} \right)} {a^j}{b^{n - j + 1}}}_{term2}}\\
\begin{array}{l}
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \underbrace {\left( {\begin{array}{*{20}{l}}
n\\
n
\end{array}} \right){a^{\left( {n + 1} \right)}}{b^{n - \left( {n + 1} \right) + 1}} + \sum\limits_{j = 1}^n {\left( {\begin{array}{*{20}{l}}
n\\
{j - 1}
\end{array}} \right)} {a^j}{b^{n - j + 1}}}_{ = term1}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} + \underbrace {\sum\limits_{j = 1}^n {\left( {\begin{array}{*{20}{l}}
n\\
j
\end{array}} \right)} {a^j}{b^{n - j + 1}} + \left( {\begin{array}{*{20}{l}}
n\\
0
\end{array}} \right){a^0}{b^{n - 0 + 1}}}_{ = term2}
\end{array}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = {a^{\left( {n + 1} \right)}} + \sum\limits_{j = 1}^n {\left[ {\left( {\begin{array}{*{20}{l}}
n\\
{j - 1}
\end{array}} \right) + \left( {\begin{array}{*{20}{l}}
n\\
j
\end{array}} \right)} \right]} {a^j}{b^{n - j + 1}} + {b^{n + 1}}}
\end{array}\]現在對中間項的和,使用前述的 FACT 可得
\[\begin{array}{l}
{\left( {a + b} \right)^{n + 1}} = {a^{\left( {n + 1} \right)}}{b^{n - \left( {n + 1} \right) + 1}} + \sum\limits_{j = 1}^n {\left[ {\left( {\begin{array}{*{20}{l}}
n\\
{j - 1}
\end{array}} \right) + \left( {\begin{array}{*{20}{l}}
n\\
j
\end{array}} \right)} \right]} {a^j}{b^{n - j + 1}} + {a^0}{b^{n - 0 + 1}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = {a^{\left( {n + 1} \right)}}{b^0} + \sum\limits_{j = 1}^n {\left( {\begin{array}{*{20}{l}}
{n + 1}\\
j
\end{array}} \right)} {a^j}{b^{n + 1 - j}} + {a^0}{b^{n + 1}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \left( {\begin{array}{*{20}{l}}
{n + 1}\\
{n + 1}
\end{array}} \right){a^{\left( {n + 1} \right)}}{b^0} + \sum\limits_{j = 1}^n {\left( {\begin{array}{*{20}{l}}
{n + 1}\\
j
\end{array}} \right)} {a^j}{b^{n + 1 - j}} + \left( {\begin{array}{*{20}{l}}
{n + 1}\\
0
\end{array}} \right){a^0}{b^{n + 1}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sum\limits_{j = 0}^{n + 1} {\left( {\begin{array}{*{20}{l}}
{n + 1}\\
j
\end{array}} \right)} {a^j}{b^{n + 1 - j}}
\end{array}\]上式滿足 $(*)$ 故得證。 $\square$


以下我們看幾個例子:

Example 1: 
試求\[\mathop \sum \limits_{i = 0}^n \left( \begin{array}{l}
n\\
i
\end{array} \right) = ?\]
Proof: 利用 Binomial Theorem,令 $a=b=1$ 可立刻得到
\[\begin{array}{l}
{(a + b)^n} = \sum\limits_{k = 0}^n {\left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right)} {a^k}{b^{n - k}}\\
 \Rightarrow \sum\limits_{k = 0}^n {\left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right)} {1^k}{1^{n - k}} = {(1 + 1)^n} = {2^n}
\end{array}\]

Example 2:
試求
\[\mathop \sum \limits_{i = 0}^n {\left( { - 1} \right)^i}\left( \begin{array}{l}
n\\
i
\end{array} \right) = ?\]
Proof: 利用 Binomial Theorem,令 $a=-1$ 與 $b=1$ 可立刻得到
\[\begin{array}{l}
{(a + b)^n} = \sum\limits_{k = 0}^n {\left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right)} {a^k}{b^{n - k}}\\
 \Rightarrow \sum\limits_{k = 0}^n {\left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right)} {\left( { - 1} \right)^k}{1^{n - k}} = {( - 1 + 1)^n} = {0^n} = 0
\end{array}\]



1/11/2016

[機率論] 期望值 $E[X]$ 與 $E[|X|]$ 的定義良好 與 有界問題

給定 $X$ 為任意隨機變數,期望值 $E[X]$ 的定義為
\[
E[X] := E[X^+] - E[X^-]
\]其中 $X^+ := \max\{X,0\} \ge 0$ 且 $ X^- := -\min\{X,0\} \ge 0$。

當我們說 $E[X]$ 為 定義良好 (well-defined) 若 $E[X^+],E[X^-] <\infty$ 或者只有其中一項為無窮,亦即要不 $E[X^+]=\infty$ 就是 $E[X^-] =\infty$。但不可以兩者都為無窮


Comments:
1. 讀者可驗證 $X = X^+ - X^-$ 且 $|X| = X^+ + X^-$ 恆成立。
2. 上述 $E[X] = E[X^+] - E[X^-]$ 的定義在於避免 $\infty - \infty$ 發生
3. 上述 $E[X]= E[X^+] - E[X^-]$ 的定義允許 $E[X]=\infty$ 或者 $E[X]=-\infty$
4. 給定 $X$ 為在機率空間 $(\Omega, \mathcal{F},P)$上的隨機變數, 則上述 $E[X]$ 定義一般亦寫作 $$E[X] = \int_\Omega X(\omega) P(d\omega)$$


現在我們考慮以下幾組問題
Question 1: 
$E[X]$ 為 well-defined 則 $E[X] < \infty$
Answer: False
Proof: 因為 $E[X]$ 可以取值到無窮大,此結果違反 $E[X]<\infty$ $\square$


Question 2:
$-\infty < E[X] < \infty$ 則 $E[X]$ 為 well-defined
Answer: True
Proof: 因為若 $ -\infty < E[X]< \infty$ 則表示
\[
0 \le E[X^+] <\infty
\] 與
\[
0 \le E[X^-] < \infty
\] 故 $E[X]=E[X^+] - E[X^-]$ well-defined $\square$


Question 3: 
若 $0 \le E[|X|] <\infty$ 則 $E[X] < \infty$
Answer: True
Proof: 注意到 $E[|X|]= E[X^+] + E[X^-]$ 且又因為 $0 \le E[|X|] <\infty$ 故我們有
\[
0 \le E[X^+] + E[X^-] < \infty
\]亦即 $E[X^+]$ 與 $E[X^-]$ 皆有界,故 $E[X] < \infty$ 且由 Question 1,我們可知 $E[X]$ well-defined $\square$


Question 4: 
若 $E[X] <\infty$ 則 $E[|X|] < \infty$
Answer: False
Proof: 考慮 $X = -2^k$ 且 對應機率為 $P(X = -2^k) = \frac{1}{2^{k+1}}$ 對 $k=0,1,2,...$則 $E[X] = -\infty < \infty$ 滿足前件假設,但
\[
E[|X|]=\infty \;\;\;\;\; \square
\]

Question 5: 
若 $-\infty<E[X]<\infty$ 則 $E[|X|] <\infty$
Answer: True
Proof: 由於 \[
-\infty< E[X] := E[X^+] - E[X^-] <\infty
\]此暗示 $0 \le E[X^+] <\infty $ 與 $0\le E[X^-] < \infty$ ,故 $E[|X|]=E[X^+] + E[X^-] $ 必為有界且 $E[|X|]<\infty$ $\square$

[最佳化] C^2 函數一階逼近的餘項積分表示

令 $f: \mathbb{R}^m \to \mathbb{R}$ 為 $C^2$-函數。對 $f$ 在 $y$ 附近使用一階泰勒展開: \[ T_y(x) := f(y) + \nabla f(y)^\top (x - y) \] 則其餘項 $R(x,y)$ 訂為 $$R(...