[泛函分析] Bessel's Inequality

下列 Bessel's inequality 在 泛函分析 與 Fourier 分析中扮演重要角色，此不等式表示給定任意在 Hilbert Space 中的點 $x$ (e.g., $L^2$ 空間上 封閉子集的函數)， 且給定一組 Hilbert Space 上的正交基底函數 (e.g., complex exponential function, $\{e_i\}$) 則 任意點 $x$ 透過 $\{e_i\}$ 作為基底展開的係數平方和 有上界 且此上界剛好為 $||x||^2$。此不等式的證明要求對內積的性質有進一步掌握，個人認為是很好的練習。

======================
Theorem: Bessel's Inequality
令 $H$ 為 Hilbert Space 且 $x \in H$。若 $\{e_i\} \subset H $ 為一組 orthonormal sequence 則
\[
\sum_{i=1}^\infty | \langle x,e_i \rangle |^2 \leq ||x||^2
\]其中 $\langle \cdot, \cdot \rangle$ 為 $H$ 上的內積運算。
======================

Proof:
令 $\{e_i\} \subset H $ 為一組 orthonormal sequence 且 $x \in H$，現在觀察 $x$ 與 部分和$\sum_{i=1}^n \langle x, e_i \rangle$ 的差異 (透過內積)：
\begin{align*}
  0 \leqslant {\left\| {x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\|^2} &= \left\langle {x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } {e_i},x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\rangle  \hfill \\
   &= \left\langle {x,x} \right\rangle  - \left\langle {\sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } {e_i},x} \right\rangle  - \left\langle {x,\sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\rangle  \\
& \hspace{15mm}+ \left\langle {\sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } {e_i},\sum\limits_{j = 1}^n {\langle x,{e_j}\rangle {e_j}} } \right\rangle  \hfill \\
  & = {\left\| x \right\|^2} - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } \left\langle {{e_i},x} \right\rangle  - \sum\limits_{i = 1}^n {\overline {\langle x,{e_i}\rangle } } \left\langle {x,{e_i}} \right\rangle  \\
& \hspace{15mm}+ \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } \sum\limits_{j = 1}^n {\overline {\langle x,{e_j}\rangle } } \left\langle {{e_i},{e_j}} \right\rangle  \hfill \\
   &= {\left\| x \right\|^2} - \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  - \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  + \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  \hfill \\
\end{align*}  上述第三條等式成立是因為應用了 一些內積的 FACT (請參閱下文)，另外最後一條等式成立是因為應用了 $\{e_i\}$ 為 orthonormal 的性質 (亦即 $(e_i,e_j) = 1$ 當 $i=j$，且當 $i \neq j$時，$(e_i,e_j)=0$) 故上式最後一項滿足
\[\left( {\sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } \sum\limits_{j = 1}^n {\overline {\langle x,{e_j}\rangle } } } \right)\left\langle {{e_i},{e_j}} \right\rangle  = \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}} \]至此，我們得到
\[0 \leqslant {\left\| {x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\|^2} = {\left\| x \right\|^2} - \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}} \]亦即
\[\sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  \leqslant {\left\| x \right\|^2}\]注意到此式對任意 $n \in \mathbb{N}$ 皆成立，故取極限亦成立，
\[\sum\limits_{i = 1}^\infty  {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  \leqslant {\left\| x \right\|^2}\]至此得證。$\square$



Comments:
上述結果保證
\[
\sum_{i=1}^\infty | \langle x,e_i \rangle |^2  <\infty
\]



=======================
FACT: 內積運算的一些常用性質
令 $H$ 為 Hilbert Space，取 $(e_1,e_2,...,e_n)$ 為一組向量 滿足 $e_i \in H$ 且 $x \in H$， $a_i,b_i \in \mathbb{C}$ 則我們有以下一些內積性質：
\[\left\{ \begin{gathered}
  \left\langle {\sum\limits_{i = 1}^n {{b_i}} {e_i},x} \right\rangle  = \sum\limits_{i = 1}^n {{b_i}} \left\langle {x,{e_i}} \right\rangle  \hfill \\
  \left\langle {x,\sum\limits_{i = 1}^n {{b_i}} {e_i}} \right\rangle  = \sum\limits_{i = 1}^n {\overline {{b_i}} } \left\langle {x,{e_i}} \right\rangle  \hfill \\
  \left\langle {\sum\limits_{i = 1}^n {{a_i}} {e_i},\sum\limits_{j = 1}^n {{b_j}} {e_j}} \right\rangle  = \sum\limits_{i = 1}^n {{a_i}} \sum\limits_{j = 1}^n {\overline {{b_j}} } \left\langle {{e_i},{e_j}} \right\rangle  \hfill \\
\end{gathered}  \right.\]其中 $ {\bar a}$ 表示 對 $a$ 取 complex conjugate。
========================

[數理統計] 一致性估計 與 弱大數法則

以下討論 點估計理論 中一些比較重要的性質與應用。

令 $\Theta$ 為某參數空間。

===================
Definition: (Point) Estimator and Estimate
給定 $X_1,...,X_n$ 為 i.i.d. 隨機試驗 來自 pdf $f(x;\theta)$ 其中 $\theta \in \Theta$ 為未知參數，現在定義新的隨機變數 $\widehat \theta$ 為  $X_1,...,X_n$ 的函數，寫為
\[
\widehat \theta := \widehat \theta(X_1,...,X_n)
\]則我們稱此 $\widehat \theta$ 為用以估計參數  $\theta$ 的估計量 (estimator of $\theta$)，且若我們能取得隨機樣本的觀察值，比如 $X_1 = x_1,X_2=x_2,...,X_n = x_n$ 則我們稱
\[
\widehat \theta := \widehat \theta(x_1,...,x_n)
\]為參數 $\theta$ 的估計值(estimate)
===================

Comments:
1. 參數 $\theta$ 為分配中的未知常數，但估計量 $\widehat \theta$ 為隨機變數
2. 在數理統計中的 隨機取樣 與 機率論中 iid 隨機變數 視為等價敘述。
3. $\widehat \theta$為  $X_1,...,X_n$ 的函數，但與 $\theta$ 無關！在數理統計中稱此與待估計參數無關的性質為 統計量 (statistic)。

那麼怎樣的估計量才算是 "好" 的估計量？以下給出一些常見的 "好" 估計量定義。


===================
Definition: What "Good" Properties Should an Estimator Hold? 
令 \[
\widehat \theta := \widehat \theta(X_1,...,X_n)
\] 為某未知參數 $\theta$ 的估計量，則
我們稱 $\widehat \theta $ 為 不偏估計量(unbiased estimator) 若 $E[\widehat \theta] = \theta$
我們稱 $\widehat \theta$ 為 漸進不偏估計量 (asymptotic unbiased estimator) 若 $E[\widehat \theta] \to \theta$ 當 $n \to \infty$
我們稱 $\widehat \theta$ 為 一致估計量 (consistent estimator) 若 \[\widehat \theta \mathop  \to \limits^P \theta
\]亦即給定任意 $\varepsilon >0$ 我們有
\[\mathop {\lim }\limits_{n \to \infty } P\left( {\left| {\hat \theta  - \theta } \right| \geqslant \varepsilon } \right) = 0\]
===================

Comments:
1. 不偏估計在直覺上表示平均而言，估計量 $\widehat \theta$ 不會 高估 或者 低估 參數 $\theta$。
2. 一致性估計則表示隨機試驗夠多之後，對參數的估計量 $\widehat \theta$ 與 真實參數 $\theta$ 幾乎沒有差別。


以下我們簡介一個非常重要的點估計結果定理：若估計量為 不偏  或者漸進不偏，且 估計量 $$的變異收斂到 $0$ 則保證此估計量為一致估計量。

===================
Theorem: Consistency Estimator (Sufficient Condition for Probability Convergent Estimator)
令 $\widehat \theta := \widehat \theta(X_1,...,X_n)$ 為 $\theta \in \Theta$ 的 estimator，若 $E[\widehat \theta] = \theta$ 或 $E[\widehat{\theta}] \to \theta$ 且 $Var(\widehat{\theta}) \to 0$ 當 $n \to \infty$ 則
\[\widehat \theta \mathop  \to \limits^P \theta
\]===================

Proof:
要證明 $\widehat \theta \mathop  \to \limits^P \theta $ 由機率收斂定義可知，給定 $\varepsilon >0$ 我們要證明
\[\mathop {\lim }\limits_{n \to \infty } P\left( {\left| {\hat \theta  - \theta } \right| \geqslant \varepsilon } \right) = 0\]故首先觀察
\[
P\left( {\left| {\hat \theta  - \theta } \right| \geqslant \varepsilon } \right) = P\left( {{{\left( {\hat \theta  - \theta } \right)}^2} \geqslant {\varepsilon ^2}} \right) \leqslant \frac{{E\left[ {{{\left( {\hat \theta  - \theta } \right)}^2}} \right]}}{{{\varepsilon ^2}}}\;\;\;\;\;\;\; (*)
\]上述不等式成立是因為利用了 Generalized Chebyshev's inequality。現在我們觀察
 \begin{align*}
  E \left[ {{{\left( {\widehat \theta  - \theta } \right)}^2}} \right]
&= E\left[ {{{\left( {\widehat \theta  - E\left[ {\widehat \theta } \right] + E\left[ {\widehat \theta } \right] - \theta } \right)}^2}} \right] \hfill \\
  & = E\left[ {{{\left( {\widehat \theta  - E\left[ {\widehat \theta } \right]} \right)}^2} + 2\left( {\widehat \theta  - E\left[ {\widehat \theta } \right]} \right)\left( {E\left[ {\widehat \theta } \right] - \theta } \right) + {{\left( {E\left[ {\widehat \theta } \right] - \theta } \right)}^2}} \right] \hfill \\
  & = \underbrace {E\left[ {{{\left( {\widehat \theta  - E\left[ {\widehat \theta } \right]} \right)}^2}} \right]}_{ = Var\left( {\widehat \theta } \right)} + \underbrace {2E\left[ {\left( {\widehat \theta  - E\left[ {\widehat \theta } \right]} \right)\left( {E\left[ {\widehat \theta } \right] - \theta } \right)} \right]}_{ = 2\left( {E\left[ {\widehat \theta } \right] - \theta } \right)E\left[ {\widehat \theta  - E\left[ {\widehat \theta } \right]} \right]} \\
&\;\;\;\;\; + \underbrace {E\left[ {{{\left( {E\left[ {\widehat \theta } \right] - \theta } \right)}^2}} \right]}_{ = {{\left( {E\left[ {\widehat \theta } \right] - \theta } \right)}^2}} \hfill \\
 &  = Var\left( {\widehat \theta } \right) + 2\left( {E\left[ {\widehat \theta } \right] - \theta } \right)E\left[ {\widehat \theta  - E\left[ {\widehat \theta } \right]} \right] + {\left( {E\left[ {\widehat \theta } \right] - \theta } \right)^2} \hfill \\
\end{align*}
上述結果用到了 $E[\widehat{\theta}] = constant$ 故
\[\left\{ \begin{align*}
  &E\left[ {{{\left( {E\left[ {\widehat \theta } \right] - \theta } \right)}^2}} \right] = {\left( {E\left[ {\widehat \theta } \right] - \theta } \right)^2}; \hfill \\
  &2E\left[ {\left( {\widehat \theta  - E\left[ {\widehat \theta } \right]} \right)\left( {E\left[ {\widehat \theta } \right] - \theta } \right)} \right] = 2\left( {E\left[ {\widehat \theta } \right] - \theta } \right)\underbrace {E\left[ {\widehat \theta  - E\left[ {\widehat \theta } \right]} \right]}_{ = 0} = 0 \hfill \\
\end{align*}  \right.\]故
\[E\left[ {{{\left( {\widehat \theta  - \theta } \right)}^2}} \right] = Var\left( {\widehat \theta } \right) + {\left( {E\left[ {\widehat \theta } \right] - \theta } \right)^2}\]現在將此結果代入 $(*)$ ，可得
\begin{align*}
  P\left( {\left| {\widehat \theta  - \theta } \right| \geqslant \varepsilon } \right) &\leqslant \frac{{E\left[ {{{\left( {\widehat \theta  - \theta } \right)}^2}} \right]}}{{{\varepsilon ^2}}} \hfill \\
  & = \frac{{Var\left( {\widehat \theta } \right) + {{\left( {E\left[ {\widehat \theta } \right] - \theta } \right)}^2}}}{{{\varepsilon ^2}}} \to \frac{1}{\varepsilon^2 }\left( {0 + 0} \right) = 0 \hfill \\
\end{align*}
又因為  機率測度恆正，我們有 $0 \leq P\left( {\left| {\widehat \theta  - \theta } \right| \geqslant \varepsilon } \right)  \to 0 $ 由極限的夾擊定理可知
\[\mathop {\lim }\limits_{n \to \infty } P\left( {\left| {\widehat \theta  - \theta } \right| \geqslant \varepsilon } \right) = 0\]故此得證。 $\square$


Comments:
在數理統計中，一致估計 與 機率論中的 機率收斂為等價。


上述定理可用來非常快速的證明弱大數法則 WLLN：亦即用 一組隨機試驗的 樣本平均數 作為 估計量來估計平均可以保證 機率收斂。

=============
Theorem 2: Weak Law of Large Numbers
令 $X_1,X_2,...$ 為 i.i.d. 隨機變數 數列 且具有共同 $E[X_1] = \mu$ 與變異數 $Var(X_1) = \sigma^2 < \infty$ 現在令
\[
\bar X := \frac{1}{n} \sum_{i=1}^n X_i
\]則
\[
\bar X \mathop  \to \limits^P \mu
\]=============

Proof:
此結果可利用前述 Consistency Estimator Theorem 求證，也就是把 $\widehat \theta := \bar X$ 且 $\theta := \mu$。則我們僅需證明 $\bar X$ 為不偏估計 ($E[\bar X] = \mu$) 或者 漸進不偏估計 ($E[\bar X] \to \mu$)，且$\bar X$變異數收斂到 $0$ 即可。故現在觀察
\begin{align*}
  E\left[ {\bar X} \right] &= E\left[ {\frac{1}{n}\sum\limits_{i = 1}^n {{X_i}} } \right] \hfill \\
   &= \frac{1}{n}E\left[ {\sum\limits_{i = 1}^n {{X_i}} } \right] \hfill \\
  & = \frac{1}{n}\sum\limits_{i = 1}^n {E\left[ {{X_i}} \right]}  \hfill \\
  &\mathop  = \limits^{X_i \; i.i.d.} \frac{1}{n}\sum\limits_{i = 1}^n {E\left[ {{X_1}} \right]}  \hfill \\
   &= \frac{1}{n}nE\left[ {{X_1}} \right] = E\left[ {{X_1}} \right] = \mu  \hfill \\
\end{align*} 故我們知道 $\bar X$ 為不偏估計量，現在我們僅需證明 變異數收斂到 $0$ 。觀察
\begin{align*}
  Var\left( {\bar X} \right) &= Var\left( {\frac{1}{n}\sum\limits_{i = 1}^n {{X_i}} } \right) \hfill \\
  &\mathop  = \limits^{X_i \; i.i.d.} \frac{1}{{{n^2}}}\sum\limits_{i = 1}^n {Var\left( {{X_i}} \right)}  \hfill \\
  & = \frac{1}{{{n^2}}}nVar\left[ {{X_1}} \right] \hfill \\
 &  = \frac{1}{{{n^2}}}n{\sigma ^2} = \frac{1}{n}{\sigma ^2} \to 0 \hfill \\
\end{align*} 故由 consistency theorem ，
\[
\bar X \mathop  \to \limits^P \mu
\]至此得證。 $\square$

[機率論] Chebyshev's Inequality 的推廣型

以下介紹一個在機率論中 相當有用的 一條不等式，稱為 Chebyshev inequality，此不等式將 期望值 與 機率測度 做出一定程度的連結 來用以估計 期望值的下界 （或者說 求某機率測度的上界）。以下我們給出此不等式之陳述與證明：讀者可注意要求的假設條件並不多，證明也稍具巧思。

================
Theorem: Generalized Chebyshev's Inequality 
令 $X$ 為 任意 連續型 隨機變數 配備 機率密度函數 $f_X$ ，現在定義 $g(X)$ 為任意非負函數，若 $E[g(X)]$ 存在，則 對任意常數 $c>0$，我們有
\[
P(g(X) \geq c) \leq \frac{E[g(X)]}{c}
\]================

Proof: 假設 $X$ 為連續型隨機變數且 $E[g(X)]$ 存在，令 $c >0$ 為任意正值常數。由於期望值 $E[g(X)]$ 存在，由定義可知我們有
\[
E\left[ {g\left( X \right)} \right] = \int_{ - \infty }^\infty  {g\left( x \right){f_X}\left( x \right)dx}
\]其中 $f_X(x)$ 為 $X$ 的 機率密度函數 (Probability Density Function, pdf)。現在觀察上述右式積分，我們可將其等價寫為
\begin{align*}
  \int_{ - \infty }^\infty  {g\left( x \right){f_X}\left( x \right)dx}  &= \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx}  + \int_{\left\{ {x:g\left( x \right) < c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx}  \hfill \\
 &  \geq \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx}  \;\;\;\; (*)
\end{align*} 注意到上述不等式成立 是 因為對所有 $x$ 而言， $g(x) \geq 0$ 且 pdf $f_X(x) \geq 0$。現在我們觀察不等式右方的積分式子 $ \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx} $ 可以發現此積分範圍是對所有的 $x$ 滿足 $g(x) \geq c$，這表示我們可以進一步寫出此積分的下界
\[\int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx}  \geqslant \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {c{f_X}\left( x \right)dx} \;\;\;\;\; (**)
\]由 $(*)$ 與 $(**)$ 我們可知
\begin{align*}
  E\left[ {g\left( X \right)} \right] &\geq \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {c{f_X}\left( x \right)dx}  \hfill \\
   &= c\int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {{f_X}\left( x \right)dx}  \hfill \\
   &= cP\left( {g\left( x \right) \geqslant c} \right) \hfill \\
\end{align*} 故
\[\frac{{E\left[ {g\left( X \right)} \right]}}{c} \geqslant P\left( {g\left( x \right) \geqslant c} \right)\]至此得證。$\square$

Comments:
1. 上述定理對 離散型隨機變數仍然成立，僅須將證明的積分部分 $\int (\cdot)$ 改成累加 $\sum (\cdot)$ 即可。
2. Chebyshev's inequality 的界的 "鬆緊程度" 依隨機變數情況而定，故拿來做精準上下界估計不一定準確。
3. 若 $g(X):=X$ 則上述 廣義 Chebyshev's inequality 又稱作 Markov's inequality。
4. 上述廣義的 Chebyshev's inequality 應用在於如何"識別"或者 "選取" 適當的 非負函數 $g(X)$，我們會在以下再作進一步說明。



以下我們看個上述定理的應用例：

==================
FACT 1: Standard Chebyshev's inequality 
令 $X$ 為隨機變數具有 有限期望值 與變異數，記作 $ E[X] := \mu$ 且 $E[(X- \mu)^2] =\sigma^2$ 。則對任意 $n>0$ 而言，我們有
\[
P( (X-\mu)^2 \geq n^2 \sigma^2) \leq \frac{1}{n^2}
\]==================

Proof:
給定 $n >0$， 定義 $g(X) := (X-\mu)^2 \geq 0$，則 Generalized Chebyshev's inequality 告訴我們對任意 $c>0$，我們有
\[P({\left( {X - \mu } \right)^2} \geqslant c) \leqslant \frac{{E\left[ {{{\left( {X - \mu } \right)}^2}} \right]}}{c}\]又因為 ${E\left[ {{{\left( {X - \mu } \right)}^2}} \right] = {\sigma ^2}}$ 故上式可改寫為
\[
P({\left( {X - \mu } \right)^2} \geqslant c) \leqslant \frac{{{\sigma ^2}}}{c}
\]現在取 $c:=\sigma^2 n^2 >0$ 則\[
P({\left( {X - \mu } \right)^2} \geqslant n^2 \sigma^2 ) \leqslant \frac{1}{n^2}
\]至此得證。$\square$

==================
FACT 2:
令 $X$ 為隨機變數配備 期望值 $\mu$ 且令 $E[(X-\mu)^{2k}]$ 對任意正整數 $k$ 都存在，則對任意 $c >0$，
\[
P(|X-\mu| \geq c) \leq E[(X-\mu)^{2k}]/c^{2k}
\]==================

Proof: omitted. (取 $g(X):= (X-\mu)^{2k}$ 且 $c = d^{1/2k}, \;\; \forall d>0$ )


以下結果為利用 Chebyshev inequality 與 動差生成函數 Moment Generating Function (mgf) 拉上關係：


==================
FACT 3:
令 $X$ 為隨機變數配備 mgf 滿足下列條件：存在 $\delta>0$ 使得當 $t \in (-\delta, \delta)$，其 mgf $M_X(t)$ 存在，則
\[
P(X \geq c) \leq e^{-ct} M_X(t), \;\;\; t \in (0, \delta)
\]且
\[
P(X \leq c) \leq e^{-ct} M_X(t), \;\;\; t \in (-\delta,0)
\]==================

Proof: omitted (取 $g(X):= e^{tX}$ 且 $c = \frac{\log d}{ t}, \;\; \forall d>0$  )