跳到主要內容

發表文章

目前顯示的是 五月, 2017的文章

[泛函分析] Bessel's Inequality

下列 Bessel's inequality 在 泛函分析 與 Fourier 分析中扮演重要角色,此不等式表示給定任意在 Hilbert Space 中的點 $x$ (e.g., $L^2$ 空間上 封閉子集的函數), 且給定一組 Hilbert Space 上的正交基底函數 (e.g., complex exponential function, $\{e_i\}$) 則 任意點 $x$ 透過 $\{e_i\}$ 作為基底展開的係數平方和 有上界 且此上界剛好為 $||x||^2$。此不等式的證明要求對內積的性質有進一步掌握,個人認為是很好的練習。

======================
Theorem: Bessel's Inequality
令 $H$ 為 Hilbert Space 且 $x \in H$。若 $\{e_i\} \subset H $ 為一組 orthonormal sequence 則
\[
\sum_{i=1}^\infty | \langle x,e_i \rangle |^2 \leq ||x||^2
\]其中 $\langle \cdot, \cdot \rangle$ 為 $H$ 上的內積運算。
======================


Proof:
令 $\{e_i\} \subset H $ 為一組 orthonormal sequence 且 $x \in H$,現在觀察 $x$ 與 部分和$\sum_{i=1}^n \langle x, e_i \rangle$ 的差異 (透過內積):
\begin{align*}
  0 \leqslant {\left\| {x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\|^2} &= \left\langle {x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } {e_i},x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\rangle  \hfill \\
   &= \left\langle {x,x} \right\ra…

[數理統計] 一致性估計 與 弱大數法則

以下討論 點估計理論 中一些比較重要的性質與應用。

令 $\Theta$ 為某參數空間。

===================
Definition: (Point) Estimator and Estimate
給定 $X_1,...,X_n$ 為 i.i.d. 隨機試驗 來自 pdf $f(x;\theta)$ 其中 $\theta \in \Theta$ 為未知參數,現在定義新的隨機變數 $\widehat \theta$ 為  $X_1,...,X_n$ 的函數,寫為
\[
\widehat \theta := \widehat \theta(X_1,...,X_n)
\]則我們稱此 $\widehat \theta$ 為用以估計參數  $\theta$ 的估計量 (estimator of $\theta$),且若我們能取得隨機樣本的觀察值,比如 $X_1 = x_1,X_2=x_2,...,X_n = x_n$ 則我們稱
\[
\widehat \theta := \widehat \theta(x_1,...,x_n)
\]為參數 $\theta$ 的估計值(estimate)
===================

Comments:
1. 參數 $\theta$ 為分配中的未知常數,但估計量 $\widehat \theta$ 為隨機變數
2. 在數理統計中的 隨機取樣 與 機率論中 iid 隨機變數 視為等價敘述。
3. $\widehat \theta$為  $X_1,...,X_n$ 的函數,但與 $\theta$ 無關!在數理統計中稱此與待估計參數無關的性質為 統計量 (static)。



那麼怎樣的估計量才算是 "好" 的估計量?以下給出一些常見的 "好" 估計量定義。


===================
Definition: What "Good" Properties Should an Estimator Hold? 
令 \[
\widehat \theta := \widehat \theta(X_1,...,X_n)
\] 為某未知參數 $\theta$ 的估計量,則
我們稱 $\widehat \theta $ 為 不偏估計量(unbiased estimator…

[機率論] Chebyshev's Inequality 的推廣型

以下介紹一個在機率論中 相當有用的 一條不等式,稱為 Chebyshev inequality,此不等式將 期望值 與 機率測度 做出一定程度的連結 來用以估計 期望值的下界 (或者說 求某機率測度的上界)。以下我們給出此不等式之陳述與證明:讀者可注意要求的假設條件並不多,證明也稍具巧思。

================
Theorem: Generalized Chebyshev's Inequality 
令 $X$ 為 任意 連續型 隨機變數 配備 機率密度函數 $f_X$ ,現在定義 $g(X)$ 為任意非負函數,若 $E[g(X)]$ 存在,則 對任意常數 $c>0$,我們有
\[
P(g(X) \geq c) \leq \frac{E[g(X)]}{c}
\]================


Proof: 假設 $X$ 為連續型隨機變數且 $E[g(X)]$ 存在,令 $c >0$ 為任意正值常數。由於期望值 $E[g(X)]$ 存在,由定義可知我們有
\[
E\left[ {g\left( X \right)} \right] = \int_{ - \infty }^\infty  {g\left( x \right){f_X}\left( x \right)dx}
\]其中 $f_X(x)$ 為 $X$ 的 機率密度函數 (Probability Density Function, pdf)。現在觀察上述右式積分,我們可將其等價寫為
\begin{align*}
  \int_{ - \infty }^\infty  {g\left( x \right){f_X}\left( x \right)dx}  &= \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx}  + \int_{\left\{ {x:g\left( x \right) < c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx}  \hfill \\
 &  \geq \int_{\left\{ {x:g\left( x \rig…