跳到主要內容

發表文章

目前顯示的是 11月, 2017的文章

[數理統計] 對平均值的信賴區間

考慮一組 i.i.d. random samples $X_1,X_2,...,$ 配備 期望平均 $m$ 與 變異數 (variance) $\sigma^2$,假設變異已知,但期望平均 $m$ 為未知。我們想對 $m$ 進行估計。一般的做法是採用 sample mean 估計量 \[ M_n := \frac{1}{n}\sum_{i = 1}^n X_i \] 則我們知道 sample mean $M_n \to m$ 當 $n \to \infty$ in probability,此性質稱作 (weak) consistency estimator,但實際上,大多情況之下我們僅僅只能量測有限 $n$ (比如只能做有限次實驗),則我們想問該如何描述紹述 $M_n$ 有多接近 $m$ 呢?此想法為建構 信賴區間的動機:對某些 $\delta >0$ 而言,我們定義 \[ P(m \in [M_n -\delta, M_n + \delta] ) = 1-\alpha \]其中 $[M_n -\delta, M_n + \delta] $ 稱作信賴區間(Confidence interval) 且 $1-\alpha$ 稱作 信心水準 (Confidence level),因此 Confidence interval 是一個隨機集合 而信心水準是 此隨機集合包含未知參數 $m$ 的機率。一般而言,在實務上多使用 $1-\alpha \in [0.9, 0.99]$。 Comments: 1. 上述 $M_n$ 不但為為 真實平均 (或者期望值) $m$  的 consistent estimator 且 亦為不偏 (unbiased)估計量。 問題: 給定 $\alpha$,我們想問該如何選取參數 $\delta$ 使得 \[ P(m \in [M_n -\delta, M_n + \delta] ) = 1-\alpha \]成立? 要回答此問題,我們首先觀察 \[m \in [{M_n} - \delta ,{M_n} + \delta ] \Leftrightarrow {M_n} - \delta  \leqslant m \leqslant {M_n} + \delta \]亦即 $- \delta  \leqsl

[機率論] 一些常用的機率上界估計-以 exponential 隨機變數為例

令 $X$ 為 exponential 隨機變數配備參數 $\lambda =1$,亦即 $X \sim exp(1)$。試求 $P(X\geq a)$ 並分別利用 Markov inequality, Chebyshev inequalty 與 Chernoff bound 估計此機率的上界。 Proof:  首先回憶 $X \sim exp(\lambda)$ 具有 機率密度 \[f_X\left( x \right): = \left\{ \begin{gathered}   \lambda {e^{ - \lambda x}}\begin{array}{*{20}{c}}   {}&{x \geqslant 0} \end{array} \hfill \\   0\begin{array}{*{20}{c}}   {}&{x < 0} \end{array} \hfill \\ \end{gathered}  \right.\]故 $\lambda =1$ 我們有 \[f_X\left( x \right): = \left\{ \begin{gathered}   {e^{ - x}}\begin{array}{*{20}{c}}   {}&{x \geqslant 0} \end{array} \hfill \\   0\begin{array}{*{20}{c}}   {}&{x < 0} \end{array} \hfill \\ \end{gathered}  \right.\] 現在我們計算 \[ P\left( {X \geqslant a} \right) = \int_a^\infty  {{e^{ - x}}dx}  =  - \left( {0 - {e^{ - a}}} \right) = {e^{ - a}} \] 接著我們用 Markov inequality 估計:令 $a>0$則 \begin{align*}   P\left( {X \geqslant a} \right) &\leqslant \frac{{E\left[ X \right]}}{a} \hfill \\    &= \frac{1}{a

[機率論] 關於配備 Pareto Density 隨機變數 的一個簡單例子

令 $X$ 為隨機變數配備標準 Pareto density,亦即其機率密度函數 $f_X$ 滿足 \[f_X\left( x \right): = \left\{ \begin{gathered}   \frac{2}{{{x^3}}}\begin{array}{*{20}{c}}   {}&{x \geqslant 1} \end{array} \hfill \\   0\begin{array}{*{20}{c}}   {}&{o.w.} \end{array} \hfill \\ \end{gathered}  \right.\] (a) 對任意 $a \geq 1$ 試求 $P(X \geq a)$ (b) 延續 (a),利用 Markov inequality 求其上界。 Proof (a) \begin{align*}   P(X \geqslant a) &= 1 - P\left( {X < a} \right) \hfill \\    &= 1 - \int_1^a {\frac{2}{{{x^3}}}dx}  \hfill \\    &= 1 - 2\left( {\left. {\frac{{{x^{ - 2}}}}{{ - 2}}} \right|_1^a} \right) \hfill \\    &= \frac{1}{{{a^2}}} \hfill \\ \end{align*} Comments: 讀者可注意到上述結果亦可 透過直接計算 \[P\left( {X \geqslant a} \right) = \int_a^\infty  {\frac{2}{{{x^3}}}dx}  = 2\left( {\frac{1}{{ - 2}}\left. {{x^{ - 2}}} \right|_a^\infty } \right) = {a^{ - 2}}\] Proof (b): 注意到 $X$ 為取值非負隨機變數,故對任意 $a \geq 1$,利用 Markov inequality, 我們有 \begin{align*}   P(X \geqslant a) &\leqslant \frac{{E\left[