[泛函分析] 幾何平均與算術平均不等式的一類推廣

回憶中學時期學過的 幾何平均與算術平均關係：令 $a,b \in \mathbb{R}$則 幾何平均 有 算術平均作為上界
\[
\sqrt{ab} \leq \frac{a+b}{2}
\]現在我們將上述結果做一類推廣

Claim: 令 $\theta \in (0,1)$ 且 $a, b \geq 0$則
\[
a^{1-\theta}b^{\theta} \leq (1-\theta)a + \theta b
\]
在給出證明之前我們先做出一些說明

Remarks:
1. 上述 claim 不等式左方：$a^{1-\theta}b^{\theta}$ 一般稱作廣義幾何平均 (Generalized Geometric Mean)。
2. 上述 claim 不等式右方：$(1-\theta)a + \theta b$ 有些學者將其稱作廣義算術平均 (Generalized Arthmic Mean)。但若有涉獵凸分析或者凸最優問題的讀者大概不難看出 此式具備 convex combinaiton 的形式。事實上此不等式在 與凸分析中的 log-convexity 有相關，讀者可自行查閱相關文獻。
3. 上述 Claim 一般又稱作 Auxiliary  Holder inequality.

以下我們給出 Claim 的證明。

Proof of the Claim: 首先做以下觀察：若 $a,b = 0$ 或任一為 $0$ 則不等式自動成立。故在不失一般性的情況下 我們設 $a \geq b >0$ 並且注意到 $a^{1-\theta} = a a^{-\theta}$ 故我們可改寫要證明的不等式如下
\begin{align*}
\left(\frac{b}{a}\right)^\theta \leq (1-\theta) + \theta \frac{b}{a}
\end{align*}
令 $x:=b/a$ 則 $x \in (0,1)$ 且我們僅需證明
\[
x^\theta \leq (1-\theta) +\theta x
\]令 $g(x):=  1-\theta +\theta x - x^\theta $，注意到 $g(1) = 0$ 且 $g(0) = 1-\theta>0$
\[
g'(x) = \theta -\theta x^{\theta-1} < \theta -\theta = 0
\]亦即 $g'(x) <0$ 表示 $g$ 為在 $x \in (0,1)$ 處為遞減函數。故由 $g$ 的連續性，對 $x \in [0,1]$ 我們有
\[
g(x) \geq 0
\]此等價為
\[
1-\theta +\theta x - x^\theta \geq 0
\]同理
\[
x^\theta \leq (1-\theta) +\theta x
\]上述即為我們待證的不等式，至此證明完畢。$\square$

[數學分析] 一類 分式與極小值 的不等式

Theorem
對任意 $i=1,...,m$，若 $a_i \geq 0$ 且 $b_i \geq 0$ 則下列不等式成立
\[
\frac{\sum_{i=1}^m a_i }{\sum_{i=1}^m b_i } \geq \min_i \frac{a_i}{b_i}
\]

Proof:
令 $i^*$ 為 某 index $i$ 使得 $\min_i \frac{a_i}{b_i}$ 成立，亦即 $i^*$ 滿足
\[\frac{{{a_{{i^*}}}}}{{{b_{{i^*}}}}} = \mathop {\min }\limits_i \frac{{{a_i}}}{{{b_i}}}\]我們要證明定理中的不等式成立。以下以各個擊破的方法來求證：

CASE 1:首先注意到若 $a_{i^*} = 0$ 則我們欲證明的不等式自動成立。

CASE 2: 故 假設 $a_{i^*} >0$，注意到若 $b_{i^*} =0$ 則我們得到兩邊不等式為無窮，故不等式仍然成立，故我們不妨假設  $a_{i^*} >0$ 且 $b_{i^*} > 0$ (*)，現在觀察
\[
\frac{{\sum\limits_{i = 1}^m {{a_i}} }}{{\sum\limits_{i = 1}^m {{b_i}} }} = \frac{{{a_{{i^*}}} + \sum\limits_{i = 1}^{m - 1} {{a_i}} }}{{{b_{{i^*}}} + \sum\limits_{i = 1}^{m - 1} {{b_i}} }} = \frac{{{a_{{i^*}}}\left( {1 + \sum\limits_{i = 1}^{m - 1} {\frac{{{a_i}}}{{{a_{{i^*}}}}}} } \right)}}{{{b_{{i^*}}}\left( {1 + \sum\limits_{i = 1}^{m - 1} {\frac{{{b_i}}}{{{b_{{i^*}}}}}} } \right)}}\;\;\;\; (**)
\]注意到對任意 $i$ 而言，我們有
\[\frac{{{a_{{i^*}}}}}{{{b_{{i^*}}}}} \leqslant \frac{{{a_i}}}{{{b_i}}}\]又因為 $(*)$ 我們可推得對任意 $i$ 而言，下式成立
\[\frac{{{b_i}}}{{{b_{{i^*}}}}} \leqslant \frac{{{a_i}}}{{{a_{{i^*}}}}}\]故
\[\frac{{{b_i}}}{{{b_{{i^*}}}}} \leqslant \frac{{{a_i}}}{{{a_{{i^*}}}}} \Rightarrow 1 + \sum\limits_{i = 1}^{m - 1} {\frac{{{b_i}}}{{{b_{{i^*}}}}}}  \leqslant 1 + \sum\limits_{i = 1}^{m - 1} {\frac{{{a_i}}}{{{a_{{i^*}}}}}} \]現在將此不等式代入 $(**)$ 我們得到
\[\frac{{{a_{{i^*}}}\left( {1 + \sum\limits_{i = 1}^{m - 1} {\frac{{{a_i}}}{{{a_{{i^*}}}}}} } \right)}}{{{b_{{i^*}}}\left( {1 + \sum\limits_{i = 1}^{m - 1} {\frac{{{b_i}}}{{{b_{{i^*}}}}}} } \right)}} \leqslant \frac{{{a_{{i^*}}}\left( {1 + \sum\limits_{i = 1}^{m - 1} {\frac{{{a_i}}}{{{a_{{i^*}}}}}} } \right)}}{{{b_{{i^*}}}\left( {1 + \sum\limits_{i = 1}^{m - 1} {\frac{{{a_i}}}{{{a_{{i^*}}}}}} } \right)}} = \frac{{{a_{{i^*}}}}}{{{b_{{i^*}}}}}\]亦即
\[\frac{{\sum\limits_{i = 1}^m {{a_i}} }}{{\sum\limits_{i = 1}^m {{b_i}} }} \leqslant \frac{{{a_{{i^*}}}}}{{{b_{{i^*}}}}} = \mathop {\min }\limits_i \frac{{{a_i}}}{{{b_i}}}\]至此得證。$\square$

[泛函分析] Bessel's Inequality

下列 Bessel's inequality 在 泛函分析 與 Fourier 分析中扮演重要角色，此不等式表示給定任意在 Hilbert Space 中的點 $x$ (e.g., $L^2$ 空間上 封閉子集的函數)， 且給定一組 Hilbert Space 上的正交基底函數 (e.g., complex exponential function, $\{e_i\}$) 則 任意點 $x$ 透過 $\{e_i\}$ 作為基底展開的係數平方和 有上界 且此上界剛好為 $||x||^2$。此不等式的證明要求對內積的性質有進一步掌握，個人認為是很好的練習。

======================
Theorem: Bessel's Inequality
令 $H$ 為 Hilbert Space 且 $x \in H$。若 $\{e_i\} \subset H $ 為一組 orthonormal sequence 則
\[
\sum_{i=1}^\infty | \langle x,e_i \rangle |^2 \leq ||x||^2
\]其中 $\langle \cdot, \cdot \rangle$ 為 $H$ 上的內積運算。
======================

Proof:
令 $\{e_i\} \subset H $ 為一組 orthonormal sequence 且 $x \in H$，現在觀察 $x$ 與 部分和$\sum_{i=1}^n \langle x, e_i \rangle$ 的差異 (透過內積)：
\begin{align*}
  0 \leqslant {\left\| {x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\|^2} &= \left\langle {x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } {e_i},x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\rangle  \hfill \\
   &= \left\langle {x,x} \right\rangle  - \left\langle {\sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } {e_i},x} \right\rangle  - \left\langle {x,\sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\rangle  \\
& \hspace{15mm}+ \left\langle {\sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } {e_i},\sum\limits_{j = 1}^n {\langle x,{e_j}\rangle {e_j}} } \right\rangle  \hfill \\
  & = {\left\| x \right\|^2} - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } \left\langle {{e_i},x} \right\rangle  - \sum\limits_{i = 1}^n {\overline {\langle x,{e_i}\rangle } } \left\langle {x,{e_i}} \right\rangle  \\
& \hspace{15mm}+ \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } \sum\limits_{j = 1}^n {\overline {\langle x,{e_j}\rangle } } \left\langle {{e_i},{e_j}} \right\rangle  \hfill \\
   &= {\left\| x \right\|^2} - \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  - \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  + \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  \hfill \\
\end{align*}  上述第三條等式成立是因為應用了 一些內積的 FACT (請參閱下文)，另外最後一條等式成立是因為應用了 $\{e_i\}$ 為 orthonormal 的性質 (亦即 $(e_i,e_j) = 1$ 當 $i=j$，且當 $i \neq j$時，$(e_i,e_j)=0$) 故上式最後一項滿足
\[\left( {\sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } \sum\limits_{j = 1}^n {\overline {\langle x,{e_j}\rangle } } } \right)\left\langle {{e_i},{e_j}} \right\rangle  = \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}} \]至此，我們得到
\[0 \leqslant {\left\| {x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\|^2} = {\left\| x \right\|^2} - \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}} \]亦即
\[\sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  \leqslant {\left\| x \right\|^2}\]注意到此式對任意 $n \in \mathbb{N}$ 皆成立，故取極限亦成立，
\[\sum\limits_{i = 1}^\infty  {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  \leqslant {\left\| x \right\|^2}\]至此得證。$\square$



Comments:
上述結果保證
\[
\sum_{i=1}^\infty | \langle x,e_i \rangle |^2  <\infty
\]



=======================
FACT: 內積運算的一些常用性質
令 $H$ 為 Hilbert Space，取 $(e_1,e_2,...,e_n)$ 為一組向量 滿足 $e_i \in H$ 且 $x \in H$， $a_i,b_i \in \mathbb{C}$ 則我們有以下一些內積性質：
\[\left\{ \begin{gathered}
  \left\langle {\sum\limits_{i = 1}^n {{b_i}} {e_i},x} \right\rangle  = \sum\limits_{i = 1}^n {{b_i}} \left\langle {x,{e_i}} \right\rangle  \hfill \\
  \left\langle {x,\sum\limits_{i = 1}^n {{b_i}} {e_i}} \right\rangle  = \sum\limits_{i = 1}^n {\overline {{b_i}} } \left\langle {x,{e_i}} \right\rangle  \hfill \\
  \left\langle {\sum\limits_{i = 1}^n {{a_i}} {e_i},\sum\limits_{j = 1}^n {{b_j}} {e_j}} \right\rangle  = \sum\limits_{i = 1}^n {{a_i}} \sum\limits_{j = 1}^n {\overline {{b_j}} } \left\langle {{e_i},{e_j}} \right\rangle  \hfill \\
\end{gathered}  \right.\]其中 $ {\bar a}$ 表示 對 $a$ 取 complex conjugate。
========================

[機率論] Chebyshev's Inequality 的推廣型

以下介紹一個在機率論中 相當有用的 一條不等式，稱為 Chebyshev inequality，此不等式將 期望值 與 機率測度 做出一定程度的連結 來用以估計 期望值的下界 （或者說 求某機率測度的上界）。以下我們給出此不等式之陳述與證明：讀者可注意要求的假設條件並不多，證明也稍具巧思。

================
Theorem: Generalized Chebyshev's Inequality 
令 $X$ 為 任意 連續型 隨機變數 配備 機率密度函數 $f_X$ ，現在定義 $g(X)$ 為任意非負函數，若 $E[g(X)]$ 存在，則 對任意常數 $c>0$，我們有
\[
P(g(X) \geq c) \leq \frac{E[g(X)]}{c}
\]================

Proof: 假設 $X$ 為連續型隨機變數且 $E[g(X)]$ 存在，令 $c >0$ 為任意正值常數。由於期望值 $E[g(X)]$ 存在，由定義可知我們有
\[
E\left[ {g\left( X \right)} \right] = \int_{ - \infty }^\infty  {g\left( x \right){f_X}\left( x \right)dx}
\]其中 $f_X(x)$ 為 $X$ 的 機率密度函數 (Probability Density Function, pdf)。現在觀察上述右式積分，我們可將其等價寫為
\begin{align*}
  \int_{ - \infty }^\infty  {g\left( x \right){f_X}\left( x \right)dx}  &= \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx}  + \int_{\left\{ {x:g\left( x \right) < c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx}  \hfill \\
 &  \geq \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx}  \;\;\;\; (*)
\end{align*} 注意到上述不等式成立 是 因為對所有 $x$ 而言， $g(x) \geq 0$ 且 pdf $f_X(x) \geq 0$。現在我們觀察不等式右方的積分式子 $ \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx} $ 可以發現此積分範圍是對所有的 $x$ 滿足 $g(x) \geq c$，這表示我們可以進一步寫出此積分的下界
\[\int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx}  \geqslant \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {c{f_X}\left( x \right)dx} \;\;\;\;\; (**)
\]由 $(*)$ 與 $(**)$ 我們可知
\begin{align*}
  E\left[ {g\left( X \right)} \right] &\geq \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {c{f_X}\left( x \right)dx}  \hfill \\
   &= c\int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {{f_X}\left( x \right)dx}  \hfill \\
   &= cP\left( {g\left( x \right) \geqslant c} \right) \hfill \\
\end{align*} 故
\[\frac{{E\left[ {g\left( X \right)} \right]}}{c} \geqslant P\left( {g\left( x \right) \geqslant c} \right)\]至此得證。$\square$

Comments:
1. 上述定理對 離散型隨機變數仍然成立，僅須將證明的積分部分 $\int (\cdot)$ 改成累加 $\sum (\cdot)$ 即可。
2. Chebyshev's inequality 的界的 "鬆緊程度" 依隨機變數情況而定，故拿來做精準上下界估計不一定準確。
3. 若 $g(X):=X$ 則上述 廣義 Chebyshev's inequality 又稱作 Markov's inequality。
4. 上述廣義的 Chebyshev's inequality 應用在於如何"識別"或者 "選取" 適當的 非負函數 $g(X)$，我們會在以下再作進一步說明。



以下我們看個上述定理的應用例：

==================
FACT 1: Standard Chebyshev's inequality 
令 $X$ 為隨機變數具有 有限期望值 與變異數，記作 $ E[X] := \mu$ 且 $E[(X- \mu)^2] =\sigma^2$ 。則對任意 $n>0$ 而言，我們有
\[
P( (X-\mu)^2 \geq n^2 \sigma^2) \leq \frac{1}{n^2}
\]==================

Proof:
給定 $n >0$， 定義 $g(X) := (X-\mu)^2 \geq 0$，則 Generalized Chebyshev's inequality 告訴我們對任意 $c>0$，我們有
\[P({\left( {X - \mu } \right)^2} \geqslant c) \leqslant \frac{{E\left[ {{{\left( {X - \mu } \right)}^2}} \right]}}{c}\]又因為 ${E\left[ {{{\left( {X - \mu } \right)}^2}} \right] = {\sigma ^2}}$ 故上式可改寫為
\[
P({\left( {X - \mu } \right)^2} \geqslant c) \leqslant \frac{{{\sigma ^2}}}{c}
\]現在取 $c:=\sigma^2 n^2 >0$ 則\[
P({\left( {X - \mu } \right)^2} \geqslant n^2 \sigma^2 ) \leqslant \frac{1}{n^2}
\]至此得證。$\square$

==================
FACT 2:
令 $X$ 為隨機變數配備 期望值 $\mu$ 且令 $E[(X-\mu)^{2k}]$ 對任意正整數 $k$ 都存在，則對任意 $c >0$，
\[
P(|X-\mu| \geq c) \leq E[(X-\mu)^{2k}]/c^{2k}
\]==================

Proof: omitted. (取 $g(X):= (X-\mu)^{2k}$ 且 $c = d^{1/2k}, \;\; \forall d>0$ )


以下結果為利用 Chebyshev inequality 與 動差生成函數 Moment Generating Function (mgf) 拉上關係：


==================
FACT 3:
令 $X$ 為隨機變數配備 mgf 滿足下列條件：存在 $\delta>0$ 使得當 $t \in (-\delta, \delta)$，其 mgf $M_X(t)$ 存在，則
\[
P(X \geq c) \leq e^{-ct} M_X(t), \;\;\; t \in (0, \delta)
\]且
\[
P(X \leq c) \leq e^{-ct} M_X(t), \;\;\; t \in (-\delta,0)
\]==================

Proof: omitted (取 $g(X):= e^{tX}$ 且 $c = \frac{\log d}{ t}, \;\; \forall d>0$  )