[泛函分析] Bessel's Inequality

下列 Bessel's inequality 在 泛函分析 與 Fourier 分析中扮演重要角色，此不等式表示給定任意在 Hilbert Space 中的點 $x$ (e.g., $L^2$ 空間上 封閉子集的函數)， 且給定一組 Hilbert Space 上的正交基底函數 (e.g., complex exponential function, $\{e_i\}$) 則 任意點 $x$ 透過 $\{e_i\}$ 作為基底展開的係數平方和 有上界 且此上界剛好為 $||x||^2$。此不等式的證明要求對內積的性質有進一步掌握，個人認為是很好的練習。

======================
Theorem: Bessel's Inequality
令 $H$ 為 Hilbert Space 且 $x \in H$。若 $\{e_i\} \subset H $ 為一組 orthonormal sequence 則
\[
\sum_{i=1}^\infty | \langle x,e_i \rangle |^2 \leq ||x||^2
\]其中 $\langle \cdot, \cdot \rangle$ 為 $H$ 上的內積運算。
======================

Proof:
令 $\{e_i\} \subset H $ 為一組 orthonormal sequence 且 $x \in H$，現在觀察 $x$ 與 部分和$\sum_{i=1}^n \langle x, e_i \rangle$ 的差異 (透過內積)：
\begin{align*}
  0 \leqslant {\left\| {x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\|^2} &= \left\langle {x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } {e_i},x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\rangle  \hfill \\
   &= \left\langle {x,x} \right\rangle  - \left\langle {\sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } {e_i},x} \right\rangle  - \left\langle {x,\sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\rangle  \\
& \hspace{15mm}+ \left\langle {\sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } {e_i},\sum\limits_{j = 1}^n {\langle x,{e_j}\rangle {e_j}} } \right\rangle  \hfill \\
  & = {\left\| x \right\|^2} - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } \left\langle {{e_i},x} \right\rangle  - \sum\limits_{i = 1}^n {\overline {\langle x,{e_i}\rangle } } \left\langle {x,{e_i}} \right\rangle  \\
& \hspace{15mm}+ \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } \sum\limits_{j = 1}^n {\overline {\langle x,{e_j}\rangle } } \left\langle {{e_i},{e_j}} \right\rangle  \hfill \\
   &= {\left\| x \right\|^2} - \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  - \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  + \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  \hfill \\
\end{align*}  上述第三條等式成立是因為應用了 一些內積的 FACT (請參閱下文)，另外最後一條等式成立是因為應用了 $\{e_i\}$ 為 orthonormal 的性質 (亦即 $(e_i,e_j) = 1$ 當 $i=j$，且當 $i \neq j$時，$(e_i,e_j)=0$) 故上式最後一項滿足
\[\left( {\sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } \sum\limits_{j = 1}^n {\overline {\langle x,{e_j}\rangle } } } \right)\left\langle {{e_i},{e_j}} \right\rangle  = \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}} \]至此，我們得到
\[0 \leqslant {\left\| {x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\|^2} = {\left\| x \right\|^2} - \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}} \]亦即
\[\sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  \leqslant {\left\| x \right\|^2}\]注意到此式對任意 $n \in \mathbb{N}$ 皆成立，故取極限亦成立，
\[\sum\limits_{i = 1}^\infty  {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  \leqslant {\left\| x \right\|^2}\]至此得證。$\square$



Comments:
上述結果保證
\[
\sum_{i=1}^\infty | \langle x,e_i \rangle |^2  <\infty
\]



=======================
FACT: 內積運算的一些常用性質
令 $H$ 為 Hilbert Space，取 $(e_1,e_2,...,e_n)$ 為一組向量 滿足 $e_i \in H$ 且 $x \in H$， $a_i,b_i \in \mathbb{C}$ 則我們有以下一些內積性質：
\[\left\{ \begin{gathered}
  \left\langle {\sum\limits_{i = 1}^n {{b_i}} {e_i},x} \right\rangle  = \sum\limits_{i = 1}^n {{b_i}} \left\langle {x,{e_i}} \right\rangle  \hfill \\
  \left\langle {x,\sum\limits_{i = 1}^n {{b_i}} {e_i}} \right\rangle  = \sum\limits_{i = 1}^n {\overline {{b_i}} } \left\langle {x,{e_i}} \right\rangle  \hfill \\
  \left\langle {\sum\limits_{i = 1}^n {{a_i}} {e_i},\sum\limits_{j = 1}^n {{b_j}} {e_j}} \right\rangle  = \sum\limits_{i = 1}^n {{a_i}} \sum\limits_{j = 1}^n {\overline {{b_j}} } \left\langle {{e_i},{e_j}} \right\rangle  \hfill \\
\end{gathered}  \right.\]其中 $ {\bar a}$ 表示 對 $a$ 取 complex conjugate。
========================