[泛函分析] Bessel's Inequality

下列 Bessel's inequality 在 泛函分析 與 Fourier 分析中扮演重要角色，此不等式表示給定任意在 Hilbert Space 中的點 $x$ (e.g., $L^2$ 空間上 封閉子集的函數)， 且給定一組 Hilbert Space 上的正交基底函數 (e.g., complex exponential function, $\{e_i\}$) 則 任意點 $x$ 透過 $\{e_i\}$ 作為基底展開的係數平方和 有上界 且此上界剛好為 $||x||^2$。此不等式的證明要求對內積的性質有進一步掌握，個人認為是很好的練習。

======================
Theorem: Bessel's Inequality
令 $H$ 為 Hilbert Space 且 $x \in H$。若 $\{e_i\} \subset H $ 為一組 orthonormal sequence 則
\[
\sum_{i=1}^\infty | \langle x,e_i \rangle |^2 \leq ||x||^2
\]其中 $\langle \cdot, \cdot \rangle$ 為 $H$ 上的內積運算。
======================

Proof:
令 $\{e_i\} \subset H $ 為一組 orthonormal sequence 且 $x \in H$，現在觀察 $x$ 與 部分和$\sum_{i=1}^n \langle x, e_i \rangle$ 的差異 (透過內積)：
\begin{align*}
  0 \leqslant {\left\| {x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\|^2} &= \left\langle {x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } {e_i},x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\rangle  \hfill \\
   &= \left\langle {x,x} \right\rangle  - \left\langle {\sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } {e_i},x} \right\rangle  - \left\langle {x,\sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\rangle  \\
& \hspace{15mm}+ \left\langle {\sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } {e_i},\sum\limits_{j = 1}^n {\langle x,{e_j}\rangle {e_j}} } \right\rangle  \hfill \\
  & = {\left\| x \right\|^2} - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } \left\langle {{e_i},x} \right\rangle  - \sum\limits_{i = 1}^n {\overline {\langle x,{e_i}\rangle } } \left\langle {x,{e_i}} \right\rangle  \\
& \hspace{15mm}+ \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } \sum\limits_{j = 1}^n {\overline {\langle x,{e_j}\rangle } } \left\langle {{e_i},{e_j}} \right\rangle  \hfill \\
   &= {\left\| x \right\|^2} - \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  - \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  + \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  \hfill \\
\end{align*}  上述第三條等式成立是因為應用了 一些內積的 FACT (請參閱下文)，另外最後一條等式成立是因為應用了 $\{e_i\}$ 為 orthonormal 的性質 (亦即 $(e_i,e_j) = 1$ 當 $i=j$，且當 $i \neq j$時，$(e_i,e_j)=0$) 故上式最後一項滿足
\[\left( {\sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } \sum\limits_{j = 1}^n {\overline {\langle x,{e_j}\rangle } } } \right)\left\langle {{e_i},{e_j}} \right\rangle  = \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}} \]至此，我們得到
\[0 \leqslant {\left\| {x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\|^2} = {\left\| x \right\|^2} - \sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}} \]亦即
\[\sum\limits_{i = 1}^n {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  \leqslant {\left\| x \right\|^2}\]注意到此式對任意 $n \in \mathbb{N}$ 皆成立，故取極限亦成立，
\[\sum\limits_{i = 1}^\infty  {{{\left| {\langle x,{e_i}\rangle } \right|}^2}}  \leqslant {\left\| x \right\|^2}\]至此得證。$\square$



Comments:
上述結果保證
\[
\sum_{i=1}^\infty | \langle x,e_i \rangle |^2  <\infty
\]



=======================
FACT: 內積運算的一些常用性質
令 $H$ 為 Hilbert Space，取 $(e_1,e_2,...,e_n)$ 為一組向量 滿足 $e_i \in H$ 且 $x \in H$， $a_i,b_i \in \mathbb{C}$ 則我們有以下一些內積性質：
\[\left\{ \begin{gathered}
  \left\langle {\sum\limits_{i = 1}^n {{b_i}} {e_i},x} \right\rangle  = \sum\limits_{i = 1}^n {{b_i}} \left\langle {x,{e_i}} \right\rangle  \hfill \\
  \left\langle {x,\sum\limits_{i = 1}^n {{b_i}} {e_i}} \right\rangle  = \sum\limits_{i = 1}^n {\overline {{b_i}} } \left\langle {x,{e_i}} \right\rangle  \hfill \\
  \left\langle {\sum\limits_{i = 1}^n {{a_i}} {e_i},\sum\limits_{j = 1}^n {{b_j}} {e_j}} \right\rangle  = \sum\limits_{i = 1}^n {{a_i}} \sum\limits_{j = 1}^n {\overline {{b_j}} } \left\langle {{e_i},{e_j}} \right\rangle  \hfill \\
\end{gathered}  \right.\]其中 $ {\bar a}$ 表示 對 $a$ 取 complex conjugate。
========================

[線性代數] Orthonormal Basis 與 Gram-Schmidt Process (1)

延續前篇 [線性代數] Orthonormal Basis 與 Gram-Schmidt Process (0) 的問題，以下我們正式引入 Gram-Schmidt Process


Theorem: Gram-Schmidt Process
令 $V$ 為 有限維度內積空間 且 令 $W\neq \{ {\bf 0}\}$ 為 $V$中的 $m$-維子空間。則此子空間 $W$ 存在一組正交基底 $T =\{{\bf w}_1,...{\bf w}_m\}$

Proof:
我們首先建構一組 orthogonal basis $T^* :=\{{\bf v}_1,{\bf v}_2...,{\bf v}_m\}$ for $W$。由於 $W$ 為 $V$ 的子空間，故我們可在 $W$ 其上選取一組基底，令 $S=\{{\bf u}_1,...,{\bf u}_m\} $ 接著我們選取其中任意一個向量，比如說 ${\bf u}_1 \in S$ 並稱此向量為 ${\bf v}_1$ 亦即我們重新定義
\[
{\bf v}_1 := {\bf u}_1
\]注意到此 ${\bf v}_1 \in  W_1:=span\{ v_1 \}$ 其中 $W_1$ 為 $W$ 的子空間

接著我們要尋找 ${\bf v}_2$，我們希望此向量 ${\bf v}_2$ 落在 $W$ 子空間 $W_2 = span\{ {\bf u}_1, {\bf u}_2\} $ 且 ${\bf v}_2$ 與 ${\bf v}_1$ 彼此 orthogonal。但注意到我們有 ${\bf v}_1 := {\bf u}_1 $ 故 ${\bf v}_2  \in W_2 = span\{ {\bf u}_1 , {\bf u}_2\}  =  span\{ {\bf v}_1, {\bf u}_2\} $  也就是說 ${\bf v}_2$ 可透過 ${\bf v}_1$ 與 ${\bf u}_2$ 做線性組合
\[
{\bf v}_2 = a_1 {\bf v}_1 + a_2 {\bf u}_2
\]其中 $a_1, a_2$ 待定。 注意到由於我們要讓 ${\bf v}_2$ 與 ${\bf v}_1$ 彼此 orthogonal 故 $\langle {\bf v}_2, {\bf v}_1 \rangle = 0$ 故現在觀察
\[\begin{array}{l}
\langle {{\bf{v}}_2},{{\bf{v}}_1}\rangle  = 0\\
 \Rightarrow \langle {a_1}{{\bf{v}}_1} + {a_2}{{\bf{u}}_2},{{\bf{v}}_1}\rangle  = 0\\
 \Rightarrow {a_1}\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle  + {a_2}\langle {{\bf{u}}_2},{{\bf{v}}_1}\rangle  = 0\\
 \Rightarrow {a_1} =  - {a_2}\frac{{\langle {{\bf{u}}_2},{{\bf{v}}_1}\rangle }}{{\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle }} \;\;\;\; (*)
\end{array}\]注意到上式中 $\langle {\bf v}_1, {\bf v}_2 \rangle \neq 0$ 因為 ${\bf v}_1 = {\bf u}_1 \in S$ 且 $S$ 為 非零子空間 $W$ 的基底 。注意到 $(*)$ 為一條方程式兩個未知數 $a_1,a_2$ 故可任意令 $a_2 \in \mathbb{R}^1$ 為自由變數解得 $a_1$ 。為了計算方便起見我們選 $a_2 :=1$ 則
\[{a_1} =  - \frac{{\langle {{\bf{u}}_2},{{\bf{v}}_1}\rangle }}{{\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle }}
\]此說明了
\[\begin{array}{l}
{{\bf{v}}_2} = {a_1}{{\bf{v}}_1} + {a_2}{{\bf{u}}_2}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} =  - \frac{{\langle {{\bf{u}}_2},{{\bf{v}}_1}\rangle }}{{\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle }}{{\bf{v}}_1} + {{\bf{u}}_2} = {{\bf{u}}_2} - \frac{{\langle {{\bf{u}}_2},{{\bf{v}}_1}\rangle }}{{\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle }}{{\bf{v}}_1}
\end{array}\]至此我們有了一組 orthogonal subset $\{{\bf v}_1, {\bf v}_2\}$ for $W$。

接著我們尋找 ${\bf v}_3 \in W_3 := span\{{\bf u}_1, {\bf u}_2, {\bf u}_3\}$ 且 ${\bf v}_3$ 與 ${\bf v}_1, {\bf v}_2$ 為 orthogonal。注意到
\[{W_3}: = span\{ {{\bf{u}}_1},{{\bf{u}}_2},{{\bf{u}}_3}\}  = span\{ {{\bf{v}}_1},{{\bf{v}}_2},{{\bf{u}}_3}\} \]故
\[\begin{array}{l}
{{\bf{v}}_3} \in span\{ {{\bf{v}}_1},{{\bf{v}}_2},{{\bf{u}}_3}\} \\
 \Rightarrow {{\bf{v}}_3} = {b_1}{{\bf{v}}_1} + {b_2}{{\bf{v}}_2} + {b_3}{{\bf{u}}_3}
\end{array}\]且又因為我們要求  ${\bf v}_3$ 與 ${\bf v}_1, {\bf v}_2$ 為 orthogonal故
\[\begin{array}{l}
{{\bf{v}}_3},{{\bf{v}}_1}\rangle  = 0\\
 \Rightarrow \langle {b_1}{{\bf{v}}_1} + {b_2}{{\bf{v}}_2} + {b_3}{{\bf{u}}_3},{{\bf{v}}_1}\rangle  = 0\\
 \Rightarrow {b_1}\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle  + {b_2}\langle {{\bf{v}}_2},{{\bf{v}}_1}\rangle  + {b_3}\langle {{\bf{u}}_3},{{\bf{v}}_1}\rangle  = 0\\
\\
\langle {{\bf{v}}_3},{{\bf{v}}_2}\rangle  = 0\\
 \Rightarrow \langle {b_1}{{\bf{v}}_1} + {b_2}{{\bf{v}}_2} + {b_3}{{\bf{u}}_3},{{\bf{v}}_2}\rangle  = 0\\
 \Rightarrow {b_1}\langle {{\bf{v}}_1},{{\bf{v}}_2}\rangle  + {b_2}\langle {{\bf{v}}_2},{{\bf{v}}_2}\rangle  + {b_3}\langle {{\bf{u}}_3},{{\bf{v}}_2}\rangle  = 0
\end{array}\]也就是說我們有一組聯立方程
\[\begin{array}{l}
\left\{ {\begin{array}{*{20}{l}}
{\langle {{\bf{v}}_3},{{\bf{v}}_1}\rangle  = 0}\\
{\langle {{\bf{v}}_3},{{\bf{v}}_2}\rangle  = 0}
\end{array}} \right.\\
 \Rightarrow \left\{ {\begin{array}{*{20}{l}}
{{b_1}\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle  + {b_2}\underbrace {\langle {{\bf{v}}_2},{{\bf{v}}_1}\rangle }_{ = 0} + {b_3}\langle {{\bf{u}}_3},{{\bf{v}}_1}\rangle  = 0}\\
{{b_1}\underbrace {\langle {{\bf{v}}_1},{{\bf{v}}_2}\rangle }_{ = 0} + {b_2}\langle {{\bf{v}}_2},{{\bf{v}}_2}\rangle  + {b_3}\langle {{\bf{u}}_3},{{\bf{v}}_2}\rangle  = 0}
\end{array}} \right.\\
 \Rightarrow \left\{ {\begin{array}{*{20}{l}}
{{b_1}\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle  + {b_3}\langle {{\bf{u}}_3},{{\bf{v}}_1}\rangle  = 0}\\
{{b_2}\langle {{\bf{v}}_2},{{\bf{v}}_2}\rangle  + {b_3}\langle {{\bf{u}}_3},{{\bf{v}}_2}\rangle  = 0}
\end{array}} \right.
\end{array}\]注意到 ${\bf v}_2 \neq {\bf 0}$ 因為 ${\bf v}_2$ 需與 ${\bf v}_1$ 正交，故兩條方程三個未知數 $b_1,b_2,b_3$，可指定一自由變數，故選 $b_3 :=1 \in \mathbb{R}^1$ 則我們可解得 $b_1, b_2$ 如下
\[\left\{ {\begin{array}{*{20}{l}}
{{b_1} =  - \frac{{\langle {{\bf{u}}_3},{{\bf{v}}_1}\rangle }}{{\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle }}}\\
{{b_2} =  - \frac{{\langle {{\bf{u}}_3},{{\bf{v}}_2}\rangle }}{{\langle {{\bf{v}}_2},{{\bf{v}}_2}\rangle }}}
\end{array}} \right.\]
也就是說
\[\begin{array}{l}
{{\bf{v}}_3} = {b_1}{{\bf{v}}_1} + {b_2}{{\bf{v}}_2} + {b_3}{{\bf{u}}_3}\\
 \Rightarrow {{\bf{v}}_3} =  - \frac{{\langle {{\bf{u}}_3},{{\bf{v}}_1}\rangle }}{{\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle }}{{\bf{v}}_1} - \frac{{\langle {{\bf{u}}_3},{{\bf{v}}_2}\rangle }}{{\langle {{\bf{v}}_2},{{\bf{v}}_2}\rangle }}{{\bf{v}}_2} + {{\bf{u}}_3}\\
 \Rightarrow {{\bf{v}}_3} = {{\bf{u}}_3} - \frac{{\langle {{\bf{u}}_3},{{\bf{v}}_1}\rangle }}{{\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle }}{{\bf{v}}_1} - \frac{{\langle {{\bf{u}}_3},{{\bf{v}}_2}\rangle }}{{\langle {{\bf{v}}_2},{{\bf{v}}_2}\rangle }}{{\bf{v}}_2}
\end{array}
\]至此我們有了一組 orthogonal subset $\{{\bf v}_1,{\bf v}_2,{\bf v}_3\} $ for $W$

重複上述步驟 (by induction)我們可建構一組 orthogonal basis $T^* :=\{{\bf v}_1,{\bf v}_2,...,{\bf v}_m\}$ 最後我們對每一組 ${\bf v}_i$ 做正規化，定義
\[
{\bf w}_i := \frac{1}{||{\bf v}_i||} {\bf v}_i
\]則我們得到一組 orthonormal basis $T := \{{\bf w}_1,...,{\bf w}_m\}$

讀者可用以下幾個例子做練習

Example 1: 令 $S=\{[1\;\;2]^T, [-3\;\;4]^T\}$ 為 ordered basis for $ V:= \mathbb{R}^2$ 且其上內積為標準內積。
(a) 試利用 Gram-Schmidt process 找出 orthogonal basis
(b) 試利用 Gram-Schmidt process 找出 orthonormal basis

Example 2: 令 $V := P_3$ 且其上的內積定義為
\[
\langle p(t), q(t) \rangle := \int_0^1 p(t) q(t) dt
\] 現在令 $W$ 為 $P_3$ 子空間且基底為 $\{t,t^2\}$ 試求 orthonormal basis for $W$

[線性代數] Orthonormal Basis 與 Gram-Schmidt Process (0)

首先引入 一組向量彼此互為標準正交的定義

===================
Definition: Orthonormal Set
令 $V$ 為有限維度的內積空間 且 令 $S$ 為 $V$ 上的一組 集合滿足 $S =\{{\bf v}_1,..{\bf v}_n\}$ 。則我們稱 $S$ 為 orthonormal set 若
\[\left\langle {{{\bf{v}}_i},{{\bf{v}}_j}} \right\rangle  = \left\{ \begin{array}{l}
0\begin{array}{*{20}{c}}
{}&{}
\end{array}i \ne j\\
1\begin{array}{*{20}{c}}
{}&{}
\end{array}i = j
\end{array} \right.\]其中 $\left\langle {{{\bf{v}}_i},{{\bf{v}}_j}} \right\rangle $ 為 $V$ 上的內積運算。
====================

Comment:
1. 給定一個向量空間我們如果有 orthonormal basis 則其上的任意向量將可以被非常容易地表示 (why?) 比如說我們考慮 $V:= \mathbb{R}^2$ 且 具備一組標準基底 $S:=\{{\bf s}_1, {\bf s}_2\} = \{[1 \;0]^T, [0\;1]^T\}$ 則此基底為 orthonormal 。現在若給訂任意向量 ${\bf v} := [100, -99]^T\in V$ 則此向量可以非常容易透過 基底 $S$ 做線性組合來組出 ${\bf v}$亦即
\[\underbrace {\left[ \begin{array}{l}
100\\
 - 99
\end{array} \right]}_{ = {\bf{v}}} = 100\underbrace {\left[ \begin{array}{l}
1\\
0
\end{array} \right]}_{ = {{\bf{s}}_1}} + \left( { - 99} \right)\underbrace {\left[ \begin{array}{l}
0\\
1
\end{array} \right]}_{ = {{\bf{s}}_2}}\]
2. 上述觀點事實上到無窮維仍然成立，也就是說我們可以將正交的概念推廣到函數空間上面，並且說明什麼叫做兩個"函數" 彼此正交。以下我們看個無窮維函數空間的例子：


Example (Infinite-dimension Case)
令 $V:= C[0, 2 \pi]$ 且配備內積 \[
(f(t),g(t)) := \frac{1}{2 \pi}\int_0^{2 \pi} f(t) \bar{g} (t) dt
\]則 下列集合
\[
S :=\{f_n(t): f_n(t) := e^{jnt} =\cos nt + j \sin nt, \; n \in \mathbb{Z}\}
\]為 orthonormal set
Proof:
取 $f_n(t), g_m(t) \in S$ 觀察
\[\begin{array}{l}
({f_n}(t),{g_m}(t)) = \frac{1}{{2\pi }}\int_0^{2\pi } {{f_n}} (t){{\bar g}_m}(t)dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\int_0^{2\pi } {{e^{jnt}}} {e^{ - jmt}}dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\int_0^{2\pi } {{e^{j\left( {n - m} \right)t}}} dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\int_0^{2\pi } {\left[ {\cos \left( {\left( {n - m} \right)t} \right) + j\sin \left( {\left( {n - m} \right)t} \right)} \right]} dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\int_0^{2\pi } {\cos \left( {\left( {n - m} \right)t} \right)} dt + \frac{j}{{2\pi }}\int_0^{2\pi } {\sin \left( {\left( {n - m} \right)t} \right)} dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}&{}
\end{array}n = m\\
0,\begin{array}{*{20}{c}}
{}&{}
\end{array}n \ne m
\end{array} \right. \;\;\;\;\;\;\;\;\; \square
\end{array}\]

=====================
Definition: Orthonormal Basis
若 $S$ 為 內積空間$V$上的一組有序基底，且 $S$ 為 orthnormal set 則我們稱此 $S$ 為 Orthnormal basis。
=====================

以下定理給出了 orthonormal basis 可以快速決定任意向量用該基底做線性組合的係數。

====================
Theorem: 
令 $S = \{{\bf u}_1, {\bf u}_2,...,{\bf u}_n\}$ 為一組 orthonormal basis 對有限維度向量空間 $V$ 且令 ${\bf v} \in V$ 則
\[
{\bf v} = c_1{\bf u}_1 + c_2 {\bf u}_2 + ... + c_n {\bf u}_n
\]其中 $c_i = \left \langle {\bf v}, {\bf u}_i \right \rangle \;\;\;\; \forall i=1,2,...,n$
====================

Comment:
上述定理中提及的 $c_i = \left \langle {\bf v}, {\bf u}_i \right \rangle$ 在幾何意義上為 ${\bf v}$ 在 ${\bf u}_i$ 上的分量，且 $c_i$ 在數學上又稱為 Fourier Coefficient


以下我們給出證明：

Proof:
由於 ${\bf v} \in V$故此向量 ${\bf v}$ 可透過 $V$ 上的基底作唯一線性組合表示。
\[
{\bf v} = c_1{\bf u}_1 + c_2 {\bf u}_2 + ... + c_n {\bf u}_n
\]
故我們只需證明 $c_i = \left \langle {\bf v}, {\bf u}_i \right \rangle \;\;\;\; \forall i=1,2,...,n$

現在固定任意 $i$ ，並且觀察
\[\begin{array}{l}
\left\langle {{\bf{v}},{{\bf{u}}_i}} \right\rangle  = \left\langle {{c_1}{{\bf{u}}_1} + {c_2}{{\bf{u}}_2} + ... + {c_n}{{\bf{u}}_n},{{\bf{u}}_i}} \right\rangle \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left\langle {{c_1}{{\bf{u}}_1},{{\bf{u}}_i}} \right\rangle  + \left\langle {{c_2}{{\bf{u}}_2},{{\bf{u}}_i}} \right\rangle  + ... + \left\langle {{c_i}{{\bf{u}}_i},{{\bf{u}}_i}} \right\rangle  + ... + \left\langle {{c_n}{{\bf{u}}_n},{{\bf{u}}_i}} \right\rangle \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {c_1}\left\langle {{{\bf{u}}_1},{{\bf{u}}_i}} \right\rangle  + {c_2}\left\langle {{{\bf{u}}_2},{{\bf{u}}_i}} \right\rangle  + ... + {c_i}\left\langle {{{\bf{u}}_i},{{\bf{u}}_i}} \right\rangle  + ... + {c_n}\left\langle {{{\bf{u}}_n},{{\bf{u}}_i}} \right\rangle \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {c_1}\underbrace {\left\langle {{{\bf{u}}_1},{{\bf{u}}_i}} \right\rangle }_{ = 0} + {c_2}\underbrace {\left\langle {{{\bf{u}}_2},{{\bf{u}}_i}} \right\rangle }_{ = 0} + ... + {c_i}\underbrace {\left\langle {{{\bf{u}}_i},{{\bf{u}}_i}} \right\rangle }_{ = 1} + ... + {c_n}\underbrace {\left\langle {{{\bf{u}}_n},{{\bf{u}}_i}} \right\rangle }_{ = 0}\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {c_i}
\end{array}
\]注意到上述結果使用了 $S$ 基底為 orthonormal 故當 $i\neq j$ 時候， $\langle {\bf u_i}, {\bf u}_j\rangle =0$  $\square$

以下我們看個例子
Example 1:
令 $S = \{{\bf u}_1, {\bf u}_2\}$ 為 $\mathbb{R}^2$ 的一組基底，其中
\[{{\bf{u}}_1} = \frac{1}{\sqrt{2} }\left[ {\begin{array}{*{20}{c}}
1\\
1
\end{array}} \right];{{\bf{u}}_1} = \frac{1}{\sqrt{2}}\left[ {\begin{array}{*{20}{c}}
{ - 1}\\
1
\end{array}} \right]\]
(a) 確認 $S$ 為一組 orthonormal basis
(b) 令 ${\bf v} := [3\;\;4]^T$ 試決定其透過 $S$ 基底所構成的線性組合

Proof:
(a) 注意到 $\mathbb{R}^2$ 為內積空間，我們可在其上定義內積運算為
\[
\langle {\bf u}, {\bf v} \rangle := {\bf u}^T {\bf v}
\]
 現在我們檢驗內積 $\langle {\bf u}_1, {\bf u}_2 \rangle$
\[\langle {{\bf{u}}_1},{{\bf{u}}_2}\rangle  = \frac{1}{2} \left[ {\begin{array}{*{20}{c}}
1&1
\end{array}} \right] \left[ {\begin{array}{*{20}{c}}
{ - 1}\\
1
\end{array}} \right] = 0\]故此說明了 ${\bf u}_1, {\bf u}_2$ 為 orthogonal 接著我們驗證此基底具有 unit length
\[\left\| {{{\bf{u}}_1}} \right\| = \sqrt {\langle {{\bf{u}}_1},{{\bf{u}}_1}\rangle }  = 1;\begin{array}{*{20}{c}}
{}&{}
\end{array}\left\| {{{\bf{u}}_2}} \right\| = \sqrt {\langle {{\bf{u}}_2},{{\bf{u}}_2}\rangle }  = 1\]
綜上所述， $S$ 為 orthonormal basis。

(b) 現在令 ${\bf v}:= [3\;\;4]^T \in \mathbb{R}^2$ 故此向量可透過 $S$ 基底做線性組合表示
\[
{\bf v} = c_1 {\bf u}_1 + c_2 {\bf u}_2
\] 又因為 $S$ 為 orthonormal basis 故由前述定理可知 上式中的係數可透過內積求得
\[\begin{array}{l}
{c_1} = \langle {\bf{v}},{{\bf{u}}_1}\rangle  = {{\bf{v}}^T}{{\bf{u}}_1} = \left[ {\begin{array}{*{20}{c}}
3&4
\end{array}} \right]\left( {\frac{1}{\sqrt{2}}\left[ {\begin{array}{*{20}{c}}
1\\
1
\end{array}} \right]} \right) = \frac{7}{\sqrt{2}}\\
{c_2} = \langle {\bf{v}},{{\bf{u}}_2}\rangle  = {{\bf{v}}^T}{{\bf{u}}_2} = \left[ {\begin{array}{*{20}{c}}
3&4
\end{array}} \right]\left( {\frac{1}{\sqrt{2}}\left[ {\begin{array}{*{20}{c}}
{ - 1}\\
1
\end{array}} \right]} \right) = \frac{1}{\sqrt{2}}\;\;\;\;\; \square
\end{array}\]

現在我們可以考慮以下問題：
若給定一個有限維度向量空間 $V$ 伴隨一組基底 $S$。那麼我們想進一步詢問是否可從這組基底 $S$ 中找出另外一組基底 $T$ 且 $T$ 基底元素彼此互相正交 且 單位長度為 $1$ ? 亦即我們想問是否可以從一組不是 orthonormal basis $S$ 來建構一組 orthonormal basis $T$ ，答案是肯定的，此構造方法稱為 Gram-Schmidt Process 我們之後會再行介紹。

[線性代數] 淺論有限維 實數內積空間 (0)

這次要介紹 有限維度的內積空間 (Inner Product Space)，簡而言之就是有限維度向量空間 $(V, \oplus, \odot)$ 上額外定義內積運算，則我們稱此類空間為 內積空間。

Comments: 
1. 有限維度內積空間稱為 歐式空間 (Euclidean Space)
2. 若為無窮維度的內積空間我們稱為 Pre-Hilbert Space，若此無窮維度內積空間為完備空間，則稱之為 Hilbert Space
3. 為何好好的向量空間不用還要多此一舉另外又定一個 內積空間？主因是向量空間本身只定義了加法 與純量乘法的運算，如果我們想討論在向量空間中某元素的大小 或者 某兩元素之間的關係則無從得知。但是如果我們引入 內積運算 到向量空間中，則可以在原本的向量空間上將 代數 與 幾何 的概念做直接的連結，也就是我們可以透過內積引入 其上的兩元素是否 垂直 (正交) 的概念，亦可針對某元素來探討其 長度與大小 概念 。
4. 讀者可回憶 高中所學習過的 點積 (dot product)，此文所探討的內積 即為 點積 的推廣。



首先定義內積

==================
Definition: Inner Product on Vector Space
令 $V$ 為實數向量空間，則 Inner Product on $V$ 為函數 $(\cdot, \cdot): V\times V \to \mathbb{R}$ 滿足下列條件
(a) $({\bf u}, {\bf u}) \ge 0$：且 $({\bf u}, {\bf u}) = 0$ 若且唯若 ${\bf u} = {\bf 0}_V$
(b) $({\bf u}, {\bf v}) = ({\bf v}, {\bf u}), \; \forall {\bf u,v} \in V$
(c) $({\bf u} + {\bf v}, {\bf w}) = ({\bf u}, {\bf w}) + ({\bf u}, {\bf v}), \; \forall {\bf u,v,w} \in V$
(d) $(c {\bf u}, {\bf v}) = c({\bf u}, {\bf v}),\; \forall {\bf u,v} \in V, c \in \mathbb{R}$
==================

Comment:
1. 透過內積我們亦可定義 ${\bf u}$ 的大小，記作 $||{\bf u}|| = \sqrt{ ({\bf u}, {\bf u} )} $
2. 透過內積我們亦可定義在內積空間中兩向量是否垂直：亦即 若 ${\bf u}, {\bf v} \in V$ 稱為 垂直 或 正交 若 $({\bf u}, {\bf v}) = 0$

2. 前述內積定義可立即有以下衍生結果：
Fact 1: $\left( {{\bf{u}},c{\bf{v}}} \right) = c\left( {{\bf{u}},{\bf{v}}} \right)$

Fact 2: $\left( {{\bf{u}},{\bf{v}} + {\bf{w}}} \right) = \left( {{\bf{u}},{\bf{v}}} \right) + \left( {{\bf{u}},{\bf{w}}} \right)$

讀者可自行驗證上述兩個結果。

=========
Claim 1:  給定 ${\bf v}, {\bf w} \in V$ ，若對任意 ${\bf u} \in V$ 我們有 $
({\bf u},{\bf v}) = ({\bf u}, {\bf w})$ 則 ${\bf v} = {\bf w}$
=========
Proof:
由於我們要證明 ${\bf v} = {\bf w}$，故我們僅需證明 $\left( {{\bf{v}} - {\bf{w}},{\bf{v}} - {\bf{w}}} \right) = 0$ 現在觀察兩者之差的內積
\[\begin{array}{l}
\left( {{\bf{v}} - {\bf{w}},{\bf{v}} - {\bf{w}}} \right) = \left( {{\bf{v}} - {\bf{w}},{\bf{v}}} \right) + \left( {{\bf{v}} - {\bf{w}}, - {\bf{w}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \left( {{\bf{v}} - {\bf{w}},{\bf{v}}} \right) - \left( {{\bf{v}} - {\bf{w}},{\bf{w}}} \right)
\end{array}\]注意到 ${\bf v} - {\bf w} \in V$ 故 若我們令 ${\bf u}:= {\bf v} - {\bf w} $ 則 由已知條件可知
\[\begin{array}{l}
\left( {{\bf{v}} - {\bf{w}},{\bf{v}} - {\bf{w}}} \right) = \left( {{\bf{v}} - {\bf{w}},{\bf{v}}} \right) - \left( {{\bf{v}} - {\bf{w}},{\bf{w}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \left( {{\bf{u}},{\bf{v}}} \right) - \left( {{\bf{u}},{\bf{w}}} \right) = 0. \;\;\; \square
\end{array}\]


由上述結果我們有以下衍生定理
=========
Corollary of Claim 1:
若 對任意 ${\bf u} \in V$ 我們有 $({\bf u}, {\bf v})=0$ 則 ${\bf v} = 0$
=========
Proof: omitted.



=========
Claim: 令向量空間 $ V := \mathbb{R}^n$ 現在定義下列函數 $f: \mathbb{R}^n \times \mathbb{R}^n \to \mathbb{R}$ 滿足
\[
f({\bf u},{\bf v}) := {\bf u}^T {\bf v}
\]其中 ${\bf u} := [u_1\;u_2\;...,u_n]^T $ 與 ${\bf v} := [v_1\;\;v_2\;...,v_n]^T $ 為任意 $\mathbb{R}^n$ 空間中的向量， 則此運算為一種內積。
=========
Proof:
我們現在驗證 $f$ 確實為內積，故我們需驗證其滿足前述四項 (a,b,c,d)條件：首先驗證 $(a)$:
\[f({\bf{u}},{\bf{u}}) = {{\bf{u}}^T}{\bf{u}} = u_1^2 + ...u_2^2 \ge 0\]且 $f({\bf{u}},{\bf{u}}) = 0$ 若且唯若 ${\bf u} = [0,...,0]^T$

$(b)$ 令 ${\bf u,v} \in \mathbb{R}^n$ 現在我們觀察
\[\begin{array}{l}
f({\bf{v}},{\bf{u}}) = {{\bf{v}}^T}{\bf{u}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = {v_1}{u_1} + ... + {v_n}{u_n}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = {u_1}{v_1} + ... + {u_n}{v_n}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
{{u_1}}&{{u_2}}&{...}&{{u_n}}
\end{array}} \right]\left[ \begin{array}{l}
{v_1}\\
{v_2}\\
 \vdots \\
{v_n}
\end{array} \right] = {{\bf{u}}^T}{\bf{v}} = f\left( {{\bf{u}},{\bf{v}}} \right)
\end{array}
\]
$(c)$ 令 $\bf u,v,w$$\in \mathbb{R}^n$ 接著我們觀察
\[\begin{array}{l}
f({\bf{u}} + {\bf{v}},{\bf{w}}) = {\left( {{\bf{u}} + {\bf{v}}} \right)^T}{\bf{w}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
{{u_1} + {v_1}}&{{u_2} + {v_2}}&{...}&{{u_n} + {v_n}}
\end{array}} \right]\left[ \begin{array}{l}
{w_1}\\
{w_2}\\
 \vdots \\
{w_n}
\end{array} \right]\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left( {{u_1} + {v_1}} \right){w_1} + ...\left( {{u_n} + {v_n}} \right){w_n}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left( {{u_1}{w_1} + ... + {u_n}{w_n}} \right) + \left( {{v_1}{w_1} + ... + {v_n}{w_n}} \right)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
{{u_1}}&{{u_2}}&{...}&{{u_n}}
\end{array}} \right]\left[ \begin{array}{l}
{w_1}\\
{w_2}\\
 \vdots \\
{w_n}
\end{array} \right] + \left[ {\begin{array}{*{20}{c}}
{{v_1}}&{{v_2}}&{...}&{{v_n}}
\end{array}} \right]\left[ \begin{array}{l}
{w_1}\\
{w_2}\\
 \vdots \\
{w_n}
\end{array} \right]\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = {\left( {\bf{u}} \right)^T}{\bf{w}} + {\left( {\bf{v}} \right)^T}{\bf{w}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = f({\bf{u}},{\bf{w}}) + f({\bf{v}},{\bf{w}})
\end{array}
\]
$(d)$ 同理我們觀察
\[\begin{array}{l}
f(c{\bf{u}},{\bf{v}}) = {\left( {c{\bf{u}}} \right)^T}{\bf{v}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
{c{u_1}}&{c{u_2}}&{...}&{c{u_n}}
\end{array}} \right]\left[ \begin{array}{l}
{v_1}\\
{v_2}\\
 \vdots \\
{v_n}
\end{array} \right]\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = c\left[ {\begin{array}{*{20}{c}}
{{u_1}}&{{u_2}}&{...}&{{u_n}}
\end{array}} \right]\left[ \begin{array}{l}
{v_1}\\
{v_2}\\
 \vdots \\
{v_n}
\end{array} \right]\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = c{\left( {\bf{u}} \right)^T}{\bf{v}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = cf({\bf{u}},{\bf{v}})
\end{array}\]

Claim 2:  令向量空間 $ V := \mathbb{R}^n$ 現在定義下列函數 $f: \mathbb{R}^n \times \mathbb{R}^n \to \mathbb{R}$ 滿足
\[
f({\bf u},{\bf v}) := {\bf u}^T {\bf v}
\]其中 ${\bf u} := [u_1\;u_2\;...,u_n]^T $ 與 ${\bf v} := [v_1\;\;v_2\;...,v_n]^T $ 為任意 $\mathbb{R}^n$ 空間中的向量， 則此運算為 $\mathbb{R}^n$ 一種內積。
Proof: omitted

Claim 3:  令向量空間 $ V := C[a,b]$ ，若 $f,g \in V$ 令
\[\left( {f,g} \right): = \int_a^b {f\left( t \right)g\left( t \right)dt} \] 則 $(f,g)$ 為 $C[a,b]$ 上的一種內積。
Proof: omitted


以下我們接著介紹對任意有限維度向量空間，則其上的內積可以用一個透過基底表示的矩陣 $C$ 來完全決定。

==================
Theorem: 令 $S=\{{\bf u}_1,...,{\bf u}_n\}$ 為 向量空間 $V$ 的 ordered basis 且假設我們可在 $V$ 上定義內積，現在令 $c_{ij} = ({\bf u}_i, {\bf u}_j)$ 且 $C=[c_{ij}]$ 矩陣 則
對任意 ${\bf v,w} \in V$， 存在 $C = [c_{ij}]$ 矩陣 使得 $({\bf v},{\bf w}) = [{\bf v}]_S^T C [{\bf w}]_S$
==================

Proof : 給定  ${\bf v,w} \in V$ 則我們有
\[\begin{array}{l}
{\bf{v}} = {a_1}{{\bf{u}}_1} + ... + {a_n}{{\bf{u}}_n}\\
{\bf{w}} = {b_1}{{\bf{u}}_1} + ... + {b_n}{{\bf{u}}_n}
\end{array}
\]
現在我們觀察內積 \[\begin{array}{l}
({\bf{v}},{\bf{w}}) = ({a_1}{{\bf{u}}_1} + ... + {a_n}{{\bf{u}}_n},{\bf{w}})\\
 = ({a_1}{{\bf{u}}_1},{\bf{w}}) + ({a_2}{{\bf{u}}_2},{\bf{w}}) + ... + ({a_n}{{\bf{u}}_n},{\bf{w}})\\
 = {a_1}({{\bf{u}}_1},{\bf{w}}) + {a_2}({{\bf{u}}_2},{\bf{w}}) + ... + {a_n}({{\bf{u}}_n},{\bf{w}})
\end{array}\]又因為 ${\bf{w}} = {b_1}{{\bf{u}}_1} + ... + {b_n}{{\bf{u}}_n}$ 故
\[\begin{array}{l}
({\bf{v}},{\bf{w}}) = ({a_1}{{\bf{u}}_1} + ... + {a_n}{{\bf{u}}_n},{\bf{w}})\\
 = ({a_1}{{\bf{u}}_1},{\bf{w}}) + ({a_2}{{\bf{u}}_2},{\bf{w}}) + ... + ({a_n}{{\bf{u}}_n},{\bf{w}})\\
 = {a_1}({{\bf{u}}_1},{\bf{w}}) + {a_2}({{\bf{u}}_2},{\bf{w}}) + ... + {a_n}({{\bf{u}}_n},{\bf{w}})\\
 = {a_1}({{\bf{u}}_1},{b_1}{{\bf{u}}_1} + ... + {b_n}{{\bf{u}}_n}) + {a_2}({{\bf{u}}_2},{b_1}{{\bf{u}}_1} + ... + {b_n}{{\bf{u}}_n}) + ... + {a_n}({{\bf{u}}_n},{b_1}{{\bf{u}}_1} + ... + {b_n}{{\bf{u}}_n})\\
 = \left[ {{a_1}({{\bf{u}}_1},{b_1}{{\bf{u}}_1}) + {a_1}({{\bf{u}}_1},{b_2}{{\bf{u}}_2}) + ... + {a_1}({{\bf{u}}_1},{b_n}{{\bf{u}}_n})} \right] + \\
\begin{array}{*{20}{c}}
{}&{}
\end{array}... + \left[ {{a_n}({{\bf{u}}_n},{b_1}{{\bf{u}}_1}) + {a_n}({{\bf{u}}_n},{b_2}{{\bf{u}}_2})... + {a_n}({{\bf{u}}_n},{b_n}{{\bf{u}}_n})} \right]\\
 = \left[ {{a_1}{b_1}({{\bf{u}}_1},{{\bf{u}}_1}) + {a_1}{b_2}({{\bf{u}}_1},{{\bf{u}}_2}) + ... + {a_1}{b_n}({{\bf{u}}_1},{{\bf{u}}_n})} \right] + \\
\begin{array}{*{20}{c}}
{}&{}
\end{array}... + \left[ {{a_n}{b_1}({{\bf{u}}_n},{{\bf{u}}_1}) + {a_n}{b_2}({{\bf{u}}_n},{{\bf{u}}_2})... + {a_n}{b_n}({{\bf{u}}_n},{{\bf{u}}_n})} \right]\\
 = \sum\limits_{j = 1}^n {{a_1}{b_j}({{\bf{u}}_1},{{\bf{u}}_j})}  + \sum\limits_{j = 1}^n {{a_2}{b_j}({{\bf{u}}_2},{{\bf{u}}_j})}  + ... + \sum\limits_{j = 1}^n {{a_n}{b_j}({{\bf{u}}_n},{{\bf{u}}_j})} \\
 = \sum\limits_{j = 1}^n {\left( {{a_1}{b_j}({{\bf{u}}_1},{{\bf{u}}_j}) + {a_2}{b_j}({{\bf{u}}_2},{{\bf{u}}_j}) + ... + {a_n}{b_j}({{\bf{u}}_n},{{\bf{u}}_j})} \right)} \\
 = \sum\limits_{j = 1}^n {\sum\limits_{i = 1}^n {{a_i}{b_j}({{\bf{u}}_i},{{\bf{u}}_j})} }
\end{array}\]
現在令 $c_{ij} = (a_i, b_j)$ ，則我們有
\[({\bf{v}},{\bf{w}}) = \sum\limits_{j = 1}^n {\sum\limits_{i = 1}^n {{a_i}{b_j}{c_{ij}}} } =[{\bf v}]_S C [{\bf w}]_S\]

Comments: 
1. 前述的 $C$ 矩陣亦稱為 matrix of the inner produce with respect to the ordered basis $S$
2. 由於我們有 $c_{ij} = ({\bf u}_i, {\bf u}_j)$ 且利用內積定義 $ ({\bf u}_i, {\bf u}_j)=({\bf u}_j, {\bf u}_i) $ 我們得到 $c_{ij} = c_{ji}$，故 前述的 $C = [c_{ij}]$ 矩陣為對稱矩陣。


上述 inner product 不但可用來引出 norm 的概念，更保持了連續性，以下我們給出相關結果。

============================
Lemma: (Continuity of Inner Product)
令 $u_n \to u$ 且 $v_n \to v$ 且收斂在某內積空間 (或 Pre-Hibert Space) ，則
\[
(u_n,v_n) \to (u,v)
\] ============================

Proof: 直接觀察
\begin{align*}
  \left| {({u_n},{v_n}) - (u,v)} \right| &= \left| {({u_n},{v_n}) - \left( {{u_n},v} \right) + \left( {{u_n},v} \right) - (u,v)} \right| \hfill \\
  & \leqslant \left| {({u_n},{v_n}) - \left( {{u_n},v} \right)} \right| + \left| {\left( {{u_n},v} \right) - (u,v)} \right| \hfill \\
   &= \left| {({u_n},{v_n} - v)} \right| + \left| {\left( {{u_n} - u,v} \right)} \right| \hfill \\
\end{align*} 回憶 Cauchy Schwarz Inequality $|(x,y)| \leq ||x|| ||y||$，我們有
\[\left| {({u_n},{v_n}) - (u,v)} \right| \leqslant \left\| {{u_n}} \right\|\left\| {{v_n} - v} \right\| + \left\| {{u_n} - u} \right\|\left\| v \right\|\;\;\;\; (*)
\]注意到因為 $\{u_n\}$數列為收斂數列，故 $||u_n|| < \infty$，另外 $v$ 為 收斂數列 $\{v_n\}$ 的極限，故 $||v|| < \infty$。除此之外，由假設  $u_n \to u$ 且 $v_n \to v$ 可知
\[
||u_n - u|| \to 0;\;\;\;\;\; ||v_n \to v|| \to 0
\]因此，上式 $(*)$ 取極限後可得
\[\left| {({u_n},{v_n}) - (u,v)} \right| \leqslant \underbrace {\left\| {{u_n}} \right\|}_{ < \infty }\underbrace {\left\| {{v_n} - v} \right\|}_{ \to 0} + \underbrace {\left\| {{u_n} - u} \right\|}_{ \to 0}\underbrace {\left\| v \right\|}_{ < \infty } \to 0 + 0 = 0\]