[線性代數] Orthonormal Basis 與 Gram-Schmidt Process (1)

延續前篇 [線性代數] Orthonormal Basis 與 Gram-Schmidt Process (0) 的問題，以下我們正式引入 Gram-Schmidt Process


Theorem: Gram-Schmidt Process
令 $V$ 為 有限維度內積空間 且 令 $W\neq \{ {\bf 0}\}$ 為 $V$中的 $m$-維子空間。則此子空間 $W$ 存在一組正交基底 $T =\{{\bf w}_1,...{\bf w}_m\}$

Proof:
我們首先建構一組 orthogonal basis $T^* :=\{{\bf v}_1,{\bf v}_2...,{\bf v}_m\}$ for $W$。由於 $W$ 為 $V$ 的子空間，故我們可在 $W$ 其上選取一組基底，令 $S=\{{\bf u}_1,...,{\bf u}_m\} $ 接著我們選取其中任意一個向量，比如說 ${\bf u}_1 \in S$ 並稱此向量為 ${\bf v}_1$ 亦即我們重新定義
\[
{\bf v}_1 := {\bf u}_1
\]注意到此 ${\bf v}_1 \in  W_1:=span\{ v_1 \}$ 其中 $W_1$ 為 $W$ 的子空間

接著我們要尋找 ${\bf v}_2$，我們希望此向量 ${\bf v}_2$ 落在 $W$ 子空間 $W_2 = span\{ {\bf u}_1, {\bf u}_2\} $ 且 ${\bf v}_2$ 與 ${\bf v}_1$ 彼此 orthogonal。但注意到我們有 ${\bf v}_1 := {\bf u}_1 $ 故 ${\bf v}_2  \in W_2 = span\{ {\bf u}_1 , {\bf u}_2\}  =  span\{ {\bf v}_1, {\bf u}_2\} $  也就是說 ${\bf v}_2$ 可透過 ${\bf v}_1$ 與 ${\bf u}_2$ 做線性組合
\[
{\bf v}_2 = a_1 {\bf v}_1 + a_2 {\bf u}_2
\]其中 $a_1, a_2$ 待定。 注意到由於我們要讓 ${\bf v}_2$ 與 ${\bf v}_1$ 彼此 orthogonal 故 $\langle {\bf v}_2, {\bf v}_1 \rangle = 0$ 故現在觀察
\[\begin{array}{l}
\langle {{\bf{v}}_2},{{\bf{v}}_1}\rangle  = 0\\
 \Rightarrow \langle {a_1}{{\bf{v}}_1} + {a_2}{{\bf{u}}_2},{{\bf{v}}_1}\rangle  = 0\\
 \Rightarrow {a_1}\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle  + {a_2}\langle {{\bf{u}}_2},{{\bf{v}}_1}\rangle  = 0\\
 \Rightarrow {a_1} =  - {a_2}\frac{{\langle {{\bf{u}}_2},{{\bf{v}}_1}\rangle }}{{\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle }} \;\;\;\; (*)
\end{array}\]注意到上式中 $\langle {\bf v}_1, {\bf v}_2 \rangle \neq 0$ 因為 ${\bf v}_1 = {\bf u}_1 \in S$ 且 $S$ 為 非零子空間 $W$ 的基底 。注意到 $(*)$ 為一條方程式兩個未知數 $a_1,a_2$ 故可任意令 $a_2 \in \mathbb{R}^1$ 為自由變數解得 $a_1$ 。為了計算方便起見我們選 $a_2 :=1$ 則
\[{a_1} =  - \frac{{\langle {{\bf{u}}_2},{{\bf{v}}_1}\rangle }}{{\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle }}
\]此說明了
\[\begin{array}{l}
{{\bf{v}}_2} = {a_1}{{\bf{v}}_1} + {a_2}{{\bf{u}}_2}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} =  - \frac{{\langle {{\bf{u}}_2},{{\bf{v}}_1}\rangle }}{{\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle }}{{\bf{v}}_1} + {{\bf{u}}_2} = {{\bf{u}}_2} - \frac{{\langle {{\bf{u}}_2},{{\bf{v}}_1}\rangle }}{{\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle }}{{\bf{v}}_1}
\end{array}\]至此我們有了一組 orthogonal subset $\{{\bf v}_1, {\bf v}_2\}$ for $W$。

接著我們尋找 ${\bf v}_3 \in W_3 := span\{{\bf u}_1, {\bf u}_2, {\bf u}_3\}$ 且 ${\bf v}_3$ 與 ${\bf v}_1, {\bf v}_2$ 為 orthogonal。注意到
\[{W_3}: = span\{ {{\bf{u}}_1},{{\bf{u}}_2},{{\bf{u}}_3}\}  = span\{ {{\bf{v}}_1},{{\bf{v}}_2},{{\bf{u}}_3}\} \]故
\[\begin{array}{l}
{{\bf{v}}_3} \in span\{ {{\bf{v}}_1},{{\bf{v}}_2},{{\bf{u}}_3}\} \\
 \Rightarrow {{\bf{v}}_3} = {b_1}{{\bf{v}}_1} + {b_2}{{\bf{v}}_2} + {b_3}{{\bf{u}}_3}
\end{array}\]且又因為我們要求  ${\bf v}_3$ 與 ${\bf v}_1, {\bf v}_2$ 為 orthogonal故
\[\begin{array}{l}
{{\bf{v}}_3},{{\bf{v}}_1}\rangle  = 0\\
 \Rightarrow \langle {b_1}{{\bf{v}}_1} + {b_2}{{\bf{v}}_2} + {b_3}{{\bf{u}}_3},{{\bf{v}}_1}\rangle  = 0\\
 \Rightarrow {b_1}\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle  + {b_2}\langle {{\bf{v}}_2},{{\bf{v}}_1}\rangle  + {b_3}\langle {{\bf{u}}_3},{{\bf{v}}_1}\rangle  = 0\\
\\
\langle {{\bf{v}}_3},{{\bf{v}}_2}\rangle  = 0\\
 \Rightarrow \langle {b_1}{{\bf{v}}_1} + {b_2}{{\bf{v}}_2} + {b_3}{{\bf{u}}_3},{{\bf{v}}_2}\rangle  = 0\\
 \Rightarrow {b_1}\langle {{\bf{v}}_1},{{\bf{v}}_2}\rangle  + {b_2}\langle {{\bf{v}}_2},{{\bf{v}}_2}\rangle  + {b_3}\langle {{\bf{u}}_3},{{\bf{v}}_2}\rangle  = 0
\end{array}\]也就是說我們有一組聯立方程
\[\begin{array}{l}
\left\{ {\begin{array}{*{20}{l}}
{\langle {{\bf{v}}_3},{{\bf{v}}_1}\rangle  = 0}\\
{\langle {{\bf{v}}_3},{{\bf{v}}_2}\rangle  = 0}
\end{array}} \right.\\
 \Rightarrow \left\{ {\begin{array}{*{20}{l}}
{{b_1}\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle  + {b_2}\underbrace {\langle {{\bf{v}}_2},{{\bf{v}}_1}\rangle }_{ = 0} + {b_3}\langle {{\bf{u}}_3},{{\bf{v}}_1}\rangle  = 0}\\
{{b_1}\underbrace {\langle {{\bf{v}}_1},{{\bf{v}}_2}\rangle }_{ = 0} + {b_2}\langle {{\bf{v}}_2},{{\bf{v}}_2}\rangle  + {b_3}\langle {{\bf{u}}_3},{{\bf{v}}_2}\rangle  = 0}
\end{array}} \right.\\
 \Rightarrow \left\{ {\begin{array}{*{20}{l}}
{{b_1}\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle  + {b_3}\langle {{\bf{u}}_3},{{\bf{v}}_1}\rangle  = 0}\\
{{b_2}\langle {{\bf{v}}_2},{{\bf{v}}_2}\rangle  + {b_3}\langle {{\bf{u}}_3},{{\bf{v}}_2}\rangle  = 0}
\end{array}} \right.
\end{array}\]注意到 ${\bf v}_2 \neq {\bf 0}$ 因為 ${\bf v}_2$ 需與 ${\bf v}_1$ 正交，故兩條方程三個未知數 $b_1,b_2,b_3$，可指定一自由變數，故選 $b_3 :=1 \in \mathbb{R}^1$ 則我們可解得 $b_1, b_2$ 如下
\[\left\{ {\begin{array}{*{20}{l}}
{{b_1} =  - \frac{{\langle {{\bf{u}}_3},{{\bf{v}}_1}\rangle }}{{\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle }}}\\
{{b_2} =  - \frac{{\langle {{\bf{u}}_3},{{\bf{v}}_2}\rangle }}{{\langle {{\bf{v}}_2},{{\bf{v}}_2}\rangle }}}
\end{array}} \right.\]
也就是說
\[\begin{array}{l}
{{\bf{v}}_3} = {b_1}{{\bf{v}}_1} + {b_2}{{\bf{v}}_2} + {b_3}{{\bf{u}}_3}\\
 \Rightarrow {{\bf{v}}_3} =  - \frac{{\langle {{\bf{u}}_3},{{\bf{v}}_1}\rangle }}{{\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle }}{{\bf{v}}_1} - \frac{{\langle {{\bf{u}}_3},{{\bf{v}}_2}\rangle }}{{\langle {{\bf{v}}_2},{{\bf{v}}_2}\rangle }}{{\bf{v}}_2} + {{\bf{u}}_3}\\
 \Rightarrow {{\bf{v}}_3} = {{\bf{u}}_3} - \frac{{\langle {{\bf{u}}_3},{{\bf{v}}_1}\rangle }}{{\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle }}{{\bf{v}}_1} - \frac{{\langle {{\bf{u}}_3},{{\bf{v}}_2}\rangle }}{{\langle {{\bf{v}}_2},{{\bf{v}}_2}\rangle }}{{\bf{v}}_2}
\end{array}
\]至此我們有了一組 orthogonal subset $\{{\bf v}_1,{\bf v}_2,{\bf v}_3\} $ for $W$

重複上述步驟 (by induction)我們可建構一組 orthogonal basis $T^* :=\{{\bf v}_1,{\bf v}_2,...,{\bf v}_m\}$ 最後我們對每一組 ${\bf v}_i$ 做正規化，定義
\[
{\bf w}_i := \frac{1}{||{\bf v}_i||} {\bf v}_i
\]則我們得到一組 orthonormal basis $T := \{{\bf w}_1,...,{\bf w}_m\}$

讀者可用以下幾個例子做練習

Example 1: 令 $S=\{[1\;\;2]^T, [-3\;\;4]^T\}$ 為 ordered basis for $ V:= \mathbb{R}^2$ 且其上內積為標準內積。
(a) 試利用 Gram-Schmidt process 找出 orthogonal basis
(b) 試利用 Gram-Schmidt process 找出 orthonormal basis

Example 2: 令 $V := P_3$ 且其上的內積定義為
\[
\langle p(t), q(t) \rangle := \int_0^1 p(t) q(t) dt
\] 現在令 $W$ 為 $P_3$ 子空間且基底為 $\{t,t^2\}$ 試求 orthonormal basis for $W$