[線性代數] 一類含有反矩陣的等式

Claim:
令 $A \in \mathbb{R}^{m \times n}$，且 $\lambda >0$ 則以下等式成立
\[
(A^TA+\lambda I)^{-1}A^T = A^T(AA^T+\lambda I)^{-1}
\]

Proof: 觀察 $A^TAA^T+\lambda A^T$ 可對其從左方或者右方提出 $A^T$，亦即
\[\begin{align*}
A^T(AA^T+\lambda I) = (A^TA+\lambda I)A^T
\end{align*}\]由於 $(AA^T +\lambda I)$ 為可逆，$(AA^T+\lambda I)^{-1}$存在，故對上式兩邊從右方同乘此項可得
\[
A^T = (A^TA+\lambda I)A^T(AA^T+\lambda I)^{-1}
\]又注意到 $(A^TA+\lambda I)$ 為可逆，$(A^TA+\lambda I)^{-1}$存在，對上式從左方同乘此項可得
\[
(A^TA+\lambda I)^{-1}A^T = A^T(AA^T+\lambda I)^{-1}
\]至此證明完畢。$\square$


Comments:
上述結果多出現於一類稱作 Tikhonov Regularization (或者有拘束的最小二乘方問題)問題之中：亦即令 $A \in \mathbb{R}^{m \times n}$ 且 ${\bf x},{\bf y}\in \mathbb{R}^{n}$，$\lambda >0$考慮
\[
\min_{\bf x}\|A{\bf x} - {\bf y}\|_2^2 + \lambda \|{\bf x}\|_2^2
\]則不難證明上述最佳化問題之解為
\[
{\bf x}= (A^TA+\lambda I)^{-1}A^T {\bf y}  = A^T(AA^T+\lambda I)^{-1}{\bf y}
\]上述第二等式成立因為 前述 claim。故我們在實際計算反矩陣時，可以決定到底要用 哪一個 inverse來加速計算速度，比如 $A \in \mathbb{R}^{5000\times 100}$ 那麼 $(A^TA+\lambda I)^{-1}$ 要求對 $100\times 100$ 矩陣做 反矩陣，但是 $(AA^T+\lambda I)^{-1}$ 卻需要對 $5000\times 5000$大小的矩陣來作反矩陣。計算速度上會相差甚遠。

[線性代數] 構造 正定矩陣 其元素含有負值的例子

首先回憶 正定 (positive definite)矩陣 定義:

Definition: 令 $Q \in \mathbb{R}^{n\times n}$且 $Q^T=Q$。我們說 $Q$ 為 positive definite 若下列條件成立: 對任意 ${\bf x} \in \mathbb{R}^n$ 且 ${\bf x} \neq {\bf 0}$,
$$
{\bf x}^TQ{\bf x}>0
$$


我們想問是否有可能構造出一正定矩陣其部分元素取值為負。答案是肯定的。請看以下例子:

==============
Example: 
令 $Q = \begin{bmatrix}2 & -1 \\ -1 & 2 \end{bmatrix}$。試証 $Q$ 為 positive definite。
================

Proof: 首先注意到 $Q^T=Q$ 為顯然。故我們僅需証明 對任意 ${\bf x} \neq 0$, ${\bf x}^TQ{\bf x}>0。$為此，取${\bf x}=[x_1\;\;x_2]^T$ 且 $x_1,x_2$不全為零， 觀察
$$
{\bf x}^TQ{\bf x} = [x_1 \;\; x_2]  \begin{bmatrix}2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix}x_1\\x_2 \end{bmatrix} = 2x_1^2+2x_2^2-2x_1x_2$$上述稱為 矩陣二次式(quadratic form)。

以下我們分幾個情況討論：

Case 1: 若 $x_2 \neq 0$ 且 $x_1 \neq 0$：
若 $x_1\geq x_2$ ，則 $2x_1^2+2x_2^2-2x_1x_2 \geq 2x_2^2>0$
若 $x_2 \geq x_1$，則 $2x_1^2+2x_2^2-2x_1x_2 \geq 2x_1^2>0$

Case 2: 若 $x_2 \neq 0$ 且 $x_1 = 0$：則我們有
$$
 2x_1^2+2x_2^2-2x_1x_2 = 2x_2^2 > 0
$$

Case 3: 若 $x_1 \neq 0$ 且 $x_2 = 0$：則我們有
$$
 2x_1^2+2x_2^2-2x_1x_2 = 2x_1^2 > 0
$$
綜合以上所述，$Q$ 為 positive definite。至此証明完畢。 $\square$


Comments:
1. 熟習 positive definiteness 性質的讀者可以知道有另一等價定義可以快速檢查 此性質：亦即若對稱矩陣 $Q$ 的 eigenvalue 為正數，則 $Q$ 為 positive definite。上述例子中，$Q$ 的 eigenvalues 不難計算可得 $1,3$ 故滿足此性質，$Q$ 為 positive definite。

2. 當然，positive definiteness 性質還有諸多其他常用的定義比如 leading principal 或者透過 pivots 在此我們不贅述。

[線性代數] 若 $A$ 有線性獨立的 columns 則 $A^TA$ 為 symmetric 且 positive definite

Definitions:
1. 我們說一個矩陣 $A$ 為 symmetric 若 $A^T=A$
2. 我們說一個矩陣 $A \in \mathbb{R}^{n \times n}$ 為 正定 (positive definite) 若 對任意 ${\bf x} \in \mathbb{R}^n, \; {\bf x} \neq 0$ 而言，
\[
{\bf x}^T A {\bf x} >0
\]
Comments:
上述positive definite 建構的 ${\bf x}^T A {\bf x} $ 稱作 矩陣的二次式。
判斷矩陣正定的方式有許多，上述只是其中一種，另外還有許多等價定義。下列敘述等價
1. 矩陣 $A$ 為 positive definite
2. 對任意 ${\bf x} \in \mathbb{R}^n, \; {\bf x} \neq 0$ 而言，${\bf x}^T A {\bf x} >0$
3. 矩陣 $A$ 有 正的 特徵值(eigenvalues)
4. 矩陣 $A$ 有 正的 leading principal minors
5. 矩陣 $A$ 有 正 的 pivots

接著我們給出當 $A$ 非方陣的時候，如何找出其對應的 正定矩陣。



==========
Theorem:
$A \in \mathbb{R}^{m\times n}$ 有線性獨立的 columns 則 $A^TA$ 為 symmetric 且 positive definite
==========
Proof:
首先證明 $A^TA$ 為 symmetric。觀察 $(A^TA)^T = A^TA$故得證。

接著證明 $A^TA$ 為 positive definite。令 ${\bf x} \in \mathbb{R}^n, \; {\bf x} \neq 0$ ，觀察
\[
x^TA^TAx = (Ax)^T(Ax) = \|Ax\|^2
\]我們要證明 $\|Ax\|^2>0$，利用反證法：假設若不然，亦即 $\|Ax\|^2 =0$ ，由於因為 $A$ 有線性獨立(linear independent)的 column，記作 ${\bf a}_1,{\bf a}_2,...,{\bf a}_n$ 故由線性獨立的定義，
\[
A{\bf x} = x_1 {\bf a}_1 + x_2 {\bf a}_2 + \cdots x_n {\bf a}_n = {\bf 0}
\]若且唯若 $x_1= x_2 = ... x_n = 0$ 此與原本假設 ${\bf x} \neq 0$ 矛盾，故 $\|Ax\|^2>0$。$\square$


Theorem 2:
任意 positive definite matrix 為 invertible

Proof: 令 $A$ 為 positive definite matrix。利用反證法，假設 $A$ 的反矩陣不存在，此表示存在 ${\bf x} \neq {\bf 0}$ 使得 $A{\bf x} = {\bf 0}$。現在觀察
\[
{\bf x}^T A{\bf x} = \underbrace{{\bf x}^T {\bf 0}}_{={\bf 0}} \;\;\;\;\;(**)
\]但是由於 $A$為 positive definite，我們知道對任意非零向量 ${\bf x}$，${\bf x}^TA{\bf x} > 0$此與 式 $(**)$ 矛盾。故 $A$ 反矩陣存在，換言之$A$ 為 invertible。$\square$



Theorem 3:
若 $A^TA$ 為 invertible，則 $A$ 具有 線性獨立 columns。

Proof:
令 $A:=[{\bf a}_1 \;\; \cdots \;\; {\bf a}_n]$ 其中 ${\bf a}_i$ 為 $A$ 的 columns。我們要證明
$$
\sum_{i=1}^n x_i {\bf a}_i ={\bf 0} \Rightarrow x_i = 0,\;\; \forall i
$$ 注意到對任意 $x_i$，$\sum_{i=1}^n x_i {\bf a}_i ={\bf 0}$ 表示
\[
A{\bf x} = {\bf 0}
\]其中 ${\bf x}:=[x_1\;\;x_2\;\;\cdots x_n]^T$。故
\[
A^T A{\bf x} = A^T {\bf 0} = {\bf 0}
\]由於 $A^TA$ 為 invertible，故 ${\bf x}={\bf 0}$，亦即 $x_i = 0, \;\; \forall i$ 。至此證明完畢。$\square$



Comments:
相關文章參閱：[線性系統] 矩陣的二次式 與 正定矩陣

[凸分析] 半正定對稱矩陣所成之集合為凸錐

首先定義 $S^n$ 為由所有 實係數對稱矩陣 所形成之集合，表為
\[
S^n := \{A \in \mathbb{R}^{n \times n} : A^T = A\}
\] 則不難證明 $S^n$ 為一個 subspace (why?)，故 $S%n$ 必為 vector space 。

Comments:
由於  $S^n$ 為一個 subspace ，我們可以定義其維度，且值得一提的是 $\dim S^n = (n) (n+1)/2$，在此不做贅述。


現在我們收集所有實係數對稱 且 半正定 (positive semidefinite) 矩陣，定義
\[
S_+^n := \{A \in S^n: A  \succeq  0\}
\] 其中 $A \succeq 0$ 表示 $A$ 為 半正定矩陣：亦即給定任意 $x \in \mathbb{R}^n$ 我們有
\[
x^T A x \geq 0
\]

則我們聲稱上述 $S_+^n $為 凸錐 (convex cone)，以下我們給出主要 FACT ：
===================
FACT:
$S_+^n$ 為 convex cone。
===================

Proof:
要證明 $S_+^n$ 為 convex cone，我們要證明 $S_+^n$ 為一個 cone 且 $S_+^n$ 為 convex，故我們令 $A,B \in S_+^n$ 與 $\theta_1, \theta_2 \geq 0$ 且必須證明
\[
\theta_1 A + \theta_2 B \in S_+^n
\]
此等價證明 $ \theta_1 A + \theta_2 B $ 為對稱矩陣 且 半正定。現在我們首先證明對稱性：觀察
\[{({\theta _1}A + {\theta _2}B)^T} = {\theta _1}{A^T} + {\theta _2}{B^T} = {\theta _1}A + {\theta _2}B\]注意最後一條等式成立因為  $A,B \in S_+^n$ 故  $A=A^T,B=B^T$。

接著我們證明半正定性質：取 $x \in \mathbb{R}^n$ 觀察
\[{x^T}({\theta _1}A + {\theta _2}B)x = {\theta _1}{x^T}Ax + {\theta _2}{x^T}Bx \geqslant 0\]同樣最後一條等式成立因為   $A,B \in S_+^n$ 故  $x^TAx \geq 0$ 且 $x^T Bx \geq 0$。$\square$


Comments:
上述結果指出 線性代數中的 對稱半正定矩陣 可以與 凸分析 中的凸集拉上關係。

[線性代數] 線性系統已知兩解，試求其餘可能解

我們知道線性系統 $A {\bf x} = {\bf b}$ 的解僅有三種可能

1. 無解
2. 有解，且有無窮多解
3. 有解，且僅有唯一解

也就是說 $A {\bf x} = {\bf b}$ 不可能僅有兩解，故現在我們考慮以下問題：

令 ${\bf x}_1$ 與 ${\bf x}_2$ 恰好為線性系統 $A {\bf x} = {\bf b}$ 之兩解，則由前所述可知線性系統不可能只有這兩個解，故此系統必定是有無窮多解，現在我們想問是否能找出其餘的解：


由於 ${\bf x}_1$ 與 ${\bf x}_2$ 恰好為線性系統 $A {\bf x} = {\bf b}$ 之兩解，故我們有 $A {\bf x}_1 = {\bf b}$ 與 $A {\bf x}_2 = {\bf b}$。我們考慮新的可能解為前兩者之線性組合
\[
{\bf y} := c {\bf x}_1 + d {\bf x}_2
\]其中 $c,d$ 為待定係數。現在我們企圖檢驗什麼情況之下，可以使 $\bf y$ 成為我們的線性系統的解。亦即我們希望找出 $c,d$ 使得 $A {\bf y} = {\bf b}$

故我們觀察左式可知
\[\begin{array}{l}
A{\bf{y}} = A\left( {c{{\bf{x}}_1} + d{{\bf{x}}_2}} \right)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = A\left( {c{{\bf{x}}_1}} \right) + A\left( {d{{\bf{x}}_2}} \right)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = c\underbrace {A{{\bf{x}}_1}}_{ = {\bf{b}}} + d\underbrace {A{{\bf{x}}_2}}_{ = {\bf{b}}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = c{\bf{b}} + d{\bf{b}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left( {c + d} \right){\bf{b}}
\end{array}\]上式表明當 $c+d = 1$ 的時候，${\bf y}$ 為我們線性系統的解。亦即若選 $d=1+c$ 且 $c \in \mathbb{R}$ 則
\[
{\bf y} = c {\bf x}_1 +  (1-c) {\bf x}_2
\]為線性系統的解。

[線性代數] $A^2 = I \implies A=I?$

考慮以下問題 令 $A$ 為 任意 $n \times n$ 矩陣，試問下列陳述是否正確
Claim: $ A^2 = I  $則 $A = I$?

讀者可能注意到 $A^2 = AA = I$ 表示我們有
\[
A= A^{-1}
\]故上述陳述看來頗為誘人讓人想回答 True 但事實上此陳述為錯誤陳述，因為若我們考慮
\[A = \left[ {\begin{array}{*{20}{c}}
0&1\\
1&0
\end{array}} \right]\]則
\[
A^2 = I_{2 \times 2}
\]但 $A \neq I_{2 \times 2}$

[線性代數] 線性算子 與 特徵值/特徵向量(0)

======================
Definition: Linear Operator
令 $V$ 為 $n$ 維 向量空間 且 $L: V \to V$ 為線性轉換 (Linear transformation)：亦即給定任意兩向量 ${\bf u,v} \in V$ 與 $c \in \mathbb{R}$ (or $c \in \mathbb{C}$)滿足
\[\begin{array}{l}
L\left( {{\bf{u}} + {\bf{v}}} \right) = L\left( {\bf{u}} \right) + L\left( {\bf{v}} \right)\\
L\left( {c{\bf{u}}} \right) = cL\left( {\bf{u}} \right)
\end{array}\]則我們稱該 $L:V \to V$ 為定義在 $V$ 上的線性算子 (Linear Operator)
======================

那麼我們現在想問一個基本問題：是否可以找到 一組非零向量 ${\bf v} \neq {\bf 0}$ 與 純量 $\lambda \in \mathbb{R}$ (or $\in \mathbb{C}$) 使得
\[
L({\bf v}) = \lambda{\bf v}
\]
此問題在工程領域有諸多應用，一般而言上述問題又稱為特徵值問題。

Comments:
1. 上述討論中所提及的 Linear Operator 僅僅表示 domain 與 codomain 都為同一個向量空間 $V$，其餘皆與線性轉換定義相同。也就是說若我們將 domain $V$ 與 codomain $W$ 設為不同的向量空間，且若 $L: V \to W$ 滿足
\[\begin{array}{l}
L\left( {{\bf{u}} + {\bf{v}}} \right) = L\left( {\bf{u}} \right) + L\left( {\bf{v}} \right)\\
L\left( {c{\bf{u}}} \right) = cL\left( {\bf{u}} \right)
\end{array}\]則我們稱 $L$ 為線性轉換 (Linear Transformation)。

2. 若 ${\bf v} = {\bf 0}$ 則 $L({\bf v}) = \lambda{\bf v}$ 自動滿足故我們只需關心 ${\bf v} \neq {\bf 0}$ 的情況
3. 注意到若 $V:= \mathbb{R}^n$ 或者複數向量空間 $V= \mathbb{C}^n$ 則我們可從幾何觀點來看上述特徵值問題，則此問題變成決定是否 $L({\bf v})$ 與 ${\bf v}$ 平行。
4. 給定任意線性算子 $L: V \to V$ ，其(實數)特徵值與其對應的特徵向量不一定存在，比如說考慮 旋轉轉換 $L: \mathbb{R}^2 \to \mathbb{R}^2$ 滿足
\[L\left( {\left[ \begin{array}{l}
{x_1}\\
{x_2}
\end{array} \right]} \right) = \left[ {\begin{array}{*{20}{c}}
{\cos \theta }&{ - \sin \theta }\\
{\sin \theta }&{\cos \theta }
\end{array}} \right]\left[ \begin{array}{l}
{x_1}\\
{x_2}
\end{array} \right]\]其中 $0 < \theta < \pi$ 則此算子為線性算子但不存在(實數)特徵值與特徵向量。但存在 (複數)特徵值與複數特徵向量

Example 1:
令 Linear operator $L : \mathbb{R}^2 \to \mathbb{R}^2$ 滿足
\[L\left( {\bf{v}} \right) = L\left( {\left[ \begin{array}{l}
{v_1}\\
{v_2}
\end{array} \right]} \right): = \left[ \begin{array}{l}
{v_1}\\
 - {v_2}
\end{array} \right]\]試求 ${\bf v} \neq {\bf 0}$ 與 $\lambda$ 使得 $L({\bf v}) = \lambda {\bf v}$?

Solution
觀察
\[L\left( {\bf{v}} \right) = L\left( {\left[ \begin{array}{l}
{v_1}\\
{v_2}
\end{array} \right]} \right): = \left[ \begin{array}{l}
{v_1}\\
 - {v_2}
\end{array} \right]\]因為我們要求 $L({\bf v}) = \lambda {\bf v}$ 故
\[\begin{array}{*{20}{l}}
{\left[ {\begin{array}{*{20}{l}}
{{v_1}}\\
{ - {v_2}}
\end{array}} \right] = \lambda \left[ {\begin{array}{*{20}{l}}
{{v_1}}\\
{{v_2}}
\end{array}} \right]}\\
{ \Rightarrow \lambda \left[ {\begin{array}{*{20}{l}}
{{v_1}}\\
{{v_2}}
\end{array}} \right] - \left[ {\begin{array}{*{20}{l}}
{{v_1}}\\
{ - {v_2}}
\end{array}} \right] = {\bf{0}}}\\
{ \Rightarrow \left[ {\begin{array}{*{20}{c}}
{\lambda  - 1}&0\\
0&{\lambda  + 1}
\end{array}} \right]\left[ {\begin{array}{*{20}{l}}
{{v_1}}\\
{{v_2}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{l}}
0\\
0
\end{array}} \right]}
\end{array}\]由上式可知我們在決定 $\lambda$ 使得並求解 Null Space of ${\left[ {\begin{array}{*{20}{c}}
{\lambda  - 1}&0\\
0&{  \left( {\lambda  + 1} \right)}
\end{array}} \right]}$ 故若我們選 $\lambda := \lambda_1 = 1 $ 則對應的 ${\bf v}_1 = [s\;\;0]^T$ 其中 $s \in \mathbb{R}^1$。

另外若選 $\lambda := \lambda_2 = -1$ 則對應的 ${\bf v}_2 = [0\;\;t]$ 其中 $t \in \mathbb{R}^1$。 $\square$


由上述討論所求出的 $\lambda$ 與 ${\bf v}$ 即為所謂特徵值與特徵向量，現在我們引入 eigenvalue 與 eigenvector 定義


======================
Definition:  Eigenvalue and Eigenvector
令 $V$ 為 $n$ 維度向量空間且 $L: V \to V$ 為定義在 $V$ 上的 線性算子。我們稱 $\lambda$ 為 $L$ 的特徵值( eigenvalue of $L$) 若存在一組非零向量 ${\bf x} \in V$ 使得
\[
L({\bf x}) = \lambda {\bf x}
\]且 任意非零向量 ${\bf x}$ 滿足上式稱為 $L$ 對應於特徵值 $\lambda $ 的特徵向量 (eigenvector of $L$ associated with the eigenvalue $\lambda$)
======================

Remark: 
1. 上述定義中的純量 $\lambda$ 與向量 ${\bf x}$皆可為 實數或者複數。有興趣的讀者請看 Example 2
2. 若我們允許 ${\bf x} = {\bf 0}$ 則 任意 $\lambda$ 都可為 eigenvalue 因為
\[
L({\bf x}) = \lambda {\bf x} \Rightarrow L({\bf 0}) = \lambda {\bf 0}
\]則任何 $\lambda$ 都滿足上式。
3. 事實上特徵值與特徵向量在無窮維向量空間 亦可被定義，有興趣讀者請看 Example 3


===================
Fact: 令 $L:V\to V$ 為線性算子，若 ${\bf x}$ 為 eigenvector of $L$ associated with the eigenvalue ${\lambda}$ 則 對任意實數 $c \in \mathbb{R}^1$ 我們有
\[
L(c {\bf x}) = \lambda (c {\bf x})
\]===================

Proof:
由於 ${\bf x}$ 為 eigenvector of $L$ associated with the eigenvalue ${\lambda}$ 我們有 對任意非零向量 ${\bf x} \neq {\bf 0}$
\[
L({\bf x}) = \lambda ({\bf x})
\] 現在觀察
\[\begin{array}{l}
L(c{\bf{x}}) = cL({\bf{x}})\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = c\left( {\lambda {\bf{x}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \lambda \left( {c{\bf{x}}} \right)
\end{array}\]讀者應注意到上述第一條等式應用 $L$ 為線性算子的性質。$\square$


以下我們用一個例子來說明何時會發生複數的 eigenvalue $\lambda$ 與 負數特徵向量 ${\bf x}$

Example 2:
考慮線性算子 $L: \mathbb{R}^2 \to \mathbb{R}^2$ 滿足
\[L\left( {\left[ \begin{array}{l}
{x_1}\\
{x_2}
\end{array} \right]} \right) = \left[ \begin{array}{l}
 - {x_2}\\
{x_1}
\end{array} \right]\]試求 eigenvalue of $L$ 與對應的 eigenvector

Solution
回憶前述定義，線性算子 $L$ 的特徵值 $\lambda$ 必須滿足 $L\left( {\bf{x}} \right) = \lambda {\bf{x}}$ 故現在觀察
\[\begin{array}{l}
L\left( {\bf{x}} \right) = \lambda {\bf{x}}\\
 \Rightarrow L\left( {\left[ \begin{array}{l}
{x_1}\\
{x_2}
\end{array} \right]} \right) = \left[ \begin{array}{l}
 - {x_2}\\
{x_1}
\end{array} \right] = \lambda \left[ \begin{array}{l}
{x_1}\\
{x_2}
\end{array} \right]\\
 \Rightarrow \lambda \left[ \begin{array}{l}
{x_1}\\
{x_2}
\end{array} \right] - \left[ \begin{array}{l}
 - {x_2}\\
{x_1}
\end{array} \right] = \left[ \begin{array}{l}
0\\
0
\end{array} \right]\\
 \Rightarrow \left[ {\begin{array}{*{20}{c}}
\lambda &1\\
{ - 1}&\lambda
\end{array}} \right]\left[ \begin{array}{l}
{x_1}\\
{x_2}
\end{array} \right] = \left[ \begin{array}{l}
0\\
0
\end{array} \right]
\end{array}\]觀察上述線性系統方程，求解 Null Space of $\left[ {\begin{array}{*{20}{c}}
\lambda &1\\
{ - 1}&\lambda
\end{array}} \right]$ 可得到以下結果：

若 $\lambda = \lambda_1 = i$ 則對應的特徵向量可透過將 $\lambda = \lambda_1$ 帶回上述線性系統方程並求解 ${\bf x}_1$ 如下 \[
{\bf x}_1 = s[i \;\; 1]^T,\;\; \forall s \in \mathbb{R}^1
\]
若 $\lambda = \lambda_i =-i$ 則對應的特徵向量可透過將 $\lambda = \lambda_2$ 帶回上述線性系統方程並求解 ${\bf x}_2$ 如下
\[
{\bf x}_2 = t[-i \;\; 1]^T,\;\; \forall t \in \mathbb{R}^1
\]
注意到上述結果之中，$L$ 的 特徵值皆為複數：亦即 $\lambda_{i} \in \mathbb{C}$ 對任意 $i=1,2$ 且對應的特徵向量亦為 $\mathbb{C}^2$ 複數向量。且這表示原本題目之中要求 $L: \mathbb{R}^2 \to \mathbb{R}^2$ 並無法找到對應的複數向量除非我們更改 domain 與 codomain 使其變成 $\mathbb{C}^2$


Example 3: Eigenvalue Problem in Function Space
考慮 $V:=C^\infty (\mathbb{R})$ 亦即 $V$ 為所有 單變數實數函數所成的向量空間 且我們假設其上的函數任意階導數存在。現在令 $L: V \to V$ 為線性算子滿足
\[
L(f) := f'
\]
則我們想問是否可找到 常數 $\lambda$ 與 函數 $f \neq 0$ 且 $f \in V$ 使得 $L(f) = \lambda f$ 成立？

 Solution
令 $f \in V$ 為單變數函數，注意到 $L(f) = f'$ 為線性算子(why?)，現在觀察 $L(f) = f' = \lambda f $ 亦即 我們要找出 $\lambda$ 與對應的 $f \neq 0, f \in V$ 滿足
\[
f' = \lambda f
\] 由於我們要找的 $f$ 必須無窮維導數存在 且一次導數必須滿足 $f' = \lambda f$，故我們猜 $f(t) = e^{\lambda t}$ 則
\[\frac{d}{{dt}}\left( {{e^{\lambda t}}} \right) = \lambda {e^{\lambda t}} = \lambda f\left( t \right)\]故現在我們找到一組 $f$ 滿足該方程，但是否有其他人選？答案是肯定的，比如說我們改令
\[
f(t) = K e^{\lambda t}
\]仍為該方程 $f' = \lambda f$ 的解 （讀者可自行驗證），因此我們有以下結果，對任意 特徵值 $\lambda \in \mathbb{R}^1$，其特徵向量 $f(t) = K e^{\lambda t} $ 其中 $K$ 為任意非零常數。$\square$

Comment:
1. 上述例子中顯示微分方程 $f' = \lambda f$ 的解 $f(t) = exp(\lambda t)$ 剛好為該 $L(f) = f'$ 的對應於特徵值 $\lambda$ 的特徵向量。

2. 若我們只關心 $f>0$ 上述微分方程可直接求解不必猜測，解法如下：
\[\begin{array}{l}
f' = \lambda f\\
 \Rightarrow \frac{{df\left( t \right)}}{{dt}} = \lambda f\left( t \right)\\
 \Rightarrow \frac{{df\left( t \right)}}{{f\left( t \right)}} = \lambda dt\\
 \Rightarrow \int {\frac{1}{{f\left( t \right)}}df\left( t \right)}  = \int {\lambda dt} \\
 \Rightarrow \log f\left( t \right) + C = \lambda t + D\\
 \Rightarrow f\left( t \right) = {e^{\lambda t}}{e^{D-C}}: = K{e^{\lambda t}}
\end{array}\]

[線性代數] Orthonormal Basis 與 Gram-Schmidt Process (1)

延續前篇 [線性代數] Orthonormal Basis 與 Gram-Schmidt Process (0) 的問題，以下我們正式引入 Gram-Schmidt Process


Theorem: Gram-Schmidt Process
令 $V$ 為 有限維度內積空間 且 令 $W\neq \{ {\bf 0}\}$ 為 $V$中的 $m$-維子空間。則此子空間 $W$ 存在一組正交基底 $T =\{{\bf w}_1,...{\bf w}_m\}$

Proof:
我們首先建構一組 orthogonal basis $T^* :=\{{\bf v}_1,{\bf v}_2...,{\bf v}_m\}$ for $W$。由於 $W$ 為 $V$ 的子空間，故我們可在 $W$ 其上選取一組基底，令 $S=\{{\bf u}_1,...,{\bf u}_m\} $ 接著我們選取其中任意一個向量，比如說 ${\bf u}_1 \in S$ 並稱此向量為 ${\bf v}_1$ 亦即我們重新定義
\[
{\bf v}_1 := {\bf u}_1
\]注意到此 ${\bf v}_1 \in  W_1:=span\{ v_1 \}$ 其中 $W_1$ 為 $W$ 的子空間

接著我們要尋找 ${\bf v}_2$，我們希望此向量 ${\bf v}_2$ 落在 $W$ 子空間 $W_2 = span\{ {\bf u}_1, {\bf u}_2\} $ 且 ${\bf v}_2$ 與 ${\bf v}_1$ 彼此 orthogonal。但注意到我們有 ${\bf v}_1 := {\bf u}_1 $ 故 ${\bf v}_2  \in W_2 = span\{ {\bf u}_1 , {\bf u}_2\}  =  span\{ {\bf v}_1, {\bf u}_2\} $  也就是說 ${\bf v}_2$ 可透過 ${\bf v}_1$ 與 ${\bf u}_2$ 做線性組合
\[
{\bf v}_2 = a_1 {\bf v}_1 + a_2 {\bf u}_2
\]其中 $a_1, a_2$ 待定。 注意到由於我們要讓 ${\bf v}_2$ 與 ${\bf v}_1$ 彼此 orthogonal 故 $\langle {\bf v}_2, {\bf v}_1 \rangle = 0$ 故現在觀察
\[\begin{array}{l}
\langle {{\bf{v}}_2},{{\bf{v}}_1}\rangle  = 0\\
 \Rightarrow \langle {a_1}{{\bf{v}}_1} + {a_2}{{\bf{u}}_2},{{\bf{v}}_1}\rangle  = 0\\
 \Rightarrow {a_1}\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle  + {a_2}\langle {{\bf{u}}_2},{{\bf{v}}_1}\rangle  = 0\\
 \Rightarrow {a_1} =  - {a_2}\frac{{\langle {{\bf{u}}_2},{{\bf{v}}_1}\rangle }}{{\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle }} \;\;\;\; (*)
\end{array}\]注意到上式中 $\langle {\bf v}_1, {\bf v}_2 \rangle \neq 0$ 因為 ${\bf v}_1 = {\bf u}_1 \in S$ 且 $S$ 為 非零子空間 $W$ 的基底 。注意到 $(*)$ 為一條方程式兩個未知數 $a_1,a_2$ 故可任意令 $a_2 \in \mathbb{R}^1$ 為自由變數解得 $a_1$ 。為了計算方便起見我們選 $a_2 :=1$ 則
\[{a_1} =  - \frac{{\langle {{\bf{u}}_2},{{\bf{v}}_1}\rangle }}{{\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle }}
\]此說明了
\[\begin{array}{l}
{{\bf{v}}_2} = {a_1}{{\bf{v}}_1} + {a_2}{{\bf{u}}_2}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} =  - \frac{{\langle {{\bf{u}}_2},{{\bf{v}}_1}\rangle }}{{\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle }}{{\bf{v}}_1} + {{\bf{u}}_2} = {{\bf{u}}_2} - \frac{{\langle {{\bf{u}}_2},{{\bf{v}}_1}\rangle }}{{\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle }}{{\bf{v}}_1}
\end{array}\]至此我們有了一組 orthogonal subset $\{{\bf v}_1, {\bf v}_2\}$ for $W$。

接著我們尋找 ${\bf v}_3 \in W_3 := span\{{\bf u}_1, {\bf u}_2, {\bf u}_3\}$ 且 ${\bf v}_3$ 與 ${\bf v}_1, {\bf v}_2$ 為 orthogonal。注意到
\[{W_3}: = span\{ {{\bf{u}}_1},{{\bf{u}}_2},{{\bf{u}}_3}\}  = span\{ {{\bf{v}}_1},{{\bf{v}}_2},{{\bf{u}}_3}\} \]故
\[\begin{array}{l}
{{\bf{v}}_3} \in span\{ {{\bf{v}}_1},{{\bf{v}}_2},{{\bf{u}}_3}\} \\
 \Rightarrow {{\bf{v}}_3} = {b_1}{{\bf{v}}_1} + {b_2}{{\bf{v}}_2} + {b_3}{{\bf{u}}_3}
\end{array}\]且又因為我們要求  ${\bf v}_3$ 與 ${\bf v}_1, {\bf v}_2$ 為 orthogonal故
\[\begin{array}{l}
{{\bf{v}}_3},{{\bf{v}}_1}\rangle  = 0\\
 \Rightarrow \langle {b_1}{{\bf{v}}_1} + {b_2}{{\bf{v}}_2} + {b_3}{{\bf{u}}_3},{{\bf{v}}_1}\rangle  = 0\\
 \Rightarrow {b_1}\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle  + {b_2}\langle {{\bf{v}}_2},{{\bf{v}}_1}\rangle  + {b_3}\langle {{\bf{u}}_3},{{\bf{v}}_1}\rangle  = 0\\
\\
\langle {{\bf{v}}_3},{{\bf{v}}_2}\rangle  = 0\\
 \Rightarrow \langle {b_1}{{\bf{v}}_1} + {b_2}{{\bf{v}}_2} + {b_3}{{\bf{u}}_3},{{\bf{v}}_2}\rangle  = 0\\
 \Rightarrow {b_1}\langle {{\bf{v}}_1},{{\bf{v}}_2}\rangle  + {b_2}\langle {{\bf{v}}_2},{{\bf{v}}_2}\rangle  + {b_3}\langle {{\bf{u}}_3},{{\bf{v}}_2}\rangle  = 0
\end{array}\]也就是說我們有一組聯立方程
\[\begin{array}{l}
\left\{ {\begin{array}{*{20}{l}}
{\langle {{\bf{v}}_3},{{\bf{v}}_1}\rangle  = 0}\\
{\langle {{\bf{v}}_3},{{\bf{v}}_2}\rangle  = 0}
\end{array}} \right.\\
 \Rightarrow \left\{ {\begin{array}{*{20}{l}}
{{b_1}\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle  + {b_2}\underbrace {\langle {{\bf{v}}_2},{{\bf{v}}_1}\rangle }_{ = 0} + {b_3}\langle {{\bf{u}}_3},{{\bf{v}}_1}\rangle  = 0}\\
{{b_1}\underbrace {\langle {{\bf{v}}_1},{{\bf{v}}_2}\rangle }_{ = 0} + {b_2}\langle {{\bf{v}}_2},{{\bf{v}}_2}\rangle  + {b_3}\langle {{\bf{u}}_3},{{\bf{v}}_2}\rangle  = 0}
\end{array}} \right.\\
 \Rightarrow \left\{ {\begin{array}{*{20}{l}}
{{b_1}\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle  + {b_3}\langle {{\bf{u}}_3},{{\bf{v}}_1}\rangle  = 0}\\
{{b_2}\langle {{\bf{v}}_2},{{\bf{v}}_2}\rangle  + {b_3}\langle {{\bf{u}}_3},{{\bf{v}}_2}\rangle  = 0}
\end{array}} \right.
\end{array}\]注意到 ${\bf v}_2 \neq {\bf 0}$ 因為 ${\bf v}_2$ 需與 ${\bf v}_1$ 正交，故兩條方程三個未知數 $b_1,b_2,b_3$，可指定一自由變數，故選 $b_3 :=1 \in \mathbb{R}^1$ 則我們可解得 $b_1, b_2$ 如下
\[\left\{ {\begin{array}{*{20}{l}}
{{b_1} =  - \frac{{\langle {{\bf{u}}_3},{{\bf{v}}_1}\rangle }}{{\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle }}}\\
{{b_2} =  - \frac{{\langle {{\bf{u}}_3},{{\bf{v}}_2}\rangle }}{{\langle {{\bf{v}}_2},{{\bf{v}}_2}\rangle }}}
\end{array}} \right.\]
也就是說
\[\begin{array}{l}
{{\bf{v}}_3} = {b_1}{{\bf{v}}_1} + {b_2}{{\bf{v}}_2} + {b_3}{{\bf{u}}_3}\\
 \Rightarrow {{\bf{v}}_3} =  - \frac{{\langle {{\bf{u}}_3},{{\bf{v}}_1}\rangle }}{{\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle }}{{\bf{v}}_1} - \frac{{\langle {{\bf{u}}_3},{{\bf{v}}_2}\rangle }}{{\langle {{\bf{v}}_2},{{\bf{v}}_2}\rangle }}{{\bf{v}}_2} + {{\bf{u}}_3}\\
 \Rightarrow {{\bf{v}}_3} = {{\bf{u}}_3} - \frac{{\langle {{\bf{u}}_3},{{\bf{v}}_1}\rangle }}{{\langle {{\bf{v}}_1},{{\bf{v}}_1}\rangle }}{{\bf{v}}_1} - \frac{{\langle {{\bf{u}}_3},{{\bf{v}}_2}\rangle }}{{\langle {{\bf{v}}_2},{{\bf{v}}_2}\rangle }}{{\bf{v}}_2}
\end{array}
\]至此我們有了一組 orthogonal subset $\{{\bf v}_1,{\bf v}_2,{\bf v}_3\} $ for $W$

重複上述步驟 (by induction)我們可建構一組 orthogonal basis $T^* :=\{{\bf v}_1,{\bf v}_2,...,{\bf v}_m\}$ 最後我們對每一組 ${\bf v}_i$ 做正規化，定義
\[
{\bf w}_i := \frac{1}{||{\bf v}_i||} {\bf v}_i
\]則我們得到一組 orthonormal basis $T := \{{\bf w}_1,...,{\bf w}_m\}$

讀者可用以下幾個例子做練習

Example 1: 令 $S=\{[1\;\;2]^T, [-3\;\;4]^T\}$ 為 ordered basis for $ V:= \mathbb{R}^2$ 且其上內積為標準內積。
(a) 試利用 Gram-Schmidt process 找出 orthogonal basis
(b) 試利用 Gram-Schmidt process 找出 orthonormal basis

Example 2: 令 $V := P_3$ 且其上的內積定義為
\[
\langle p(t), q(t) \rangle := \int_0^1 p(t) q(t) dt
\] 現在令 $W$ 為 $P_3$ 子空間且基底為 $\{t,t^2\}$ 試求 orthonormal basis for $W$

[線性代數] Orthonormal Basis 與 Gram-Schmidt Process (0)

首先引入 一組向量彼此互為標準正交的定義

===================
Definition: Orthonormal Set
令 $V$ 為有限維度的內積空間 且 令 $S$ 為 $V$ 上的一組 集合滿足 $S =\{{\bf v}_1,..{\bf v}_n\}$ 。則我們稱 $S$ 為 orthonormal set 若
\[\left\langle {{{\bf{v}}_i},{{\bf{v}}_j}} \right\rangle  = \left\{ \begin{array}{l}
0\begin{array}{*{20}{c}}
{}&{}
\end{array}i \ne j\\
1\begin{array}{*{20}{c}}
{}&{}
\end{array}i = j
\end{array} \right.\]其中 $\left\langle {{{\bf{v}}_i},{{\bf{v}}_j}} \right\rangle $ 為 $V$ 上的內積運算。
====================

Comment:
1. 給定一個向量空間我們如果有 orthonormal basis 則其上的任意向量將可以被非常容易地表示 (why?) 比如說我們考慮 $V:= \mathbb{R}^2$ 且 具備一組標準基底 $S:=\{{\bf s}_1, {\bf s}_2\} = \{[1 \;0]^T, [0\;1]^T\}$ 則此基底為 orthonormal 。現在若給訂任意向量 ${\bf v} := [100, -99]^T\in V$ 則此向量可以非常容易透過 基底 $S$ 做線性組合來組出 ${\bf v}$亦即
\[\underbrace {\left[ \begin{array}{l}
100\\
 - 99
\end{array} \right]}_{ = {\bf{v}}} = 100\underbrace {\left[ \begin{array}{l}
1\\
0
\end{array} \right]}_{ = {{\bf{s}}_1}} + \left( { - 99} \right)\underbrace {\left[ \begin{array}{l}
0\\
1
\end{array} \right]}_{ = {{\bf{s}}_2}}\]
2. 上述觀點事實上到無窮維仍然成立，也就是說我們可以將正交的概念推廣到函數空間上面，並且說明什麼叫做兩個"函數" 彼此正交。以下我們看個無窮維函數空間的例子：


Example (Infinite-dimension Case)
令 $V:= C[0, 2 \pi]$ 且配備內積 \[
(f(t),g(t)) := \frac{1}{2 \pi}\int_0^{2 \pi} f(t) \bar{g} (t) dt
\]則 下列集合
\[
S :=\{f_n(t): f_n(t) := e^{jnt} =\cos nt + j \sin nt, \; n \in \mathbb{Z}\}
\]為 orthonormal set
Proof:
取 $f_n(t), g_m(t) \in S$ 觀察
\[\begin{array}{l}
({f_n}(t),{g_m}(t)) = \frac{1}{{2\pi }}\int_0^{2\pi } {{f_n}} (t){{\bar g}_m}(t)dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\int_0^{2\pi } {{e^{jnt}}} {e^{ - jmt}}dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\int_0^{2\pi } {{e^{j\left( {n - m} \right)t}}} dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\int_0^{2\pi } {\left[ {\cos \left( {\left( {n - m} \right)t} \right) + j\sin \left( {\left( {n - m} \right)t} \right)} \right]} dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\int_0^{2\pi } {\cos \left( {\left( {n - m} \right)t} \right)} dt + \frac{j}{{2\pi }}\int_0^{2\pi } {\sin \left( {\left( {n - m} \right)t} \right)} dt\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}
\end{array} = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}&{}
\end{array}n = m\\
0,\begin{array}{*{20}{c}}
{}&{}
\end{array}n \ne m
\end{array} \right. \;\;\;\;\;\;\;\;\; \square
\end{array}\]

=====================
Definition: Orthonormal Basis
若 $S$ 為 內積空間$V$上的一組有序基底，且 $S$ 為 orthnormal set 則我們稱此 $S$ 為 Orthnormal basis。
=====================

以下定理給出了 orthonormal basis 可以快速決定任意向量用該基底做線性組合的係數。

====================
Theorem: 
令 $S = \{{\bf u}_1, {\bf u}_2,...,{\bf u}_n\}$ 為一組 orthonormal basis 對有限維度向量空間 $V$ 且令 ${\bf v} \in V$ 則
\[
{\bf v} = c_1{\bf u}_1 + c_2 {\bf u}_2 + ... + c_n {\bf u}_n
\]其中 $c_i = \left \langle {\bf v}, {\bf u}_i \right \rangle \;\;\;\; \forall i=1,2,...,n$
====================

Comment:
上述定理中提及的 $c_i = \left \langle {\bf v}, {\bf u}_i \right \rangle$ 在幾何意義上為 ${\bf v}$ 在 ${\bf u}_i$ 上的分量，且 $c_i$ 在數學上又稱為 Fourier Coefficient


以下我們給出證明：

Proof:
由於 ${\bf v} \in V$故此向量 ${\bf v}$ 可透過 $V$ 上的基底作唯一線性組合表示。
\[
{\bf v} = c_1{\bf u}_1 + c_2 {\bf u}_2 + ... + c_n {\bf u}_n
\]
故我們只需證明 $c_i = \left \langle {\bf v}, {\bf u}_i \right \rangle \;\;\;\; \forall i=1,2,...,n$

現在固定任意 $i$ ，並且觀察
\[\begin{array}{l}
\left\langle {{\bf{v}},{{\bf{u}}_i}} \right\rangle  = \left\langle {{c_1}{{\bf{u}}_1} + {c_2}{{\bf{u}}_2} + ... + {c_n}{{\bf{u}}_n},{{\bf{u}}_i}} \right\rangle \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left\langle {{c_1}{{\bf{u}}_1},{{\bf{u}}_i}} \right\rangle  + \left\langle {{c_2}{{\bf{u}}_2},{{\bf{u}}_i}} \right\rangle  + ... + \left\langle {{c_i}{{\bf{u}}_i},{{\bf{u}}_i}} \right\rangle  + ... + \left\langle {{c_n}{{\bf{u}}_n},{{\bf{u}}_i}} \right\rangle \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {c_1}\left\langle {{{\bf{u}}_1},{{\bf{u}}_i}} \right\rangle  + {c_2}\left\langle {{{\bf{u}}_2},{{\bf{u}}_i}} \right\rangle  + ... + {c_i}\left\langle {{{\bf{u}}_i},{{\bf{u}}_i}} \right\rangle  + ... + {c_n}\left\langle {{{\bf{u}}_n},{{\bf{u}}_i}} \right\rangle \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {c_1}\underbrace {\left\langle {{{\bf{u}}_1},{{\bf{u}}_i}} \right\rangle }_{ = 0} + {c_2}\underbrace {\left\langle {{{\bf{u}}_2},{{\bf{u}}_i}} \right\rangle }_{ = 0} + ... + {c_i}\underbrace {\left\langle {{{\bf{u}}_i},{{\bf{u}}_i}} \right\rangle }_{ = 1} + ... + {c_n}\underbrace {\left\langle {{{\bf{u}}_n},{{\bf{u}}_i}} \right\rangle }_{ = 0}\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {c_i}
\end{array}
\]注意到上述結果使用了 $S$ 基底為 orthonormal 故當 $i\neq j$ 時候， $\langle {\bf u_i}, {\bf u}_j\rangle =0$  $\square$

以下我們看個例子
Example 1:
令 $S = \{{\bf u}_1, {\bf u}_2\}$ 為 $\mathbb{R}^2$ 的一組基底，其中
\[{{\bf{u}}_1} = \frac{1}{\sqrt{2} }\left[ {\begin{array}{*{20}{c}}
1\\
1
\end{array}} \right];{{\bf{u}}_1} = \frac{1}{\sqrt{2}}\left[ {\begin{array}{*{20}{c}}
{ - 1}\\
1
\end{array}} \right]\]
(a) 確認 $S$ 為一組 orthonormal basis
(b) 令 ${\bf v} := [3\;\;4]^T$ 試決定其透過 $S$ 基底所構成的線性組合

Proof:
(a) 注意到 $\mathbb{R}^2$ 為內積空間，我們可在其上定義內積運算為
\[
\langle {\bf u}, {\bf v} \rangle := {\bf u}^T {\bf v}
\]
 現在我們檢驗內積 $\langle {\bf u}_1, {\bf u}_2 \rangle$
\[\langle {{\bf{u}}_1},{{\bf{u}}_2}\rangle  = \frac{1}{2} \left[ {\begin{array}{*{20}{c}}
1&1
\end{array}} \right] \left[ {\begin{array}{*{20}{c}}
{ - 1}\\
1
\end{array}} \right] = 0\]故此說明了 ${\bf u}_1, {\bf u}_2$ 為 orthogonal 接著我們驗證此基底具有 unit length
\[\left\| {{{\bf{u}}_1}} \right\| = \sqrt {\langle {{\bf{u}}_1},{{\bf{u}}_1}\rangle }  = 1;\begin{array}{*{20}{c}}
{}&{}
\end{array}\left\| {{{\bf{u}}_2}} \right\| = \sqrt {\langle {{\bf{u}}_2},{{\bf{u}}_2}\rangle }  = 1\]
綜上所述， $S$ 為 orthonormal basis。

(b) 現在令 ${\bf v}:= [3\;\;4]^T \in \mathbb{R}^2$ 故此向量可透過 $S$ 基底做線性組合表示
\[
{\bf v} = c_1 {\bf u}_1 + c_2 {\bf u}_2
\] 又因為 $S$ 為 orthonormal basis 故由前述定理可知 上式中的係數可透過內積求得
\[\begin{array}{l}
{c_1} = \langle {\bf{v}},{{\bf{u}}_1}\rangle  = {{\bf{v}}^T}{{\bf{u}}_1} = \left[ {\begin{array}{*{20}{c}}
3&4
\end{array}} \right]\left( {\frac{1}{\sqrt{2}}\left[ {\begin{array}{*{20}{c}}
1\\
1
\end{array}} \right]} \right) = \frac{7}{\sqrt{2}}\\
{c_2} = \langle {\bf{v}},{{\bf{u}}_2}\rangle  = {{\bf{v}}^T}{{\bf{u}}_2} = \left[ {\begin{array}{*{20}{c}}
3&4
\end{array}} \right]\left( {\frac{1}{\sqrt{2}}\left[ {\begin{array}{*{20}{c}}
{ - 1}\\
1
\end{array}} \right]} \right) = \frac{1}{\sqrt{2}}\;\;\;\;\; \square
\end{array}\]

現在我們可以考慮以下問題：
若給定一個有限維度向量空間 $V$ 伴隨一組基底 $S$。那麼我們想進一步詢問是否可從這組基底 $S$ 中找出另外一組基底 $T$ 且 $T$ 基底元素彼此互相正交 且 單位長度為 $1$ ? 亦即我們想問是否可以從一組不是 orthonormal basis $S$ 來建構一組 orthonormal basis $T$ ，答案是肯定的，此構造方法稱為 Gram-Schmidt Process 我們之後會再行介紹。

[數學分析] 內積空間的不等式 Cauchy-Schwarz Inequality 與 Triangular Inequality

==============================
Theorem: (Cauchy-Schwarz Inequality) 
令 $V$ 為實數內積空間，且  ${\bf u}, {\bf v} \in V$ 則\[
|({\bf u}, {\bf v})| \le ||{\bf u}|| \; ||{\bf v}||
\]==============================

先看幾個例子
Example 1: 歐幾里德平面空間對應的 柯西不等式 
$V:=\mathbb{R}^2$ 且配備標準內積 $({\bf u}, {\bf v}) := {\bf u}^T {\bf v}$，現令 ${\bf u}:=[u_1\;\;u_2]^T; \; {\bf v}:=[v_1\;\;v_2]^T$ 則上述的 Cauchy-Schwarz Inequality 可表為
\[\begin{array}{l}
\left| {\left( {{\bf{u}},{\bf{v}}} \right)} \right| \le \left\| {\bf{u}} \right\|\left\| {\bf{v}} \right\|\\
 \Rightarrow {\left| {{{\bf{u}}^T}{\bf{v}}} \right|^2} \le \left( {{{\bf{u}}^T}{\bf{u}}} \right)\left( {{{\bf{v}}^T}{\bf{v}}} \right)\\
 \Rightarrow {\left| {{u_1}{v_1} + {u_2}{v_2}} \right|^2} \le \left( {u_1^2 + u_2^2} \right)\left( {v_1^2 + v_2^2} \right)
\end{array}\]

Example 2: 有限維歐幾里德空間對應的 柯西不等式
$V:=\mathbb{R}^n$ 且配備標準內積 $({\bf u}, {\bf v}) := {\bf u}^T {\bf v}$，現令 ${\bf u}:=[u_1,...,\;\;u_n]^T; \; {\bf v}:=[v_1,...,\;\;v_n]^T$ 則上述的 Cauchy-Schwarz Inequality 可表為
\[\begin{array}{*{20}{l}}
{\left| {\left( {{\bf{u}},{\bf{v}}} \right)} \right| \le \left\| {\bf{u}} \right\|\left\| {\bf{v}} \right\|}\\
{ \Rightarrow {{\left| {{{\bf{u}}^T}{\bf{v}}} \right|}^2} \le \left( {{{\bf{u}}^T}{\bf{u}}} \right)\left( {{{\bf{v}}^T}{\bf{v}}} \right)}\\
{ \Rightarrow {{\left| {{u_1}{v_1} + {u_2}{v_2} + ... + {u_n}{v_n}} \right|}^2} \le \left( {u_1^2 + u_2^2 + ... + u_n^2} \right)\left( {v_1^2 + v_2^2 + ... + v_n^n} \right)}
\end{array}\]

Example 3: 無窮維 實數連續函數空間 對應的 柯西不等式
$V:=C[0,1]$ 且配備內積 $(f(t), g(t)) := \int_0^1 f(t) g(t) dt$，現令 ${\bf u}:=f(t); \; {\bf v}:=g(t)$ 則上述的 Cauchy-Schwarz Inequality 可表為
\[\begin{array}{l}
\left| {\left( {f\left( t \right),g\left( t \right)} \right)} \right| \le \left\| {f\left( t \right)} \right\|\left\| {g\left( t \right)} \right\|\\
 \Rightarrow {\left| {\int_0^1 {f\left( t \right)g\left( t \right)dt} } \right|^2} \le \left( {\int_0^1 {{f^2}\left( t \right)dt} } \right)\left( {\int_0^1 {{g^2}\left( t \right)dt} } \right)
\end{array}\]

Example 4: 實數矩陣空間對應的柯西不等式
令 $V:= M_{n \times n}$ 且配備內積 $(A, B) := tr(B^T A)$ 現令 ${\bf u}:=A; \; {\bf v}:=B$ 為 $n \times n$ 矩陣，則上述的 Cauchy-Schwarz Inequality 可表為
\[\begin{array}{*{20}{l}}
{\left| {\left( {{\bf{u}},{\bf{v}}} \right)} \right| \le \left\| {\bf{u}} \right\|\left\| {\bf{v}} \right\|}\\
{ \Rightarrow {{\left| {tr\left( {{B^T}A} \right)} \right|}^2} \le tr\left( {{A^T}A} \right)tr\left( {{B^T}B} \right)}
\end{array}\]

Example 5: 隨機變數所成的 $L^2$ 空間之柯西不等式：
令 $V:= L^p :=\{X: E[|X|^2] < \infty\}$ 且配備內積 $(X,Y) := E[XY]$，其中 $X,Y$ 為隨機變數，$E[\cdot]$ 表期望值。現令 ${\bf u} := X$ 且 ${\bf v} := Y$ 則上述的 Cauchy-Schwarz Inequality 可表為
\begin{align*}
  & \left| {\left( {{\mathbf{u}},{\mathbf{v}}} \right)} \right| \leq \left\| {\mathbf{u}} \right\|\left\| {\mathbf{v}} \right\| \hfill \\
 &  \Rightarrow \left| {E\left[ {XY} \right]} \right| \leq \left\| X \right\|\left\| Y \right\| \hfill \\
  & \Rightarrow \left| {E\left[ {XY} \right]} \right| \leq \sqrt {E\left[ {{X^2}} \right]} \sqrt {E\left[ {{Y^2}} \right]}  \hfill \\
\end{align*}



Comments:
1.上述幾個例子展示了儘管所表現的樣式非常不同，但從抽象化觀點而言是同一件事情。
2. 柯西等式何時成立？

以下我們給出 Cauchy-Schwarz Inequality 的證明，此證明頗具巧思有興趣的讀者可細細品味。

Proof of Cauchy-Schwarz Inequality
令 $c \in \mathbb{R}^1$ 現在觀察
\[\begin{array}{l}
\underbrace {\left( {{\bf{u}} - c{\bf{v}},{\bf{u}} - c{\bf{v}}} \right)}_{ = {{\left\| {{\bf{u}} - c{\bf{v}}} \right\|}^2}} = \left( {{\bf{u}},{\bf{u}}} \right) + \left( { - c{\bf{v}},{\bf{u}}} \right) + \left( {{\bf{u}}, - c{\bf{v}}} \right) + \left( { - c{\bf{v}}, - c{\bf{v}}} \right)\\
 = \left( {{\bf{u}},{\bf{u}}} \right) - c\left( {{\bf{v}},{\bf{u}}} \right) - c\left( {{\bf{u}},{\bf{v}}} \right) + {c^2}\left( {{\bf{v}},{\bf{v}}} \right)\\
 = \left( {{\bf{u}},{\bf{u}}} \right) - 2c\left( {{\bf{u}},{\bf{v}}} \right) + {c^2}\left( {{\bf{v}},{\bf{v}}} \right) \;\;\;\; (*)
\end{array}\]
若 ${\bf{v}} \ne 0$ 則 $({\bf v},{\bf v})>0$ 我們可取 \[c: = \frac{{\left( {{\bf{u}},{\bf{v}}} \right)}}{{\left( {{\bf{v}},{\bf{v}}} \right)}}\]將此 $c$ 帶入 $(*)$ 可得
\[\begin{array}{l}
{\left\| {{\bf{u}} - c{\bf{v}}} \right\|^2} = \left( {{\bf{u}},{\bf{u}}} \right) - 2c\left( {{\bf{u}},{\bf{v}}} \right) + {c^2}\left( {{\bf{v}},{\bf{v}}} \right)\\
 = \left( {{\bf{u}},{\bf{u}}} \right) - 2\frac{{\left( {{\bf{u}},{\bf{v}}} \right)}}{{\left( {{\bf{v}},{\bf{v}}} \right)}}\left( {{\bf{u}},{\bf{v}}} \right) + {\left( {\frac{{\left( {{\bf{u}},{\bf{v}}} \right)}}{{\left( {{\bf{v}},{\bf{v}}} \right)}}} \right)^2}\left( {{\bf{v}},{\bf{v}}} \right)\\
 = \left( {{\bf{u}},{\bf{u}}} \right) - \frac{{{{\left( {{\bf{u}},{\bf{v}}} \right)}^2}}}{{\left( {{\bf{v}},{\bf{v}}} \right)}}
\end{array}\]但由於 ${\left\| {{\bf{u}} - c{\bf{v}}} \right\|^2} \ge 0$ 故
\[\left( {{\bf{u}},{\bf{u}}} \right) - \frac{{{{\left( {{\bf{u}},{\bf{v}}} \right)}^2}}}{{\left( {{\bf{v}},{\bf{v}}} \right)}} \ge 0 \Rightarrow \left( {{\bf{u}},{\bf{u}}} \right)\left( {{\bf{v}},{\bf{v}}} \right) \ge {\left( {{\bf{u}},{\bf{v}}} \right)^2}\]
上式結果說明在 ${\bf v} \neq 0$ 時 Cauchy-Schwarz Inequality 成立。另外我們回頭檢驗 ${\bf v} = 0$ 的情況，則此時 $\left( {{\bf{u}},{\bf{u}}} \right)\left( {{\bf{v}},{\bf{v}}} \right) \ge {\left( {{\bf{u}},{\bf{v}}} \right)^2}$ 自動滿足。故不論如何我們都有
\[{\left( {{\bf{u}},{\bf{v}}} \right)^2} \le \left( {{\bf{u}},{\bf{u}}} \right)\left( {{\bf{v}},{\bf{v}}} \right)\]至此證畢。$\square$

Comments:
1. 注意到若 ${\bf u} = c {\bf v} $ 則 Cauchy-Schwarz 等式成立。此結果背後蘊含最小平方的最佳化觀點但我們在此不作贅述。
2. 上述 Cauchy-Schwarz Inequality 可引出 Triangular Inequality

Corollary:  Triangular Inequality
令 $V$ 為實數內積空間，若 ${\bf u}, {\bf v} \in V $ 則
\[
||{\bf u} + {\bf v}|| \le ||{\bf u}|| + ||{\bf v}||
\]
Proof:
觀察
\[\begin{array}{l}
||{\bf{u}} + {\bf{v}}|{|^2} = \left( {{\bf{u}} + {\bf{v}},{\bf{u}} + {\bf{v}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left( {{\bf{u}},{\bf{u}}} \right) + \left( {{\bf{v}},{\bf{u}}} \right) + \left( {{\bf{u}},{\bf{v}}} \right) + \left( {{\bf{v}},{\bf{v}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left( {{\bf{u}},{\bf{u}}} \right) + 2\left( {{\bf{v}},{\bf{u}}} \right) + \left( {{\bf{v}},{\bf{v}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {\left\| {\bf{u}} \right\|^2} + 2\left( {{\bf{v}},{\bf{u}}} \right) + {\left\| {\bf{v}} \right\|^2}\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \le {\left\| {\bf{u}} \right\|^2} + 2\left| {\left( {{\bf{v}},{\bf{u}}} \right)} \right| + {\left\| {\bf{v}} \right\|^2}
\end{array}\]由 Cauchy-Schwarz Inequality 我們有 $
|({\bf u}, {\bf v})| \le ||{\bf u}|| \; ||{\bf v}||$ 故
\[\begin{array}{l}
||{\bf{u}} + {\bf{v}}|{|^2} \le {\left\| {\bf{u}} \right\|^2} + 2\left| {\left( {{\bf{v}},{\bf{u}}} \right)} \right| + {\left\| {\bf{v}} \right\|^2}\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \le {\left\| {\bf{u}} \right\|^2} + 2||{\bf{u}}||\;||{\bf{v}}|| + {\left\| {\bf{v}} \right\|^2}\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \le {\left( {\left\| {\bf{u}} \right\| + \left\| {\bf{v}} \right\|} \right)^2}
\end{array}\]對兩邊同開根號我們得到
\[
||{\bf u} + {\bf v}|| \le ||{\bf u}|| + ||{\bf v}||
\]即為所求 $\square$

Comment:
若 ${\bf u}, {\bf v}$ 互為正交，亦即 $({\bf u},{\bf v}) = 0$ 則我們有
\[
||{\bf u} + {\bf v}||^2 = ||{\bf u}||^2 + ||{\bf v}||^2
\]上述等式 可視為 畢氏定理 在向量空間中的推廣。

[線性代數] 淺論有限維 實數內積空間 (0)

這次要介紹 有限維度的內積空間 (Inner Product Space)，簡而言之就是有限維度向量空間 $(V, \oplus, \odot)$ 上額外定義內積運算，則我們稱此類空間為 內積空間。

Comments: 
1. 有限維度內積空間稱為 歐式空間 (Euclidean Space)
2. 若為無窮維度的內積空間我們稱為 Pre-Hilbert Space，若此無窮維度內積空間為完備空間，則稱之為 Hilbert Space
3. 為何好好的向量空間不用還要多此一舉另外又定一個 內積空間？主因是向量空間本身只定義了加法 與純量乘法的運算，如果我們想討論在向量空間中某元素的大小 或者 某兩元素之間的關係則無從得知。但是如果我們引入 內積運算 到向量空間中，則可以在原本的向量空間上將 代數 與 幾何 的概念做直接的連結，也就是我們可以透過內積引入 其上的兩元素是否 垂直 (正交) 的概念，亦可針對某元素來探討其 長度與大小 概念 。
4. 讀者可回憶 高中所學習過的 點積 (dot product)，此文所探討的內積 即為 點積 的推廣。



首先定義內積

==================
Definition: Inner Product on Vector Space
令 $V$ 為實數向量空間，則 Inner Product on $V$ 為函數 $(\cdot, \cdot): V\times V \to \mathbb{R}$ 滿足下列條件
(a) $({\bf u}, {\bf u}) \ge 0$：且 $({\bf u}, {\bf u}) = 0$ 若且唯若 ${\bf u} = {\bf 0}_V$
(b) $({\bf u}, {\bf v}) = ({\bf v}, {\bf u}), \; \forall {\bf u,v} \in V$
(c) $({\bf u} + {\bf v}, {\bf w}) = ({\bf u}, {\bf w}) + ({\bf u}, {\bf v}), \; \forall {\bf u,v,w} \in V$
(d) $(c {\bf u}, {\bf v}) = c({\bf u}, {\bf v}),\; \forall {\bf u,v} \in V, c \in \mathbb{R}$
==================

Comment:
1. 透過內積我們亦可定義 ${\bf u}$ 的大小，記作 $||{\bf u}|| = \sqrt{ ({\bf u}, {\bf u} )} $
2. 透過內積我們亦可定義在內積空間中兩向量是否垂直：亦即 若 ${\bf u}, {\bf v} \in V$ 稱為 垂直 或 正交 若 $({\bf u}, {\bf v}) = 0$

2. 前述內積定義可立即有以下衍生結果：
Fact 1: $\left( {{\bf{u}},c{\bf{v}}} \right) = c\left( {{\bf{u}},{\bf{v}}} \right)$

Fact 2: $\left( {{\bf{u}},{\bf{v}} + {\bf{w}}} \right) = \left( {{\bf{u}},{\bf{v}}} \right) + \left( {{\bf{u}},{\bf{w}}} \right)$

讀者可自行驗證上述兩個結果。

=========
Claim 1:  給定 ${\bf v}, {\bf w} \in V$ ，若對任意 ${\bf u} \in V$ 我們有 $
({\bf u},{\bf v}) = ({\bf u}, {\bf w})$ 則 ${\bf v} = {\bf w}$
=========
Proof:
由於我們要證明 ${\bf v} = {\bf w}$，故我們僅需證明 $\left( {{\bf{v}} - {\bf{w}},{\bf{v}} - {\bf{w}}} \right) = 0$ 現在觀察兩者之差的內積
\[\begin{array}{l}
\left( {{\bf{v}} - {\bf{w}},{\bf{v}} - {\bf{w}}} \right) = \left( {{\bf{v}} - {\bf{w}},{\bf{v}}} \right) + \left( {{\bf{v}} - {\bf{w}}, - {\bf{w}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \left( {{\bf{v}} - {\bf{w}},{\bf{v}}} \right) - \left( {{\bf{v}} - {\bf{w}},{\bf{w}}} \right)
\end{array}\]注意到 ${\bf v} - {\bf w} \in V$ 故 若我們令 ${\bf u}:= {\bf v} - {\bf w} $ 則 由已知條件可知
\[\begin{array}{l}
\left( {{\bf{v}} - {\bf{w}},{\bf{v}} - {\bf{w}}} \right) = \left( {{\bf{v}} - {\bf{w}},{\bf{v}}} \right) - \left( {{\bf{v}} - {\bf{w}},{\bf{w}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \left( {{\bf{u}},{\bf{v}}} \right) - \left( {{\bf{u}},{\bf{w}}} \right) = 0. \;\;\; \square
\end{array}\]


由上述結果我們有以下衍生定理
=========
Corollary of Claim 1:
若 對任意 ${\bf u} \in V$ 我們有 $({\bf u}, {\bf v})=0$ 則 ${\bf v} = 0$
=========
Proof: omitted.



=========
Claim: 令向量空間 $ V := \mathbb{R}^n$ 現在定義下列函數 $f: \mathbb{R}^n \times \mathbb{R}^n \to \mathbb{R}$ 滿足
\[
f({\bf u},{\bf v}) := {\bf u}^T {\bf v}
\]其中 ${\bf u} := [u_1\;u_2\;...,u_n]^T $ 與 ${\bf v} := [v_1\;\;v_2\;...,v_n]^T $ 為任意 $\mathbb{R}^n$ 空間中的向量， 則此運算為一種內積。
=========
Proof:
我們現在驗證 $f$ 確實為內積，故我們需驗證其滿足前述四項 (a,b,c,d)條件：首先驗證 $(a)$:
\[f({\bf{u}},{\bf{u}}) = {{\bf{u}}^T}{\bf{u}} = u_1^2 + ...u_2^2 \ge 0\]且 $f({\bf{u}},{\bf{u}}) = 0$ 若且唯若 ${\bf u} = [0,...,0]^T$

$(b)$ 令 ${\bf u,v} \in \mathbb{R}^n$ 現在我們觀察
\[\begin{array}{l}
f({\bf{v}},{\bf{u}}) = {{\bf{v}}^T}{\bf{u}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = {v_1}{u_1} + ... + {v_n}{u_n}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = {u_1}{v_1} + ... + {u_n}{v_n}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
{{u_1}}&{{u_2}}&{...}&{{u_n}}
\end{array}} \right]\left[ \begin{array}{l}
{v_1}\\
{v_2}\\
 \vdots \\
{v_n}
\end{array} \right] = {{\bf{u}}^T}{\bf{v}} = f\left( {{\bf{u}},{\bf{v}}} \right)
\end{array}
\]
$(c)$ 令 $\bf u,v,w$$\in \mathbb{R}^n$ 接著我們觀察
\[\begin{array}{l}
f({\bf{u}} + {\bf{v}},{\bf{w}}) = {\left( {{\bf{u}} + {\bf{v}}} \right)^T}{\bf{w}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
{{u_1} + {v_1}}&{{u_2} + {v_2}}&{...}&{{u_n} + {v_n}}
\end{array}} \right]\left[ \begin{array}{l}
{w_1}\\
{w_2}\\
 \vdots \\
{w_n}
\end{array} \right]\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left( {{u_1} + {v_1}} \right){w_1} + ...\left( {{u_n} + {v_n}} \right){w_n}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left( {{u_1}{w_1} + ... + {u_n}{w_n}} \right) + \left( {{v_1}{w_1} + ... + {v_n}{w_n}} \right)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
{{u_1}}&{{u_2}}&{...}&{{u_n}}
\end{array}} \right]\left[ \begin{array}{l}
{w_1}\\
{w_2}\\
 \vdots \\
{w_n}
\end{array} \right] + \left[ {\begin{array}{*{20}{c}}
{{v_1}}&{{v_2}}&{...}&{{v_n}}
\end{array}} \right]\left[ \begin{array}{l}
{w_1}\\
{w_2}\\
 \vdots \\
{w_n}
\end{array} \right]\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = {\left( {\bf{u}} \right)^T}{\bf{w}} + {\left( {\bf{v}} \right)^T}{\bf{w}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = f({\bf{u}},{\bf{w}}) + f({\bf{v}},{\bf{w}})
\end{array}
\]
$(d)$ 同理我們觀察
\[\begin{array}{l}
f(c{\bf{u}},{\bf{v}}) = {\left( {c{\bf{u}}} \right)^T}{\bf{v}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
{c{u_1}}&{c{u_2}}&{...}&{c{u_n}}
\end{array}} \right]\left[ \begin{array}{l}
{v_1}\\
{v_2}\\
 \vdots \\
{v_n}
\end{array} \right]\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = c\left[ {\begin{array}{*{20}{c}}
{{u_1}}&{{u_2}}&{...}&{{u_n}}
\end{array}} \right]\left[ \begin{array}{l}
{v_1}\\
{v_2}\\
 \vdots \\
{v_n}
\end{array} \right]\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = c{\left( {\bf{u}} \right)^T}{\bf{v}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = cf({\bf{u}},{\bf{v}})
\end{array}\]

Claim 2:  令向量空間 $ V := \mathbb{R}^n$ 現在定義下列函數 $f: \mathbb{R}^n \times \mathbb{R}^n \to \mathbb{R}$ 滿足
\[
f({\bf u},{\bf v}) := {\bf u}^T {\bf v}
\]其中 ${\bf u} := [u_1\;u_2\;...,u_n]^T $ 與 ${\bf v} := [v_1\;\;v_2\;...,v_n]^T $ 為任意 $\mathbb{R}^n$ 空間中的向量， 則此運算為 $\mathbb{R}^n$ 一種內積。
Proof: omitted

Claim 3:  令向量空間 $ V := C[a,b]$ ，若 $f,g \in V$ 令
\[\left( {f,g} \right): = \int_a^b {f\left( t \right)g\left( t \right)dt} \] 則 $(f,g)$ 為 $C[a,b]$ 上的一種內積。
Proof: omitted


以下我們接著介紹對任意有限維度向量空間，則其上的內積可以用一個透過基底表示的矩陣 $C$ 來完全決定。

==================
Theorem: 令 $S=\{{\bf u}_1,...,{\bf u}_n\}$ 為 向量空間 $V$ 的 ordered basis 且假設我們可在 $V$ 上定義內積，現在令 $c_{ij} = ({\bf u}_i, {\bf u}_j)$ 且 $C=[c_{ij}]$ 矩陣 則
對任意 ${\bf v,w} \in V$， 存在 $C = [c_{ij}]$ 矩陣 使得 $({\bf v},{\bf w}) = [{\bf v}]_S^T C [{\bf w}]_S$
==================

Proof : 給定  ${\bf v,w} \in V$ 則我們有
\[\begin{array}{l}
{\bf{v}} = {a_1}{{\bf{u}}_1} + ... + {a_n}{{\bf{u}}_n}\\
{\bf{w}} = {b_1}{{\bf{u}}_1} + ... + {b_n}{{\bf{u}}_n}
\end{array}
\]
現在我們觀察內積 \[\begin{array}{l}
({\bf{v}},{\bf{w}}) = ({a_1}{{\bf{u}}_1} + ... + {a_n}{{\bf{u}}_n},{\bf{w}})\\
 = ({a_1}{{\bf{u}}_1},{\bf{w}}) + ({a_2}{{\bf{u}}_2},{\bf{w}}) + ... + ({a_n}{{\bf{u}}_n},{\bf{w}})\\
 = {a_1}({{\bf{u}}_1},{\bf{w}}) + {a_2}({{\bf{u}}_2},{\bf{w}}) + ... + {a_n}({{\bf{u}}_n},{\bf{w}})
\end{array}\]又因為 ${\bf{w}} = {b_1}{{\bf{u}}_1} + ... + {b_n}{{\bf{u}}_n}$ 故
\[\begin{array}{l}
({\bf{v}},{\bf{w}}) = ({a_1}{{\bf{u}}_1} + ... + {a_n}{{\bf{u}}_n},{\bf{w}})\\
 = ({a_1}{{\bf{u}}_1},{\bf{w}}) + ({a_2}{{\bf{u}}_2},{\bf{w}}) + ... + ({a_n}{{\bf{u}}_n},{\bf{w}})\\
 = {a_1}({{\bf{u}}_1},{\bf{w}}) + {a_2}({{\bf{u}}_2},{\bf{w}}) + ... + {a_n}({{\bf{u}}_n},{\bf{w}})\\
 = {a_1}({{\bf{u}}_1},{b_1}{{\bf{u}}_1} + ... + {b_n}{{\bf{u}}_n}) + {a_2}({{\bf{u}}_2},{b_1}{{\bf{u}}_1} + ... + {b_n}{{\bf{u}}_n}) + ... + {a_n}({{\bf{u}}_n},{b_1}{{\bf{u}}_1} + ... + {b_n}{{\bf{u}}_n})\\
 = \left[ {{a_1}({{\bf{u}}_1},{b_1}{{\bf{u}}_1}) + {a_1}({{\bf{u}}_1},{b_2}{{\bf{u}}_2}) + ... + {a_1}({{\bf{u}}_1},{b_n}{{\bf{u}}_n})} \right] + \\
\begin{array}{*{20}{c}}
{}&{}
\end{array}... + \left[ {{a_n}({{\bf{u}}_n},{b_1}{{\bf{u}}_1}) + {a_n}({{\bf{u}}_n},{b_2}{{\bf{u}}_2})... + {a_n}({{\bf{u}}_n},{b_n}{{\bf{u}}_n})} \right]\\
 = \left[ {{a_1}{b_1}({{\bf{u}}_1},{{\bf{u}}_1}) + {a_1}{b_2}({{\bf{u}}_1},{{\bf{u}}_2}) + ... + {a_1}{b_n}({{\bf{u}}_1},{{\bf{u}}_n})} \right] + \\
\begin{array}{*{20}{c}}
{}&{}
\end{array}... + \left[ {{a_n}{b_1}({{\bf{u}}_n},{{\bf{u}}_1}) + {a_n}{b_2}({{\bf{u}}_n},{{\bf{u}}_2})... + {a_n}{b_n}({{\bf{u}}_n},{{\bf{u}}_n})} \right]\\
 = \sum\limits_{j = 1}^n {{a_1}{b_j}({{\bf{u}}_1},{{\bf{u}}_j})}  + \sum\limits_{j = 1}^n {{a_2}{b_j}({{\bf{u}}_2},{{\bf{u}}_j})}  + ... + \sum\limits_{j = 1}^n {{a_n}{b_j}({{\bf{u}}_n},{{\bf{u}}_j})} \\
 = \sum\limits_{j = 1}^n {\left( {{a_1}{b_j}({{\bf{u}}_1},{{\bf{u}}_j}) + {a_2}{b_j}({{\bf{u}}_2},{{\bf{u}}_j}) + ... + {a_n}{b_j}({{\bf{u}}_n},{{\bf{u}}_j})} \right)} \\
 = \sum\limits_{j = 1}^n {\sum\limits_{i = 1}^n {{a_i}{b_j}({{\bf{u}}_i},{{\bf{u}}_j})} }
\end{array}\]
現在令 $c_{ij} = (a_i, b_j)$ ，則我們有
\[({\bf{v}},{\bf{w}}) = \sum\limits_{j = 1}^n {\sum\limits_{i = 1}^n {{a_i}{b_j}{c_{ij}}} } =[{\bf v}]_S C [{\bf w}]_S\]

Comments: 
1. 前述的 $C$ 矩陣亦稱為 matrix of the inner produce with respect to the ordered basis $S$
2. 由於我們有 $c_{ij} = ({\bf u}_i, {\bf u}_j)$ 且利用內積定義 $ ({\bf u}_i, {\bf u}_j)=({\bf u}_j, {\bf u}_i) $ 我們得到 $c_{ij} = c_{ji}$，故 前述的 $C = [c_{ij}]$ 矩陣為對稱矩陣。


上述 inner product 不但可用來引出 norm 的概念，更保持了連續性，以下我們給出相關結果。

============================
Lemma: (Continuity of Inner Product)
令 $u_n \to u$ 且 $v_n \to v$ 且收斂在某內積空間 (或 Pre-Hibert Space) ，則
\[
(u_n,v_n) \to (u,v)
\] ============================

Proof: 直接觀察
\begin{align*}
  \left| {({u_n},{v_n}) - (u,v)} \right| &= \left| {({u_n},{v_n}) - \left( {{u_n},v} \right) + \left( {{u_n},v} \right) - (u,v)} \right| \hfill \\
  & \leqslant \left| {({u_n},{v_n}) - \left( {{u_n},v} \right)} \right| + \left| {\left( {{u_n},v} \right) - (u,v)} \right| \hfill \\
   &= \left| {({u_n},{v_n} - v)} \right| + \left| {\left( {{u_n} - u,v} \right)} \right| \hfill \\
\end{align*} 回憶 Cauchy Schwarz Inequality $|(x,y)| \leq ||x|| ||y||$，我們有
\[\left| {({u_n},{v_n}) - (u,v)} \right| \leqslant \left\| {{u_n}} \right\|\left\| {{v_n} - v} \right\| + \left\| {{u_n} - u} \right\|\left\| v \right\|\;\;\;\; (*)
\]注意到因為 $\{u_n\}$數列為收斂數列，故 $||u_n|| < \infty$，另外 $v$ 為 收斂數列 $\{v_n\}$ 的極限，故 $||v|| < \infty$。除此之外，由假設  $u_n \to u$ 且 $v_n \to v$ 可知
\[
||u_n - u|| \to 0;\;\;\;\;\; ||v_n \to v|| \to 0
\]因此，上式 $(*)$ 取極限後可得
\[\left| {({u_n},{v_n}) - (u,v)} \right| \leqslant \underbrace {\left\| {{u_n}} \right\|}_{ < \infty }\underbrace {\left\| {{v_n} - v} \right\|}_{ \to 0} + \underbrace {\left\| {{u_n} - u} \right\|}_{ \to 0}\underbrace {\left\| v \right\|}_{ < \infty } \to 0 + 0 = 0\]

[線性代數] 座標轉換矩陣

考慮 $V$ 為 $n$ 維向量空間，且 ${\bf v} \in V$。現在考慮兩組 有序基底 (ordered basis)

\[\begin{array}{l} S: = \{ {{\bf{v}}_1},{{\bf{v}}_2},...,{{\bf{v}}_n}\} \\ T: = \{ {{\bf{w}}_1},{{\bf{w}}_2},...,{{\bf{w}}_n}\} \end{array}\]

則 我們可將 ${\bf v}$ 用上述有序基底做線性組合唯一表示，比如說

\[
{\bf v} = c_1 { {\bf w}_1} + ... c_n {\bf w}_n
\]且其對應於  $T$ 基底的 座標向量 (coordinate vector) 與 對 $S$ 基底的 coordinate vector 我們定義如下 

\[{\left[ {\bf{v}} \right]_T} := \left[ {\begin{array}{*{20}{l}}
{{c_1}}\\
{{c_2}}\\
 \vdots \\
{{c_n}}
\end{array}} \right]; \;\;{[{\bf{v}}]_S} := \left[ \begin{array}{l}
{a_1}\\
{a_2}\\
 \vdots \\
{a_n}
\end{array} \right]
\]注意到事實上 上述 對 $T$ 基底的 coordinate vector 可看成是函數，比如說令 $L: V \to \mathbb{R}^n$ 滿足
\[
L({\bf v}) = [{\bf v}]_T
\]同理，對 $S$ 基底的 coordinate vector 令 $L': V \to \mathbb{R}^n$ 滿足
\[
L'({\bf v}) = [{\bf v}]_S
\]
Comment:
1. 上述 $L, L'$ 統稱為 coordinate mapping
2. Coordinate mapping 為 bijective linear transformation 或稱 isomorphism。

現在若我們想建構 對於 $S$ 基底的座標向量 與 $T$ 基底座標向量之間兩者的關係，利用  coordinate mapping $[{\bf v}]_S$ 為 linear transformation 性質 ，我們有
\[\begin{array}{l}
{[{\bf{v}}]_S} = {[{c_1}{{\bf{w}}_1} + ...{c_n}{{\bf{w}}_n}]_S}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = {[{c_1}{{\bf{w}}_1}]_S} + ... + {[{c_n}{{\bf{w}}_n}]_S}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = {c_1}{[{{\bf{w}}_1}]_S} + ... + {c_n}{[{{\bf{w}}_n}]_S}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
|&|&{}&|\\
{{{[{{\bf{w}}_1}]}_S}}&{{{[{{\bf{w}}_2}]}_S}}&{...}&{{{[{{\bf{w}}_n}]}_S}}\\
|&|&{}&|
\end{array}} \right]\left[ \begin{array}{l}
{c_1}\\
{c_2}\\
 \vdots \\
{c_n}
\end{array} \right]\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = {P_{S \leftarrow T}}\left[ \begin{array}{l}
{c_1}\\
{c_2}\\
 \vdots \\
{c_n}
\end{array} \right]
\end{array}\]其中 ${P_{S \leftarrow T}}: = \left[ {\begin{array}{*{20}{c}}
|&|&{}&|\\
{{{[{{\bf{w}}_1}]}_S}}&{{{[{{\bf{w}}_2}]}_S}}&{...}&{{{[{{\bf{w}}_n}]}_S}}\\
|&|&{}&|
\end{array}} \right]$ 稱為 從 $T$ 基底到 $S$ 基底的座標轉換矩陣  (Transition Matrix from T-basis to the S basis )且對於個別的 coordinate vector; e.g., $[{\bf w}_j]_S$ 我們有
\[{[{{\bf{w}}_j}]_S} = \left[ \begin{array}{l}
{a_{1j}}\\
{a_{2j}}\\
 \vdots \\
{a_{nj}}
\end{array} \right]\]
故我們有以下結果
\[
[{\bf v}]_S = P_{S \leftarrow T} [{\bf v}]_T
\]

以下是一些關於 Transition Matrix 的性質：
令 $S,T$ 為向量空間的兩組 ordered basis 則
FACT 1. $P_{T \leftarrow T} = I$
FACT 2. $P_{S \leftarrow T}$ 為 nonsingular

現在看幾個例子：

Example 1.
令 \[S: = \left\{ {{{\bf{v}}_1},{{\bf{v}}_2}} \right\} = \left\{ {\left[ \begin{array}{l}
1\\
2
\end{array} \right],\left[ \begin{array}{l}
0\\
1
\end{array} \right]} \right\};T: = \left\{ {{{\bf{w}}_1},{{\bf{w}}_2}} \right\} = \left\{ {\left[ \begin{array}{l}
1\\
1
\end{array} \right],\left[ \begin{array}{l}
2\\
3
\end{array} \right]} \right\}\]為 ordered bases for $\mathbb{R}^2$。現在令 ${\bf v} = [1 \;\; 5]^T$ 與 ${\bf w} := [5 \;\; 4]^T$ 。
(a) 試求 coordinate vectors $[{\bf v}]_T$ 與 $[{\bf w}]_T$
(b) 試求 $P_{S \leftarrow T}$
(c) 試求 coordinate vectors $[{\bf v}]_S$ 與 $[{\bf w}]_S$

Solution(a)
由 $[{\bf v}]_T$ 的定義可知 ${\left[ {\bf{v}} \right]_T} = \left[ \begin{array}{l}
{a_1}\\
{a_2}
\end{array} \right]$且
\[\begin{array}{l}
\left[ \begin{array}{l}
1\\
5
\end{array} \right] = {a_1}\left[ \begin{array}{l}
1\\
1
\end{array} \right] + {a_2}\left[ \begin{array}{l}
2\\
3
\end{array} \right]\\
 \Rightarrow \left[ {\begin{array}{*{20}{c}}
1&2\\
1&3
\end{array}} \right]\left[ \begin{array}{l}
{a_1}\\
{a_2}
\end{array} \right] = \left[ \begin{array}{l}
1\\
5
\end{array} \right]\\
 \Rightarrow \left\{ \begin{array}{l}
{a_1} =  - 7\\
{a_2} = 4
\end{array} \right.
\end{array}\]同理 ${\left[ {\bf{w}} \right]_T} = \left[ \begin{array}{l}
{b_1}\\
{b_2}
\end{array} \right]$
\[\begin{array}{l}
\underbrace {\left[ \begin{array}{l}
5\\
4
\end{array} \right]}_{ = {\bf{w}}} = {b_1}\left[ \begin{array}{l}
1\\
1
\end{array} \right] + {b_2}\left[ \begin{array}{l}
2\\
3
\end{array} \right]\\
 \Rightarrow \left[ {\begin{array}{*{20}{c}}
1&2\\
1&3
\end{array}} \right]\left[ \begin{array}{l}
{b_1}\\
{b_2}
\end{array} \right] = \left[ \begin{array}{l}
5\\
4
\end{array} \right]\\
 \Rightarrow \left\{ \begin{array}{l}
{b_1} = 7\\
{b_2} =  - 1
\end{array} \right.
\end{array}\]

Solution (b)
我們要求 $P_{S \leftarrow T}$，由 part (a) 可知我們有 $[{\bf v}]_T = [-7\;\;4]$ 故
\[\begin{array}{l}
{[{\bf{v}}]_S} = {\left[ { - 7{{\bf{w}}_1} + 4{{\bf{w}}_2}} \right]_S}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} =  - 7{\left[ {{{\bf{w}}_1}} \right]_S} + 4{\left[ {{{\bf{w}}_2}} \right]_S}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \underbrace {\left[ {\begin{array}{*{20}{c}}
|&|\\
{{{\left[ {{{\bf{w}}_1}} \right]}_S}}&{{{\left[ {{{\bf{w}}_2}} \right]}_S}}\\
|&|
\end{array}} \right]}_{ = {P_{S \leftarrow T}}}\underbrace {\left[ \begin{array}{l}
 - 7\\
4
\end{array} \right]}_{ = {{[{\bf{v}}]}_T}}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \underbrace {\left[ {\begin{array}{*{20}{c}}
{{b_{11}}}&{{b_{12}}}\\
{{b_{21}}}&{{b_{22}}}
\end{array}} \right]}_{{P_{S \leftarrow T}}}\left[ \begin{array}{l}
 - 7\\
4
\end{array} \right]
\end{array}\]
現在我們分別求取 $[{\bf w}_1]_S$ 與 $[{\bf w}_2]_S$如下:
\[\begin{array}{l}
{\left[ {{{\bf{w}}_1}} \right]_S} = \left[ \begin{array}{l}
{b_{11}}\\
{b_{21}}
\end{array} \right]\\
 \Rightarrow {b_{11}}\left[ \begin{array}{l}
1\\
2
\end{array} \right] + {b_{21}}\left[ \begin{array}{l}
0\\
1
\end{array} \right] = \underbrace {\left[ \begin{array}{l}
1\\
1
\end{array} \right]}_{ = {{\bf{w}}_1}}\\
 \Rightarrow \left[ {\begin{array}{*{20}{c}}
1&0\\
2&1
\end{array}} \right]\left[ \begin{array}{l}
{b_{11}}\\
{b_{21}}
\end{array} \right] = \left[ \begin{array}{l}
1\\
1
\end{array} \right]\\
 \Rightarrow \left\{ \begin{array}{l}
{b_{11}} = 1\\
{b_{21}} =  - 1
\end{array} \right.
\end{array}\]
且
\[\begin{array}{l}
{\left[ {{{\bf{w}}_2}} \right]_S} = \left[ \begin{array}{l}
{b_{12}}\\
{b_{22}}
\end{array} \right]\\
 \Rightarrow {b_{12}}\left[ \begin{array}{l}
1\\
2
\end{array} \right] + {b_{22}}\left[ \begin{array}{l}
0\\
1
\end{array} \right] = \underbrace {\left[ \begin{array}{l}
2\\
3
\end{array} \right]}_{ = {{\bf{w}}_2}}\\
 \Rightarrow \left[ {\begin{array}{*{20}{c}}
1&0\\
2&1
\end{array}} \right]\left[ \begin{array}{l}
{b_{11}}\\
{b_{21}}
\end{array} \right] = \left[ \begin{array}{l}
2\\
3
\end{array} \right]\\
 \Rightarrow \left\{ \begin{array}{l}
{b_{12}} = 2\\
{b_{21}} =  - 1
\end{array} \right.
\end{array}\]故
\[{P_{S \leftarrow T}} = \left[ {\begin{array}{*{20}{c}}
1&2\\
{ - 1}&{ - 1}
\end{array}} \right]\]
Solution (c)
\[\begin{array}{l}
{[{\bf{v}}]_S} = {P_{S \leftarrow T}}{[{\bf{v}}]_T}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
1&2\\
{ - 1}&{ - 1}
\end{array}} \right]\left[ \begin{array}{l}
 - 7\\
4
\end{array} \right] = \left[ \begin{array}{l}
1\\
3
\end{array} \right]\\
{[{\bf{w}}]_S} = {P_{S \leftarrow T}}{[{\bf{w}}]_T}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
1&2\\
{ - 1}&{ - 1}
\end{array}} \right]\left[ \begin{array}{l}
7\\
 - 1
\end{array} \right] = \left[ \begin{array}{l}
5\\
 - 6
\end{array} \right]

\end{array}\]

Example 2.
令 $V:= \mathbb{R^3}$ 且令 $S:=\{{\bf v}_1,{\bf v}_2, {\bf v}_3\}$ 且 $T = \{{\bf w}_1, {\bf w}_2, {\bf w}_3\}$ 為  $\mathbb{R}^3$ 的ordered basis，其中
\[\begin{array}{l}
{{\bf{v}}_1} = \left[ \begin{array}{l}
2\\
0\\
1
\end{array} \right];{{\bf{v}}_2} = \left[ \begin{array}{l}
1\\
2\\
0
\end{array} \right];{{\bf{v}}_3} = \left[ \begin{array}{l}
1\\
1\\
1
\end{array} \right]\\
{{\bf{w}}_1} = \left[ \begin{array}{l}
6\\
3\\
3
\end{array} \right];{{\bf{w}}_2} = \left[ \begin{array}{l}
4\\
 - 1\\
3
\end{array} \right];{{\bf{w}}_3} = \left[ \begin{array}{l}
5\\
5\\
2
\end{array} \right]
\end{array}\]
(a) 試計算 $P_{S \leftarrow T}$
(Exercise) 令 ${\bf v} = [4 \;\; -9 \;\; 5]$ 驗證 $[{\bf v}]_S = P_{S \leftarrow T} [{\bf v}]_T$

Solution (a):
由前面討論可知
\[{P_{S \leftarrow T}}: = \left[ {\begin{array}{*{20}{c}}
|&|&|\\
{{{[{{\bf{w}}_1}]}_S}}&{{{[{{\bf{w}}_2}]}_S}}&{{{[{{\bf{w}}_3}]}_S}}\\
|&|&|
\end{array}} \right]\]故我們需分別求出 $[{\bf w}_1]_S, [{\bf w}_2]_S$ 與 $[{\bf w}_3]_S$：

首先求 ${[{{\bf{w}}_1}]_S} = \left[ \begin{array}{l}
{a_{11}}\\
{a_{21}}\\
{a_{31}}
\end{array} \right]$ 如下：由於 ${\bf w}_1$ 可用 $S$ 有序基底作唯一線性組合表示，故
\[\begin{array}{l}
\left[ \begin{array}{l}
6\\
3\\
3
\end{array} \right] = {a_{11}}\left[ \begin{array}{l}
2\\
0\\
1
\end{array} \right] + {a_{21}}\left[ \begin{array}{l}
1\\
2\\
0
\end{array} \right] + {a_{31}}\left[ \begin{array}{l}
1\\
1\\
1
\end{array} \right]\\
 \Rightarrow \left[ {\begin{array}{*{20}{c}}
2&1&1\\
0&2&1\\
1&0&1
\end{array}} \right]\left[ \begin{array}{l}
{a_{11}}\\
{a_{21}}\\
{a_{31}}
\end{array} \right] = \left[ \begin{array}{l}
6\\
3\\
3
\end{array} \right] \Rightarrow \left\{ \begin{array}{l}
{a_{11}} = 2\\
{a_{21}} = 1\\
{a_{31}} = 1
\end{array} \right.
\end{array}
\]
接著我們求 ${[{{\bf{w}}_2}]_S} = \left[ \begin{array}{l}
{a_{12}}\\
{a_{22}}\\
{a_{32}}
\end{array} \right]$ ，由 ${\bf w}_2$ 可用 $S$ 有序基底作唯一線性組合表示，我們可得
\[\begin{array}{l}
\left[ \begin{array}{l}
4\\
 - 1\\
3
\end{array} \right] = {a_{12}}\left[ \begin{array}{l}
2\\
0\\
1
\end{array} \right] + {a_{22}}\left[ \begin{array}{l}
1\\
2\\
0
\end{array} \right] + {a_{32}}\left[ \begin{array}{l}
1\\
1\\
1
\end{array} \right]\\
 \Rightarrow \left[ {\begin{array}{*{20}{c}}
2&1&1\\
0&2&1\\
1&0&1
\end{array}} \right]\left[ \begin{array}{l}
{a_{11}}\\
{a_{21}}\\
{a_{31}}
\end{array} \right] = \left[ \begin{array}{l}
4\\
 - 1\\
3
\end{array} \right] \Rightarrow \left\{ \begin{array}{l}
{a_{12}} = 2\\
{a_{22}} =  - 1\\
{a_{32}} = 1
\end{array} \right.
\end{array}\]
最後求 ${[{{\bf{w}}_3}]_S} = \left[ \begin{array}{l}
{a_{13}}\\
{a_{23}}\\
{a_{33}}
\end{array} \right]$，同前述方法，利用 ${\bf w}_3$ 可透過 $S$ 有序基底作唯一線性組合表示，我們可得
\[\begin{array}{l}
\left[ \begin{array}{l}
5\\
5\\
2
\end{array} \right] = {a_{13}}\left[ \begin{array}{l}
2\\
0\\
1
\end{array} \right] + {a_{23}}\left[ \begin{array}{l}
1\\
2\\
0
\end{array} \right] + {a_{33}}\left[ \begin{array}{l}
1\\
1\\
1
\end{array} \right]\\
 \Rightarrow \left[ {\begin{array}{*{20}{c}}
2&1&1\\
0&2&1\\
1&0&1
\end{array}} \right]\left[ \begin{array}{l}
{a_{11}}\\
{a_{21}}\\
{a_{31}}
\end{array} \right] = \left[ \begin{array}{l}
5\\
5\\
2
\end{array} \right] \Rightarrow \left\{ \begin{array}{l}
{a_{13}} = 1\\
{a_{23}} = 2\\
{a_{33}} = 1
\end{array} \right.
\end{array}\]
\[\begin{array}{l}
{P_{S \leftarrow T}}: = \left[ {\begin{array}{*{20}{c}}
|&|&|\\
{{{[{{\bf{w}}_1}]}_S}}&{{{[{{\bf{w}}_2}]}_S}}&{{{[{{\bf{w}}_3}]}_S}}\\
|&|&|
\end{array}} \right]\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
{{a_{11}}}&{{a_{12}}}&{{a_{13}}}\\
{{a_{12}}}&{{a_{22}}}&{{a_{23}}}\\
{{a_{13}}}&{{a_{32}}}&{{a_{33}}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
2&2&1\\
1&{ - 1}&2\\
1&1&1
\end{array}} \right]
\end{array}\]

[線性代數] 伴隨矩陣 $adj(A)$ 的一些性質

給定 $n \times n$ 的非奇異方陣 $A$，則下列性質成立
Claim: $adj A$ 為非奇異矩陣
Proof: 由於 $A$ 為 nonsingular，我們有
\[
A^{-1} = \frac{1}{detA} adj (A) \]
注意到等號左方 $A^{-1}$ 亦為 nonsingular (why? 由 $A$ 為 nonsingular 的定義出發，我們可知$A A^{-1} = I$ 等價說明 $A^{-1}$ 為 nonsingular)，且由於 $det A$ 僅為常數，故 $adj A$ 必定為 nonsingular。 $\square$

Claim: $\det (adj A) = (\det A)^{n-1}$
Proof: 由 $A^{-1}$ 可知
\[\begin{array}{l}
{A^{ - 1}} = \frac{1}{{\det A}}adj\left( A \right)\\
 \Rightarrow \left( {\det A} \right)\left( {{A^{ - 1}}} \right) = adj\left( A \right)\\
 \Rightarrow \det \left( {\left( {\det A} \right)\left( {{A^{ - 1}}} \right)} \right) = \det \left( {adj\left( A \right)} \right)\\
 \Rightarrow {\left( {\det A} \right)^n}\det \left( {{A^{ - 1}}} \right) = \det \left( {adj\left( A \right)} \right)\\
 \Rightarrow {\left( {\det A} \right)^n}\frac{1}{{\det A}} = \det \left( {adj\left( A \right)} \right)\\
 \Rightarrow {\left( {\det A} \right)^{n - 1}} = \det \left( {adj\left( A \right)} \right)
\end{array}\]


Claim: $(adj A)^{-1} = adj (A^{-1}) = \frac{1}{det A} A$
首先注意到
\[\begin{array}{l}
{A^{ - 1}} = \frac{1}{{\det A}}adj\left( A \right)\\
 \Rightarrow \left( {\det A} \right)I = adj\left( A \right)A
\end{array}\]由 Claim 1 可知 $adj A$ 為 nonsingular 故 $(adj (A))^{-1}$ 存在，亦即我們可改寫上式如下
\[\begin{array}{l}
{\left( {adj\left( A \right)} \right)^{ - 1}}\left( {\det A} \right)I = {\left( {adj\left( A \right)} \right)^{ - 1}}adj\left( A \right)A\\
 \Rightarrow \left( {\det A} \right){\left( {adj\left( A \right)} \right)^{ - 1}} = A\\
 \Rightarrow {\left( {adj\left( A \right)} \right)^{ - 1}} = \frac{1}{{\det A}}A
\end{array}\]

接著我們證明 $adj (A^{-1}) = \frac{1}{det A} A$
我們觀察
\[\begin{array}{l}
{A^{ - 1}} = \frac{1}{{\det A}}adj\left( A \right)\\
 \Rightarrow A = \frac{1}{{\det \left( {{A^{ - 1}}} \right)}}adj\left( {{A^{ - 1}}} \right)\\
 \Rightarrow A = \left( {\det A} \right)adj\left( {{A^{ - 1}}} \right)\\
 \Rightarrow \frac{1}{{\det A}}A = adj\left( {{A^{ - 1}}} \right)
\end{array}\]
故綜合以上所述，我們可得 $(adj A)^{-1} = adj (A^{-1}) = \frac{1}{det A} A$ $\square$

[線性代數] 應用行列式計算三角形面積

考慮 $\mathbb{R}^2$空間 中的 頂點分別為 $(x_1, y_1), (x_2, y_2)$ 與 $(x_3,y_3)$ 的三角形 如下圖所示

則我們可以計算此三角形 $P_1P_2P_3$ 面積為

三角形$P_1P_2P_3$ 面積 = 梯形$AP_1P_2B$ 的面積  + 梯形 $BP_2P_3C$ 的面積 - 梯形 $A P_1 P_3 C$的面積

現在回憶 國/高中數學，梯形面積 $=$(上底 $+$ 下底) $\times$ 高 $/$ 2，故我們有
\[\begin{array}{l}
Area\left( {{P_1}{P_2}{P_3}} \right) = Area\left( {A{P_1}{P_2}B} \right) + Area\left( {B{P_2}{P_3}C} \right) - Area\left( {A{P_1}{P_3}C} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{2}\left( {{y_1} + {y_2}} \right)\left( {{x_2} - {x_1}} \right) + \frac{1}{2}\left( {{y_3} + {y_2}} \right)\left( {{x_3} - {x_2}} \right) - \frac{1}{2}\left( {{y_3} + {y_1}} \right)\left( {{x_3} - {x_1}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{2}\left( {{x_1}{y_3} - {x_1}{y_2} + {x_2}{y_1} - {x_2}{y_3} + {x_3}{y_2} - {x_3}{y_1}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} =  - \frac{1}{2}\left( {\left( {{x_2}{y_3} - {x_3}{y_2}} \right) - \left( {{x_1}{y_3} - {x_3}{y_1}} \right) + \left( {{x_1}{y_2} - {x_2}{y_1}} \right)} \right)
\end{array}\]但上述結果事實上剛好為 對下列矩陣的行列式 (讀者可自行驗證)
 \[\left[ {\begin{array}{*{20}{c}}
{{x_1}}&{{y_1}}&1\\
{{x_2}}&{{y_2}}&1\\
{{x_3}}&{{y_3}}&1
\end{array}} \right]\]
注意到由於行列式有正負之分，故若我們在計算面積時，需加上絕對值保證其恆為正數，故對於 $\mathbb{R}^2$ 空間三角形 $\Delta$ 面積可透過下式計算：
\[Area\left( \Delta  \right) = \frac{1}{2}\left| {\det \left( {\left[ {\begin{array}{*{20}{c}}
{{x_1}}&{{y_1}}&1\\
{{x_2}}&{{y_2}}&1\\
{{x_3}}&{{y_3}}&1
\end{array}} \right]} \right)} \right|\]

Example 1:
試計算下圖中的三角形面積

Solution:
利用前述結果可得
\[\begin{array}{l}
Area\left( \Delta  \right) = \frac{1}{2}\left| {\det \left( {\left[ {\begin{array}{*{20}{c}}
{{x_1}}&{{y_1}}&1\\
{{x_2}}&{{y_2}}&1\\
{{x_3}}&{{y_3}}&1
\end{array}} \right]} \right)} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{2}\left| {\det \left( {\left[ {\begin{array}{*{20}{c}}
2&6&1\\
{ - 1}&4&1\\
3&1&1
\end{array}} \right]} \right)} \right| = \frac{{17}}{2}
\end{array}\]

Example 2:
試計算下圖四邊形面積

Solution
注意到圖中四邊形面積可視為兩個三角形面積之和，故
\[\begin{array}{l}
Area = \frac{1}{2}\left| {\det \left( {\left[ {\begin{array}{*{20}{c}}
2&6&1\\
{ - 1}&4&1\\
3&1&1
\end{array}} \right]} \right)} \right| + \frac{1}{2}\left| {\det \left( {\left[ {\begin{array}{*{20}{c}}
2&6&1\\
6&3&1\\
3&1&1
\end{array}} \right]} \right)} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{{17}}{2} + \frac{{17}}{2} = 17
\end{array}\]

[線性代數] 淺論座標

令 $V$ 為 $n$ 維向量空間，則我們知道 $V$ 有基底 (basis) $S$ 且其元素為 $n$ 維向量。現在我們定義 $S :=\{{\bf v}_1,...{\bf v}_n\}$ 為向量空間 $V$ 的一組有序基底 (ordered basis) 則任意向量 ${\bf v} \in V$ 可由上述有序基底唯一表示成以下的線性組合形式：
\[
{\bf v} = a_1 {\bf v}_1 + a_2 {\bf v}_2 + ... + a_n {\bf v}_n
\]其中 $a_1,...a_n \in \mathbb{R}^1$

Definition: Coordinate Vector
定義 ${\bf v}$ 對應於有序基底 $S$ 的座標向量 (coordinate vector) 為
\[{[{\bf{v}}]_S}: = \left[ \begin{array}{l}
{a_1}\\
{a_2}\\
 \vdots \\
{a_n}
\end{array} \right]\] 且其中 $[{\bf v}]_S$ 的元素 $a_i$ 稱之為 ${\bf v}$ 對應於有序基底的座標。

Example 1:
考慮向量空間 \[
V:= P_2 := \{p(t) = a_2t^2 + a_1t + a_0: a_2,a_1,a_0 \in \mathbb{R}^2\}
\]且令基底 $S= \{t^2, t, 1\}$ 現考慮 ${\bf v}:= p(t) = \alpha t^2 + \alpha t^1 + \alpha$ 求 $[{\bf v}]_S = ?$

Solution
注意到 ${\bf v}:= p(t) = \alpha t^2 + \alpha t^1 + \alpha$，暫稱此式為 $(*)$ 又因為 ${\bf v} \in V$ 故由 $\bf v$ 可由 $S$ 的有序基底 $\{ t^2, t,1\}$ 透過線性組合唯一表示：也就是說
\[{\bf{v}} = p\left( t \right) \in {P_2} \Leftrightarrow {\bf v} = {a_2}{t^2} + {a_1}t + {a_0} \;\;\;\;\; (\star)
\]
故比較 $(*)$ 與 $(\star)$ 兩式
\[{a_2}{t^2} + {a_1}t + {a_0} = \alpha {t^2} + \alpha t + \alpha
\] 可得 $a_2 = \alpha$， $a_1 = \alpha$ 與 $a_0 = \alpha$ 故
\[{[{\bf{v}}]_S}: = \left[ \begin{array}{l}
{a_2}\\
{a_1}\\
{a_0}
\end{array} \right] = \left[ \begin{array}{l}
\alpha \\
\alpha \\
\alpha
\end{array} \right]\]

Example 2:
考慮向量空間 \[
V:= P_2 := \{p(t) = a_2t^2 + a_1t + a_0: a_2,a_1,a_0 \in \mathbb{R}^2\}
\]且令基底 $S= \{t^2-t+1, t+1, 1^2+1\}$ 現考慮 ${\bf v}:= p(t) = 4 t^2 -2 t^1 + 3$ 求 $[{\bf v}]_S = ?$

Solution:
令 \[{\left[ {\bf{v}} \right]_S} = \left[ \begin{array}{l}
{a_1}\\
{a_2}\\
{a_3}
\end{array} \right]\]且 $\bf v$ 可透過基底 $S$ 做線性組合
\[\begin{array}{l}
{\bf{v}} = {a_1}{{\bf{v}}_1} + {a_2}{{\bf{v}}_2} + {a_3}{{\bf{v}}_3}\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = {a_1}\left( {{t^2} - t + 1} \right) + {a_2}\left( {t + 1} \right) + {a_3}\left( {{t^2} + 1} \right)\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} = \left( {{a_1} + {a_3}} \right){t^2} + \left( {{a_2} - {a_1}} \right)t + \left( {{a_1} + {a_2} + {a_3}} \right)\;\;\;\; (*)
\end{array}\]又因為
\[
{\bf v} = 4t^2 -2t +3 \;\;\;\; (\star)
\]故比較 $(\star)$ 與 $(*)$ 係數可得
\[\begin{gathered}
  4{t^2} - 2t + 3 = \left( {{a_1} + {a_3}} \right){t^2} + \left( {{a_2} - {a_1}} \right)t + \left( {{a_1} + {a_2} + {a_3}} \right) \hfill \\
   \Rightarrow \left\{ \begin{gathered}
  {a_1} + {a_3} = 4 \hfill \\
  {a_2} - {a_1} =  - 2 \hfill \\
  {a_1} + {a_2} + {a_3} = 3 \hfill \\
\end{gathered}  \right. \hfill \\
\end{gathered} \]
將上式改寫成矩陣求解 $a_1, a_2, a_3$如下
\[\begin{gathered}
   \left[ {\begin{array}{*{20}{c}}
  1&0&1 \\
  { - 1}&1&0 \\
  1&1&1
\end{array}} \right]\left[ \begin{gathered}
  {a_1} \hfill \\
  {a_2} \hfill \\
  {a_3} \hfill \\
\end{gathered}  \right] = \left[ \begin{gathered}
  4 \hfill \\
   - 2 \hfill \\
  3 \hfill \\
\end{gathered}  \right] \hfill \\
   \Rightarrow \left\{ \begin{gathered}
  {a_1} = 1 \hfill \\
  {a_2} =  - 1 \hfill \\
  {a_3} = 3 \hfill \\
\end{gathered}  \right. \hfill \\
\end{gathered} \]

[矩陣分析] 擬反矩陣(Pseudo Inverse Matrix)

回憶反矩陣(Inverse Matrix) 定義：
========================
Definition: Inverse Matrix
給定矩陣 $A,B \in \mathbb{C}^{n \times n}$ ($A,B$皆為 方陣) ，若 $A B = BA = I_n$ 則我們稱 $B $ 為 矩陣 $A$ 的 反矩陣 (Inverse Matrix)，一般而言我們將 $A$ 矩陣的 反矩陣記作 $A^{-1}$。
========================
其中 $I_n$ 表示 $n \times n$ 單位矩陣，也就是說
\[{I_n}: = {\left[ {\begin{array}{*{20}{c}}
1&0& \cdots &0\\
0&1&{}& \vdots \\
 \vdots &{}& \ddots &0\\
0& \cdots &0&1
\end{array}} \right]_{n \times n}}
\]
Comments: 
1. 若 $A^{-1}$ 存在 (亦即若 $\det (A) \neq 0$)，則 $A$ 矩陣稱為非奇異矩陣 (nonsingular matrix)，反之若 $\det(A) = 0$ 則我們稱 $A$ 矩陣為奇異矩陣 (singular matrix)。

2. 讀者應注意到前述 反矩陣 僅在定義滿足的時候成立 (最直接的檢驗法即為檢驗 $\det (A)$ 是否不等於 $0$)，但是若定義不滿足的情況該怎麼辦？比如說，$A$ 矩陣為奇異矩陣，此時不存在反矩陣，或者說 $A$矩陣不為方陣，則該如何"求得"其反矩陣？或者若無法求得反矩陣，可否近似反矩陣？為了克服此問題我們引入擬返矩陣 (Pseudo Inverse Matrix) 並使之能夠進一步推廣原本反矩陣的定義，以下給出擬反矩陣定義

========================
Definition: (Pseudo Inverse Matrix)
對任意矩陣 $A \in \mathbb{C}^{m \times n}$，存在唯一的 擬反矩陣(Pseudo Inverse Matrix) 記作 $A^{\dagger}$ 且此 $A^{\dagger}$ 滿足 下列四個條件
\[\begin{array}{l}
1. \; A{A^\dagger }A = A\\
2. \; {A^\dagger }A{A^\dagger } = {A^\dagger }\\
3. \; {(A{A^\dagger })^T} = A{A^\dagger }\\
4. \; {({A^\dagger }A)^T} = {A^\dagger }A
\end{array}\]========================

Comments: 
1. 若 $A$ 矩陣有 線性獨立的 columns 則上述 Pseudo inverse matrix $A^\dagger$ 與以下定義等價
\[
A^\dagger := (A^T A)^{-1}A^T
\]其中 $A^T A$ 必須為 nonsingular，讀者可自行檢驗此等價定義滿足前述標準定義的四個條件。

2. 一般而言，擬反矩陣 又稱 廣義反矩陣 (Generalized Inverse Matrix)

3. Pseudo inverse 對任意矩陣皆存在。

4. 上述的 Pseudo Inverse 來自 最小二次平方問題，我們簡述如下：

考慮求解下列線性方程
\[
Ax = b
\]其中 $A \in \mathbb{R}^{m \times n}$ 且 $b \in \mathbb{R}^{m \times 1}$ 且 $m > n$ 。注意到此時 $A$ 矩陣並非方陣，故不存在反矩陣：所以不能直接用 $x = A^{-1}b$ !!

那麼是否有找出 “近似反矩陣” 的方法來幫助我們求解上述問題？ 亦即若欲求一解 $x^*$ 使得下列二次平方成本函數最小
\[
J(x) = \frac{1}{2}(Ax-b)^T(Ax-b)
\] 利用一階必要條件 $ \frac{\partial J}{\partial x} = 0$ 可得 臨界點(critcal point)
\[
\frac{\partial J}{\partial x} = - A^T b + A^TA x = 0
\]由上式可推得 $ A^T b = A^T A x $ (此式又稱作 normal equation)，若 $A^T A$ 為非奇異矩陣，則我們可求解 $x$ 並令 $x^* := x$ 可得
\[
x^* = (A^T A)^{-1}A^Tb = A^\dagger b
\]上述的 $x^*$ 可使我們的目標成本函數 $J$ 最小 (參閱以下的 comment 2)。

Comments:
1. 上述擬反矩陣常見於 統計學中的回歸分析，給定一組量測資料，試求一條曲線/直線 使得該線與 量測資料之間的平方誤差最小。對統計學有興趣的讀者不妨可查閱相關書籍，在此不做贅述。
2. 上述關於最小這個觀點其實應在做二階充分條件 (Second Order Sufficient Condition)檢驗，事實上若 $A^TA$ 為 正定矩陣 (positive definite) 則不難檢驗 $x^*$ 確實為local最佳解。另外觀點是上述的 二次平方成本函數為凸函數，故此最佳解為全域最佳(global minimum)。

[線性代數] Ax=b 何時有解? 何時解為唯一?

令 $A \in \mathbb{R}^{m \times n}$ 為 實數矩陣 (有 $m$ rows 與 $n$ columns 故 $A$ 可不為方陣 )。我們通常有興趣求解下列形式的線性方程組
\[
A {\bf x} = {\bf b}
\] 其中 ${\bf b} \in \mathbb{R}^m$ 且 ${\bf x} \in \mathbb{R}^n$ 為未知數待求。

往下閱讀之前，強烈建議讀者先回憶 以下幾個 線性代數 中的 基本名詞定義：

• 向量空間 (Vector Space)
• 子空間 (Subspace)
• 線性獨立 與 線性相關 (Linear Independence & Dependence)
• 矩陣的秩 (Rank) 
• 線性生成 (Span)
• 基底 (Basis)
• 維度 (Dimension)
• 正交空間 (Orthogonal Space)

待上述基本概念補齊之後再往下閱讀：


線性代數基本定理 (Fundamental Theorem of Linear Algebra)
對於 $A {\bf x} = {\bf b}$ 何時有解 以及 何時有唯一解 給出了完整的條件 (參閱 G. Strang, "Linear Algebra and its Applications") 。亦即 任意矩陣 $A_{m \times n}$ 且 $rank(A)=r$ ，則我們可將 $\mathbb{R}^n$ 空間 與 $\mathbb{R}^m$ 空間分解到四個基本子空間：

1. 列空間(Column space) or  (Range space ) $:= \mathcal{R}(A) \subset \mathbb{R}^m$； rank $r$
2. 零空間 (Null Space) or kernel $:=\mathcal{N}(A) \subset \mathbb{R}^n$； rank $n-r$
3. 行空間 (Row space) $:= \mathcal{R}(A') \subset \mathbb{R}^n $； rank $r$
4. 左零空間 (Left null space) $:= \mathcal{N}(A') \subset \mathbb{R}^m $； rank $m-r$

Comments:
1. 前述 線性代數基本定理 有些學者亦稱為 秩-零度定理(Rank-Nullity Theorem)
2. $\mathcal{N}(A)$ 稱為 Null Space of $A$ 定義為 $\mathcal{N}(A) := \{{\bf x} \in \mathbb{R}^n : A{\bf x} = {\bf 0} \in \mathbb{R}^m\}$
3.  $\mathcal{R}(A)$ 又稱為 Range Space of $A$ 定義為 $\mathcal{R}(A) := \{ A{\bf x} \in \mathbb{R}^m : {\bf x} \in \mathbb{R}^n\}$


FACT 1: $\mathcal{N}(A)$ 為 subspace of $\mathbb{R}^n$ 且 $\mathcal{R}(A)$ 為 subspace of $\mathbb{R}^m$


以下為重要的結果：

Theorem: 何時解存在？何時解唯一
對任意 $\bf b$， $A {\bf x} = {\bf b}$ 的 解 存在 若且唯若 $A$ 的 rows 彼此線性獨立。
$Ax = b$ 的解 為 唯一解 若且唯若 $A$ 矩陣的 columns 彼此線性獨立。
Proof: omitted.

上述有等價定理以 rank條件表示：

Theorem 2: 對任意線性系統 $A {\bf x} = {\bf b}$ ，其解 ${\bf x}$ 存在若且唯若 $$
rank(A)=rank( [A|{\bf b}])
$$
其解 ${\bf x}$ 為唯一若且唯若
\[
rank(A) = rank([A|{\bf b}]) = dim({\bf b})
\]


Exercise:
給定矩陣
\[A = \left[ {\begin{array}{*{20}{c}}
1&3&5&0&7\\
0&0&0&1&2\\
0&0&0&0&0
\end{array}} \right]\]
(a) 試求 $rank A$
(b) 試求 $\mathcal{N}(A)$ 及其基底 與 維度
(c) 試求 $\mathcal{R}(A)$ 及其基底 與 維度

(d) 試求 $\mathcal{R}(A')$ 及其基底 與 維度

(e) 試求 $\mathcal{N}(A')$ 及其基底 與 維度

[線性系統] 矩陣的二次式 與 正定矩陣

=======================
Definition: (Symmetric matrix)
一個 $n \times n$ 實數 矩陣 $M$ 稱為 對稱 (symmetric) 矩陣 若 $M^T = M$。

Definition: (Quadratic form of matrix)
令 $x \in \mathbb{R}^n$ 實數向量 與  $M$ 為 $n \times n$ 實數對稱矩陣 ( $M^T =M$)，則我們稱下列形式
\[
x^T M x
\]為一個 M矩陣的二次式 (quadratic form of matrix) 
=======================
Comment
1. 若 $x$ 為 complex vector，則 $M$ 的 二次式表示為 $x^* M x$。
2. 矩陣的二次式 $x^TMx$ 幫我們把 矩陣 轉成 純量。

上面矩陣二次式 與 對稱矩陣 實際上有甚麼用呢? 事實上 對稱矩陣 具有非常特殊的 eigenvalue 性質，也就是 eigenvalue 保證必定是 實數 (沒有 complex part) 。而在系統理論裡面我們又知道 eigenvalue 對系統穩定性與系統性能至關重要，故我們先看一個結果：

=====================
FACT: 對任意 實數對稱矩陣 $M$ 其 eigenvalue 必定為實數。
=====================
Proof:
由於實數矩陣可能具有 complex 的 eigenvalue 與 eigenvector，故我們必須考慮 eigenvalue 為複數的情況。現在令 $x$ 為 complex number 且我們透過 $M$ 的二次式 $x^* M x$ 來幫助我們
首先對 $M$ 的二次式再取一次 complex conjugate 可得
\[\begin{array}{l}
{\left( {{x^*}Mx} \right)^*} = {x^*}{M^*}x\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array}\mathop  = \limits^{M\begin{array}{*{20}{c}}
{}
\end{array}is\begin{array}{*{20}{c}}
{}
\end{array}real} {x^*}{M^T}x\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array}\mathop  = \limits^{M\begin{array}{*{20}{c}}
{}
\end{array}is\begin{array}{*{20}{c}}
{}
\end{array}symmetric} {x^*}Mx \ \ \ \ \ (*)
\end{array}\]由上式可知 對任意 complex vector $x$，$x^*Mx$ 皆為 實數。

現在我們令 $\lambda$ 為 $M$ 的 eigenvalue 且 $v$ 為對應 $\lambda$ 的 eigenvector，亦即此兩者必須滿足 eigenvalue-eigenvector 關係 $M v = \lambda v$，故我們可改寫 $(*)$ 如下：
\[{v^*}\underbrace {Mv}_{ = \lambda v} = {v^*}\lambda v = \lambda {v^*}v = \lambda {\left\| v \right\|^2}\]且由於 $v^*Mv$ 與 $v^*v$ 皆為 實數，故 $\lambda$ 必定為實數。$\square$


現在我們介紹矩陣的正定性質，一般而言我們對於數字純量可以很容易判斷正負，但是對於矩陣而言便有所困難；故此我們引入 "正定 (positive definiteness)" 的概念：

=================================
Definition: (Positive definiteness and positive semidefinite)
一個 對稱 矩陣 $M$ 稱為 正定 (positive definite) 記做 $M \succ 0$ 若下列條件成立：
對任意非零向量 $x$，其二次式 $x^T M x >0$。

一個對稱矩陣 $M$ 稱為 半正定 (positive semidefinite) 記做 $M \succeq 0$ 若下列條件成立：
對任意非零向量 $x$，其二次式 $x^T M x \ge 0$。

=================================

Comment:

若 $M \succ 0$ 且 $x^T Mx =0$ 若且為若 $x =0$。
若 $M  \succeq 0$ ( $x^TMx \ge 0\;\;\text{for} \; x \ne 0$) $\Rightarrow$ 存在一個 $x \ne 0$ 使得 $x^T M x =0$。

現在我們看看除了定義之外，還有甚麼方法判別矩陣是否為正定?

================================
Theorem: Criterion of positive definiteness
一個對稱的 $n \times n$ 矩陣 $M$ 為 positive definite 若且為若 下列任一條件成立：
1. 所有 $M$ 的 eigenvalue $\lambda$ 都為正  ($\lambda > 0$)。
2. 所有 $M$ 的 leading principal minors 皆為正。
3. 存在一個 $n \times n$ 的 nonsingular 矩陣 $N$ 使得 $M = N^TN$
================================
Proof: omitted.

這邊我們省略證明，有興趣得讀者可參閱任何一本 線性系統或者線性代數的教科書即可。我們這邊只關注第三點：
若 $M = N^TN$，則我們觀察其 二次式：對任意 $x$ 而言，我們有
\[{x^T}Mx = {x^T}{N^T}Nx = \left( {N{x^T}} \right)Nx = \left\| {Nx} \right\|_2^2 \ge 0
\]現在若 $N$ 為 nonsingular 則我們知道 對任意 $x$，$N x \ne 0$，故只有當 $x =0$ 時候才會使 $Nx =0$。故可推知 $M \succ 0$

================================

Theorem: Criterion of positive semidefiniteness
一個對稱的 $n \times n$ 矩陣 $M$ 為 positive definite 若且為若 下列任一條件成立：
1. 所有 $M$ 的 eigenvalue $\lambda$ 都為 非負 ($\lambda \ge 0$)。
2. 所有 $M$ 的 leading principal minors 皆為非負。
3. 存在一個 $n \times n$ 的 singular 矩陣 $N$ 或者 $m \times n$ (n > m) 的矩陣 $N$使得 $M = N^TN$

================================

Proof: omitted.