[線性系統] 矩陣的二次式 與 正定矩陣

=======================
Definition: (Symmetric matrix)
一個 $n \times n$ 實數 矩陣 $M$ 稱為 對稱 (symmetric) 矩陣 若 $M^T = M$。

Definition: (Quadratic form of matrix)
令 $x \in \mathbb{R}^n$ 實數向量 與  $M$ 為 $n \times n$ 實數對稱矩陣 ( $M^T =M$)，則我們稱下列形式
\[
x^T M x
\]為一個 M矩陣的二次式 (quadratic form of matrix) 
=======================
Comment
1. 若 $x$ 為 complex vector，則 $M$ 的 二次式表示為 $x^* M x$。
2. 矩陣的二次式 $x^TMx$ 幫我們把 矩陣 轉成 純量。

上面矩陣二次式 與 對稱矩陣 實際上有甚麼用呢? 事實上 對稱矩陣 具有非常特殊的 eigenvalue 性質，也就是 eigenvalue 保證必定是 實數 (沒有 complex part) 。而在系統理論裡面我們又知道 eigenvalue 對系統穩定性與系統性能至關重要，故我們先看一個結果：

=====================
FACT: 對任意 實數對稱矩陣 $M$ 其 eigenvalue 必定為實數。
=====================
Proof:
由於實數矩陣可能具有 complex 的 eigenvalue 與 eigenvector，故我們必須考慮 eigenvalue 為複數的情況。現在令 $x$ 為 complex number 且我們透過 $M$ 的二次式 $x^* M x$ 來幫助我們
首先對 $M$ 的二次式再取一次 complex conjugate 可得
\[\begin{array}{l}
{\left( {{x^*}Mx} \right)^*} = {x^*}{M^*}x\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array}\mathop  = \limits^{M\begin{array}{*{20}{c}}
{}
\end{array}is\begin{array}{*{20}{c}}
{}
\end{array}real} {x^*}{M^T}x\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array}\mathop  = \limits^{M\begin{array}{*{20}{c}}
{}
\end{array}is\begin{array}{*{20}{c}}
{}
\end{array}symmetric} {x^*}Mx \ \ \ \ \ (*)
\end{array}\]由上式可知 對任意 complex vector $x$，$x^*Mx$ 皆為 實數。

現在我們令 $\lambda$ 為 $M$ 的 eigenvalue 且 $v$ 為對應 $\lambda$ 的 eigenvector，亦即此兩者必須滿足 eigenvalue-eigenvector 關係 $M v = \lambda v$，故我們可改寫 $(*)$ 如下：
\[{v^*}\underbrace {Mv}_{ = \lambda v} = {v^*}\lambda v = \lambda {v^*}v = \lambda {\left\| v \right\|^2}\]且由於 $v^*Mv$ 與 $v^*v$ 皆為 實數，故 $\lambda$ 必定為實數。$\square$


現在我們介紹矩陣的正定性質，一般而言我們對於數字純量可以很容易判斷正負，但是對於矩陣而言便有所困難；故此我們引入 "正定 (positive definiteness)" 的概念：

=================================
Definition: (Positive definiteness and positive semidefinite)
一個 對稱 矩陣 $M$ 稱為 正定 (positive definite) 記做 $M \succ 0$ 若下列條件成立：
對任意非零向量 $x$，其二次式 $x^T M x >0$。

一個對稱矩陣 $M$ 稱為 半正定 (positive semidefinite) 記做 $M \succeq 0$ 若下列條件成立：
對任意非零向量 $x$，其二次式 $x^T M x \ge 0$。

=================================

Comment:

若 $M \succ 0$ 且 $x^T Mx =0$ 若且為若 $x =0$。
若 $M  \succeq 0$ ( $x^TMx \ge 0\;\;\text{for} \; x \ne 0$) $\Rightarrow$ 存在一個 $x \ne 0$ 使得 $x^T M x =0$。

現在我們看看除了定義之外，還有甚麼方法判別矩陣是否為正定?

================================
Theorem: Criterion of positive definiteness
一個對稱的 $n \times n$ 矩陣 $M$ 為 positive definite 若且為若 下列任一條件成立：
1. 所有 $M$ 的 eigenvalue $\lambda$ 都為正  ($\lambda > 0$)。
2. 所有 $M$ 的 leading principal minors 皆為正。
3. 存在一個 $n \times n$ 的 nonsingular 矩陣 $N$ 使得 $M = N^TN$
================================
Proof: omitted.

這邊我們省略證明，有興趣得讀者可參閱任何一本 線性系統或者線性代數的教科書即可。我們這邊只關注第三點：
若 $M = N^TN$，則我們觀察其 二次式：對任意 $x$ 而言，我們有
\[{x^T}Mx = {x^T}{N^T}Nx = \left( {N{x^T}} \right)Nx = \left\| {Nx} \right\|_2^2 \ge 0
\]現在若 $N$ 為 nonsingular 則我們知道 對任意 $x$，$N x \ne 0$，故只有當 $x =0$ 時候才會使 $Nx =0$。故可推知 $M \succ 0$

================================

Theorem: Criterion of positive semidefiniteness
一個對稱的 $n \times n$ 矩陣 $M$ 為 positive definite 若且為若 下列任一條件成立：
1. 所有 $M$ 的 eigenvalue $\lambda$ 都為 非負 ($\lambda \ge 0$)。
2. 所有 $M$ 的 leading principal minors 皆為非負。
3. 存在一個 $n \times n$ 的 singular 矩陣 $N$ 或者 $m \times n$ (n > m) 的矩陣 $N$使得 $M = N^TN$

================================

Proof: omitted.