謝宗翰的隨筆

Definitions: 1. 我們說一個矩陣 $A$ 為 symmetric 若 $A^T=A$ 2. 我們說一個矩陣 $A \in \mathbb{R}^{n \times n}$ 為 正定 (positive definite) 若 對任意 ${\bf x} \in \mathbb{R}^n, \; {\bf x} \neq 0$ 而言， \[ {\bf x}^T A {\bf x} >0 \] Comments: 上述positive definite 建構的 ${\bf x}^T A {\bf x} $ 稱作 矩陣的二次式。 判斷矩陣正定的方式有許多，上述只是其中一種，另外還有許多等價定義。下列敘述等價 1. 矩陣 $A$ 為 positive definite 2. 對任意 ${\bf x} \in \mathbb{R}^n, \; {\bf x} \neq 0$ 而言，${\bf x}^T A {\bf x} >0$ 3. 矩陣 $A$ 有 正的 特徵值(eigenvalues) 4. 矩陣 $A$ 有 正的 leading principal minors 5. 矩陣 $A$ 有 正 的 pivots 接著我們給出當 $A$ 非方陣的時候，如何找出其對應的 正定矩陣。 ========== Theorem: $A \in \mathbb{R}^{m\times n}$ 有線性獨立的 columns 則 $A^TA$ 為 symmetric 且 positive definite ========== Proof: 首先證明 $A^TA$ 為 symmetric。觀察 $(A^TA)^T = A^TA$故得證。 接著證明 $A^TA$ 為 positive definite。令 ${\bf x} \in \mathbb{R}^n, \; {\bf x} \neq 0$ ，觀察 \[ x^TA^TAx = (Ax)^T(Ax) = \|Ax\|^2 \]我們要證明 $\|Ax\|^2>0$，利用反證法：假設若不然，亦即 $\|Ax\|^2 =0$ ，由於因為 $A$ 有線性獨立(linear independent)的 column，記作 ${\bf a}_1,{\bf a