謝宗翰的隨筆

=======================
Definition: (Symmetric matrix)
一個 $n \times n$ 實數 矩陣 $M$ 稱為 對稱 (symmetric) 矩陣 若 $M^T = M$。

Definition: (Quadratic form of matrix)
令 $x \in \mathbb{R}^n$ 實數向量 與  $M$ 為 $n \times n$ 實數對稱矩陣 ( $M^T =M$)，則我們稱下列形式
\[
x^T M x
\]為一個 M矩陣的二次式 (quadratic form of matrix) 
=======================
Comment
1. 若 $x$ 為 complex vector，則 $M$ 的 二次式表示為 $x^* M x$。
2. 矩陣的二次式 $x^TMx$ 幫我們把 矩陣 轉成 純量。

上面矩陣二次式 與 對稱矩陣 實際上有甚麼用呢? 事實上 對稱矩陣 具有非常特殊的 eigenvalue 性質，也就是 eigenvalue 保證必定是 實數 (沒有 complex part) 。而在系統理論裡面我們又知道 eigenvalue 對系統穩定性與系統性能至關重要，故我們先看一個結果：

=====================
FACT: 對任意 實數對稱矩陣 $M$ 其 eigenvalue 必定為實數。
=====================
Proof:
由於實數矩陣可能具有 complex 的 eigenvalue 與 eigenvector，故我們必須考慮 eigenvalue 為複數的情況。現在令 $x$ 為 complex number 且我們透過 $M$ 的二次式 $x^* M x$ 來幫助我們
首先對 $M$ 的二次式再取一次 complex conjugate 可得
\[\begin{array}{l}
{\left( {{x^*}Mx} \right)^*} = {x^*}{M^*}x\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array}\mathop  = \limits^{M\begin{array}{*{20}{c}}
{}
\end{array}is\begin{array}{*{…

這次介紹 最佳化理論 (Optimization Theory)，一般而言最佳理論是應用數學的一個分支，有著極為廣泛的應用：比如說

如果我們把最佳理論 用到 控制問題上面，就稱為最佳控制：
如果應用到金融市場，可以是 最佳資產分配、最大化預期收益、最小化風險
如果應用到工廠排程問題：可以是 最少工時、最大收益、最小花費 等等
當然應用實在太多太多，這邊不再贅述

不過一般而言，如果由理論面來分，最佳化問題可以考慮由是否有 拘束條件來分類：
無拘束最佳化問題 (Unconstrained Optimization) 有拘束最佳化問題 (Constrained Optimization)
對上述問題各自求解的工具也不同，但可以想見 有拘束最佳化問題 會比 無拘束最佳化問題 在求解上會更加困難。主要來說，有拘束的最佳問題也比無拘束的最佳問題更接近真實情況。比如說如果我們考慮要控制一個 馬達 使其達到某個預期的輸出力矩，則馬達的出力必定有一定限制。或者說要控制汽車的車速，油門也有一定的限制，不可能到無窮大。把這些限制加入問題一併考慮做最佳化就稱作 有拘束最佳化問題。


再者是求解的工具：這邊簡要介紹
若問題考慮為拘束條件具有 Convex 函數性質，一般泛稱 Convex Optimization 問題，則多半採用 Convex Analysis 或者 Convex Program 來著手 (為何此類最佳化問題有額外名詞? 最根本原因是一旦最佳化函數具有 convexity (or concavity) 且若拘束條件可寫作 convex set 則局部最佳解等同全域最佳解 )。若問題拓展到 非線性 (可以是 convex or non-convex) 有拘束的最佳化問題 ，可以採用 Largrange multipliers method/ Dynamic Programming / Iterative Algorithm Search 對付 。若問題是 線性 有拘束 的最佳化問題，可以採用 線性規劃 Linear Programming 對付 。(線性規劃亦屬於 Convex Program ) 當然事實上最佳理論還有諸多各式各樣的方法。但這邊主要是簡單介紹一個統一的架構：也就是拔除這些花俏 (又難懂) 的名詞，最佳理論的核心問題到底長甚麼樣子? 想表達甚麼?

一個最佳化問題需…