跳到主要內容

發表文章

目前顯示的是 1月, 2010的文章

[線性系統] 矩陣的二次式 與 正定矩陣

======================= Definition: (Symmetric matrix) 一個 $n \times n$ 實數 矩陣 $M$ 稱為 對稱 (symmetric) 矩陣 若 $M^T = M$。 Definition: (Quadratic form of matrix) 令 $x \in \mathbb{R}^n$ 實數向量 與  $M$ 為 $n \times n$ 實數對稱矩陣 ( $M^T =M$),則我們稱下列形式 \[ x^T M x \]為一個 M矩陣的 二次式 (quadratic form of matrix)  ======================= Comment 1. 若 $x$ 為 complex vector,則 $M$ 的 二次式表示為 $x^* M x$。 2. 矩陣的二次式 $x^TMx$ 幫我們把 矩陣 轉成 純量 。 上面矩陣二次式 與 對稱矩陣 實際上有甚麼用呢? 事實上 對稱矩陣 具有非常特殊的 eigenvalue 性質,也就是 eigenvalue 保證必定是 實數 (沒有 complex part) 。而在系統理論裡面我們又知道 eigenvalue 對系統穩定性與系統性能至關重要,故我們先看一個結果: ===================== FACT: 對任意 實數對稱矩陣 $M$ 其 eigenvalue 必定為實數。 ===================== Proof: 由於實數矩陣可能具有 complex 的 eigenvalue 與 eigenvector,故我們必須考慮 eigenvalue 為複數的情況。現在令 $x$ 為 complex number 且我們透過 $M$ 的二次式 $x^* M x$ 來幫助我們 首先對 $M$ 的二次式再取一次 complex conjugate 可得 \[\begin{array}{l} {\left( {{x^*}Mx} \right)^*} = {x^*}{M^*}x\\ \begin{array}{*{20}{c}} {}&{}&{} \end{array}\mathop  = \limits^{M\begin{array}{*{20}{c}}

[控制理論] 淺談最佳化理論 - (I)

這次介紹 最佳化理論 (Optimization Theory) ,一般而言最佳理論是應用數學的一個分支,有著極為廣泛的應用:比如說 如果我們把最佳理論 用到 控制問題上面,就稱為最佳控制: 如果應用到金融市場,可以是 最佳資產分配、最大化預期收益、最小化風險 如果應用到工廠排程問題:可以是 最少工時、最大收益、最小花費 等等 當然應用實在太多太多,這邊不再贅述 不過一般而言,如果由理論面來分,最佳化問題可以考慮由是否有 拘束條件來分類: 無拘束最佳化問題 (Unconstrained Optimization)  有拘束最佳化問題 (Constrained Optimization) 對上述問題各自求解的工具也不同,但可以想見 有拘束最佳化問題 會比 無拘束最佳化問題 在求解上會更加困難。主要來說,有拘束的最佳問題也比無拘束的最佳問題更接近真實情況。比如說如果我們考慮要控制一個 馬達 使其達到某個預期的輸出力矩,則馬達的出力必定有一定限制。或者說要控制汽車的車速,油門也有一定的限制,不可能到無窮大。把這些限制加入問題一併考慮做最佳化就稱作  有拘束最佳化問題 。 再者是求解的工具:這邊簡要介紹 若問題考慮為拘束條件具有 Convex 函數性質,一般泛稱 Convex Optimization 問題,則多半採用 Convex Analysis 或者 Convex Program 來著手 (為何此類最佳化問題有額外名詞? 最根本原因是一旦最佳化函數具有 convexity (or concavity) 且若拘束條件可寫作 convex set 則 局部最佳解等同全域最佳解 )。 若問題拓展到  非線性 (可以是 convex or non-convex) 有拘束的最佳化問題 ,可以採用 Largrange multipliers method/ Dynamic Programming / Iterative Algorithm Search 對付 。 若問題是  線性  有拘束 的最佳化問題,可以採用 線性規劃 Linear Programming 對付 。(線性規劃亦屬於 Convex Program ) 當然事實上最佳理論還有諸多各式各樣的方法。但這邊主要是簡單介紹一個統一的架構:也就是拔除這些花俏 (又難懂) 的名