[凸分析] 常見的凸集性質(1) - 線性矩陣不等式之解 所成的集合 為 凸集

給定 $a \in \mathbb{R}^n$ ，我們定義 線性函數 $f : \mathbb{R}^n \to \mathbb{R}$ 滿足
\[
f(x) := a^T x = a_1 x_1 + ... + a_n x_n
\]
現在我們進一步推廣上述結果：亦即上述的向量 $a = (a_1,...,a_n)$ 可以用 對稱矩陣 $(A_1,...,A_n)$ 替換，且 $ A_i \in S^m$ 為 $\mathbb{R}^{m \times m}$ 對稱矩陣，現在我們模仿上述線性函數 $f$ 定義一個新的函數如下：定義  $F: \mathbb{R}^n \to S^m$ 滿足
\[
F(x) := x_1 A_1 + ... + x_n A_n
\]

Comments:
1. $ F(x) $ 仍為 $\mathbb{R}^{m \times m}$ 的對稱矩陣。
2. 上述提及的 線性函數 $f(x)$  (或者又說標準內積 或者 hyperplane) 可用以形成所謂 convex polyhedra 的集合，在此不贅述。


接著我們想問 對於上述 矩陣等式 $g(x)$ 而言，是否可以定義不等式？ 一般而言在線性代數中我們定義 $F(x) \succ 0$ 表示 $F(x)$ 為正定矩陣，亦即 對任意 $z \in \mathbb{R}^n$ 且 $z \neq 0$ 我們有
\[
z^T F(x) z > 0
\] 我們說 $F(x) \succeq 0$ 表示 $F(x)$ 為半正定矩陣，亦即 對任意 $z \in \mathbb{R}^n$
\[
z^T F(x) z \geq 0
\]

FACT:
令 $A,B$ 為 兩實係數 對稱矩陣，若 $A \succeq 0$ 且 $B \succeq 0$ 則
\[
A+B \succeq 0
\]
Proof: omitted (此證明相對容易，在此略過)

========================
Definition: Linear Matrix Inequality (LMI)
我們稱一不等式 為對 $x$ 而言的線性矩陣不等式 (Linear Matrix Inequality in $x$, LMI) 若 前述的矩陣 $F(x)$ 具有下列形式：
\[
F(x) := x_1 A_1 + ... + x_n A_n \preceq B
\] 其中 $x_i \in \mathbb{R}^1$ 且 $B, A_i $ 為 $m \times m$ 對稱矩陣，$i=1,2,...,n$。
========================

Comments:
1. 上述 LMI 要求 $F(x) \preceq B $ 亦即 $B - F(x) \succeq 0$ ，也就是說 $B - F(x) $ 為正定對稱矩陣，由前述定義可知我們要求：對任意 $z \in \mathbb{R}^n$，
\[
z^T (B-F(x))z \geq 0
\]
2. LMI 為 "線性" in $x$
3. LMI 在 強健控制理論中扮演重要的角色，在此不贅述。


以下我們給出主要結果：
========================
FACT:
上述 LMI 之解所成之集合 \[
L:=\{x \in \mathbb{R}^n : F(x) \preceq B\}
\]為凸集。
========================

Proof:
令 $x,y \in L$ 且 $\theta \in [0,1]$ 我們要證明 $ \theta x + (1-\theta)y \in L $ 此等價於證明
\[
F(\theta x + (1-\theta)y) \preceq B
\] 現在觀察
\begin{align*}
  F(\theta x + (1 - \theta )y) &= (\theta {x_1} + (1 - \theta ){y_1}){A_1} + ... + (\theta {x_n} + (1 - \theta ){y_n}){A_n} \hfill \\
   &= \sum\limits_{i = 1}^n {(\theta {x_i} + (1 - \theta ){y_i}){A_i}}  \hfill \\
   &= \theta \sum\limits_{i = 1}^n {{x_i}{A_i}}  + (1 - \theta )\sum\limits_{i = 1}^n {{y_i}{A_i}}  \;\;\;\;\; (*) \hfill \\
\end{align*}
由於  $x,y \in L$ ，故我們有
\begin{align*}
F(x) &:= \sum_{i=1}^n x_i A_i  \preceq B; \\
F(y) &:= \sum_{i=1}^n  y_i A_i \preceq B
\end{align*}故將上述結果帶入 $(*)$ ，由於 $\theta \in [0,1]$ 利用前述 FACT 可得
\[
F(\theta x + (1-\theta)y) \preceq B
\]至此得證。$\square$