[最佳化] 無窮維 Weierstrass 極值定理

===================
Infinite Dimensional Weierstrass Extreme Theorem: 令 $X$ 為 normed vector space 且 $K \subset X$ 為 compact set 。若 $f$ 為 upper semicontinuous on $K$ 則 $f$ 在 $K$上可達到最大值，亦即 存在 $x \in K$ 使得
\[
f(x) = \sup_{z \in K} f(z)
\]=================

Proof: 要證明 $f$ 在 $K$上可達到最大值，亦即 存在 $x \in K$ 使得
\[
f(x) = \sup_{z \in K} f(z)
\]上式等價為
\[
f(x) \geq \sup_{z \in K} f(z) \;\;\; \text{and } \; f(x) \leq \sup_{z \in K} f(z)
\] 注意到 $f(x) \leq \sup_{z\in K} f(z)$ 為顯然，故以下僅需證明\[
f(x) \geq \sup_{z \in K} f(z)
\]

令 $M:= \sup_{z \in K} f(z)$ 則由 supremum 性質可知存在數列 $\{x_n\} \subset K$ 使得
\[
f(x_n) \to M \;\;\;\; (*)
\] 由於 $K$ 為 compact 故必定存在 $\{x_n\} $ 的子數列 記作 $\{x_{n_k}\} \subset K$  使得其收斂在  $x \in K$ ，另外由於 式子 $(*)$ ，我們可推知子數列亦滿足
\[
f( x_{n_k} ) \to M \;\;\;\; \text{ as $k \to \infty$}
 \]由於 $f$ 為 upper semicontinuous on $K$，可知
\[
\limsup_{z \to x} f(z) \leq f(x)
\]由 $\limsup$ 的 數列與函數數列性質 ，我們有
\[
\limsup_{k \to \infty} f(x_{n_k}) \leq \limsup_{z \to x} f(z)  \;\;\;\; (\star)
\]又因為 $f(x_{n_k}) \to M$ (as $k \to \infty$) 故
\[
\limsup_{k \to \infty} f(x_{n_k}) = \lim_{k \to \infty} f(x_{n_k}) = M \;\;\;\; (**)
\]由 $(\star)$ 與 $(**)$，我們有
\[
M=\lim_{k \to \infty} f(x_{n_k}) \leq f(x)
\]即為所求 $\square$