[最佳化] 無窮維 Weierstrass 極值定理

===================
Infinite Dimensional Weierstrass Extreme Theorem: 令 $X$ 為 normed vector space 且 $K \subset X$ 為 compact set 。若 $f$ 為 upper semicontinuous on $K$ 則 $f$ 在 $K$上可達到最大值，亦即 存在 $x \in K$ 使得
\[
f(x) = \sup_{z \in K} f(z)
\]=================

Proof: 要證明 $f$ 在 $K$上可達到最大值，亦即 存在 $x \in K$ 使得
\[
f(x) = \sup_{z \in K} f(z)
\]上式等價為
\[
f(x) \geq \sup_{z \in K} f(z) \;\;\; \text{and } \; f(x) \leq \sup_{z \in K} f(z)
\] 注意到 $f(x) \leq \sup_{z\in K} f(z)$ 為顯然，故以下僅需證明\[
f(x) \geq \sup_{z \in K} f(z)
\]

令 $M:= \sup_{z \in K} f(z)$ 則由 supremum 性質可知存在數列 $\{x_n\} \subset K$ 使得
\[
f(x_n) \to M \;\;\;\; (*)
\] 由於 $K$ 為 compact 故必定存在 $\{x_n\} $ 的子數列 記作 $\{x_{n_k}\} \subset K$  使得其收斂在  $x \in K$ ，另外由於 式子 $(*)$ ，我們可推知子數列亦滿足
\[
f( x_{n_k} ) \to M \;\;\;\; \text{ as $k \to \infty$}
 \]由於 $f$ 為 upper semicontinuous on $K$，可知
\[
\limsup_{z \to x} f(z) \leq f(x)
\]由 $\limsup$ 的 數列與函數數列性質 ，我們有
\[
\limsup_{k \to \infty} f(x_{n_k}) \leq \limsup_{z \to x} f(z)  \;\;\;\; (\star)
\]又因為 $f(x_{n_k}) \to M$ (as $k \to \infty$) 故
\[
\limsup_{k \to \infty} f(x_{n_k}) = \lim_{k \to \infty} f(x_{n_k}) = M \;\;\;\; (**)
\]由 $(\star)$ 與 $(**)$，我們有
\[
M=\lim_{k \to \infty} f(x_{n_k}) \leq f(x)
\]即為所求 $\square$

[數學分析] Weierstrass Theorem (1) - 先備概念

回憶在數學分析的內容中，我們試圖利用 $\mathbb{Q}$ 在 $\mathbb{R}$ 中 dense的想法，指出 任意在 $\mathbb{R}$ 上的實數 $r$，皆可透過 一組 sequence $\{q_n\} \in \mathbb{Q}$ 逼近 。也就是說 $q_n \rightarrow r$ 當 $n \rightarrow \infty$。那麼我們想問在函數上是否也有類似的概念? Weierstrass Approximation Theorem 便是試圖回答這個問題。

Weierstrass  Approximation Theorem 主要想法： 利用多項式 均勻收斂 連續函數!!

不過在介紹之前，我們需要一些先備知識。
首先看個 算子 (operator) 的概念：
定義 $A: \text{one function} \rightarrow \text{different function}$ 為一個算子(operator)

我們看個例子：

------------

Example

Fourier transform of 函數 $f$ 為一個算子 (將函數 $f$ 映射到另一個函數 $F$)

\[F(j\omega ) = \int_{ - \infty }^\infty  f (t){e^{ - j\omega }}dt
\]-----------

那麼算子何其多? 哪一種算子適合我們?? 以下我們介紹一個即為有用的特殊算子：摺積(Convolution)

===================

Definition: Convolution (Integral)

給定兩可積函數 $f,g$ on $\mathbb{R}$，則其折積(convolution) 定義為

\[(f*g)\left( x \right): = \int f (x - y)g(y)dy = \int g (x - y)f(y)dy
\]===================

Example

$f,g$ 為在 $[-1,1]$ 上的週期函數，且 $|\delta| <1$ \[f\left( x \right): = \left\{ \begin{array}{l} 1/2\delta ,\begin{array}{*{20}{c}} {}&{} \end{array}x \in \left[ { - \delta ,\delta } \right]\\ 0,\begin{array}{*{20}{c}} {}&{}&{} \end{array}o.w \end{array} \right.
\]試求其 convolution $(f * g)(x)=?$
Proof:
\[\begin{array}{l}
f*g: = \int_{ - 1}^1 {f\left( y \right)g\left( {x - y} \right)dy}  = \int_{ - \delta }^\delta  {\frac{\delta }{2}g\left( {x - y} \right)dy} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{\delta }{2}\int_{ - \delta }^\delta  {g\left( {x - y} \right)dy}. \ \ \ \ \square
\end{array}
\]

Convolution 的好處：可以保留原函數的本身的優點!!

===================
FACT: 令 $K$ 為 compact interval，若 $f \in \mathcal{C}^{\infty}(\mathbb{R})$ (smooth function) 且 $g$ 為 可積函數，則
\[
(f * g)(x) = \int_K f(y)g(x-y)dy
\]亦為在 $K$ 上 smooth function
==================
Proof: omitted.

現在我們看個函數
===================
Definition: A Specific Smooth Function
令 $\phi(x)$ 為 $\mathbb{R}$ 上的 smooth function 且滿足下列條件
在 $(-1,1)$， $\phi>0$ ；且在 $(-1,1)^c$， $\phi=0$ ；另外我們限定此函數  $\phi$ 必須滿足下列積分
\[
\int_{-1}^{1} \phi(t) dt =1
\]===================

有了上述函數，我們可以定義算子 Operator $A$ 如下：
對 $s>0$，定義 $\phi_s$ 為\[{\phi _s}(t): = \frac{1}{s}\phi (\frac{t}{s});\;\;\;\int_{-1}^1 \phi  dt = 1\]且

\[
A_s f(t) :=( \phi_s * f)(t) = \int \phi_s(t) f(x-t) dt
\]其中 $\phi \ge 0$ on $[-1,1]$ 且 $\phi =0$ on $[-1,1]^c$ 。
============
Theorem: Preliminary Lemma for Weierstrass Approximation Theorem
令 $f$ 為 有界 連續 函數 on $\mathbb{R}$ ($f \in \mathcal{C}(\mathbb{R})$) 且 令 $J$ 為任意 compact interval in $\mathbb{R}$。則 當 $s \rightarrow 0$，我們有 $A_s f \rightarrow f$ 均勻收斂 on $J$。
============

Proof:
令 $\varepsilon>0$ ，我們要證明 $A_s f \rightarrow f$ 均勻收斂；(注意到上述定理陳述是當 $s \rightarrow 0$，故令 $n := 1/s$) 故要證 存在 $N>0$ 使得 $n > N$ 我們有
\[
|A_sf(x) - f(x) | < \varepsilon
\]對任意 $x \in J$ 。

觀察
\[\small
\begin{array}{l}
|{A_s}f(x) - f(x)| = \left| {\int_{ - \infty }^\infty  {{\phi _s}\left( t \right)f\left( {x - t} \right)dt}  - f\left( x \right)} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \left| {\int_{ - \infty }^\infty  {{\phi _s}\left( t \right)f\left( {x - t} \right)dt}  - f\left( x \right)\underbrace {\int_{ - \infty }^\infty  {{\phi _s}\left( t \right)dt} }_{ = 1}} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \left| {\int_{ - \infty }^\infty  {\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]{\phi _s}\left( t \right)dt} } \right| \le \int_{ - \infty }^\infty  {\left| {f\left( {x - t} \right) - f\left( x \right)} \right|{\phi _s}\left( t \right)dt}  < \varepsilon
\end{array}\]注意到上式中當 $|t| >s$時， $\phi_s =0$故上式積分範圍為
\[|{A_s}f(x) - f(x)| \le \int_{ - s}^s {\left| {f\left( {x - t} \right) - f\left( x \right)} \right|{\phi _s}\left( t \right)dt}  < \varepsilon \]
故如果可以讓上式 $|f(x-t) - f(x)|$ 對任意 $x \in J$ 都可使其任意小便完成證明。故現在透過 $J$ 為任意 compact interval on $\mathbb{R}$，我們可推知 $f$ 在 $J$ 上為 uniform continuous。亦即我們可選 $\delta >0$ 使得對任意 $u,v \in J$，
\[
|u-v| < \delta \Rightarrow |f(u) - f(v)| < \varepsilon
\]取 $u :=x, v := x+t \in J$ 則我們可知
\[
|u-v| = |x - (x+t)| < \delta \Rightarrow  |f(x) - f(x-t)| < \varepsilon
\]也就是說只要能找到 $N$ 使得 $n >N$ 且滿足 $|t| < \delta$ 則 我們便會有
\[|{A_s}f(x) - f(x)| \le \int_{ - s}^s {\left| {f\left( {x - t} \right) - f\left( x \right)} \right|{\phi _s}\left( t \right)dt}  < \varepsilon \]由於 $n =1/s; \; n >N \Rightarrow s < 1/N$ 且又由 $\phi_s(t)$ 定義可知 $t \in [-s,s]$故取 $N = 1/\delta$ 則上述自動滿足。$\square$