[測度論] Dominated Convergence Theorem

Theorem: Dominated Convergence Theorem DCT  (real-valued functions)
令 sequence $\{f_n\} \subset L^1$ 滿足
(a) $f_n \to f$ almost everywhere
(b) 存在非負函數 $g \in L^1$ 使得 $|f_n| \leq g$ almost everywhere for all $n$
則\[
f \in L^1
\]且
\[
\lim_n \int f_n =\int f
\]
Proof:  先證 $f \in L^1$：由於 $f_n \to f$ almost everywhere  且 $f_n \in L^1$，可知 $f $ measurable (see Proposition 2.11/2.12 )。由於 $|f_n| \leq g$ almost everywhere 故 $|f| \leq g$ almost everywhere，故 $f \in L^1$。

接著我們證 $\lim_n \int f_n =\int f$：注意到 $|f_n| \leq g$ almost everywhere，故我們有
\[
-g \leq f_n \leq g \text{ almost everywhere}
\]換言之，我們有
\[
f_n + g \geq 0\text{ almost everywhere}
\]與
\[
g-f_n \geq 0 \text{almost everywhere}
\]也就是說 $\{f_n + g\}, \{g-f_n\} \in L^+$。由 Fatou Lemma 我們有
\[
\begin{gathered}
  \int {\mathop {\lim \inf }\limits_n } ({f_n} + g) \leqslant \lim \inf \int {({f_n} + g)} ; \hfill \\
  \int {\mathop {\lim \inf }\limits_n } (g - {f_n}) \leqslant \lim \inf \int {(g - {f_n})}  \hfill \\
\end{gathered} \;\;\; (*)
\]注意到上述積分不等式左方，積分項有以下結果 (利用 limsup or liminf 的性質)，我們有 $\mathop {\lim \inf }\limits_n \left( {{f_n} + g} \right) = g + \mathop {\lim \inf }\limits_n {f_n}$ 以及 $$\mathop {\lim \inf }\limits_n \left( {g - {f_n}} \right) = g + \mathop {\lim \inf }\limits_n \left( { - {f_n}} \right) = g - \mathop {\lim \sup }\limits_n {f_n}
$$同理，對於積分不等式右方，我們有
\[\lim \inf \int {({f_n} + g)}  = \lim \inf \left( {\int {{f_n} + \int g } } \right) = \lim \inf \int {{f_n} + \int g } \]與
\[\lim \inf \int {(g - {f_n})  = \int {g + \lim \inf \left( { - \int {{f_n}} } \right)}  = \int {g - \lim \sup \int {{f_n}} } } \]
將此結果帶入 $(*)$ 我們有
\begin{align*}
  &\left\{ \begin{gathered}
  \int {\mathop {\lim \inf }\limits_n } ({f_n} + g) \leqslant \lim \inf \int {({f_n} + g)} ; \hfill \\
  \int {\mathop {\lim \inf }\limits_n } (g - {f_n}) \leqslant \lim \inf \int {(g - {f_n})}  \hfill \\
\end{gathered}  \right. \hfill \\
   &\Rightarrow \left\{ \begin{gathered}
  \int g  + \int {\mathop {\lim \inf }\limits_n } {f_n} \leqslant \lim \inf \int {{f_n} + \int g } ; \hfill \\
  \int g  - \int {\mathop {\lim \sup }\limits_n {f_n}}  \leqslant \int {g - \lim \sup \int {{f_n}} }  \hfill \\
\end{gathered}  \right. \hfill \\
   &\Rightarrow \left\{ \begin{gathered}
  \int {\mathop {\lim \inf }\limits_n } {f_n} \leqslant \lim \inf \int {{f_n}} ; \hfill \\
   - \int {\mathop {\lim \sup }\limits_n {f_n}}  \leqslant  - \lim \sup \int {{f_n}}  \hfill \\
\end{gathered}  \right. \hfill \\
\end{align*} 注意到 $f = \lim_n f_n = \liminf_n f_n = \limsup_n f_n$ ，而且 $\{x: \lim_n f_n \neq f(x)\}$ 的測度為 $0$，故 $\int f = \int \liminf f_n  = \int \limsup f_n$。 現在我們進一步改寫上式
\[\begin{gathered}
  \left\{ \begin{gathered}
  \int f  \leqslant \lim \inf \int {{f_n}} ; \hfill \\
  \int f  \geqslant \lim \sup \int {{f_n}}  \hfill \\
\end{gathered}  \right. \hfill \\
   \Rightarrow \lim \sup \int {{f_n} \leqslant \int {f \leqslant \lim \inf \int {{f_n}} } }  \hfill \\
\end{gathered} \]亦即 $\int f_n \to \int f$。至此得證。$\square$



Remarks:
$\liminf (a_k + b+k) = \liminf a_k + \liminf b_k$ 不全為然。Counter example?

上述等式成立僅僅 $\lim a_k = a$ 則 $\liminf_k (a_k + b_k) = a+\liminf b_k$。

[最佳化] 對原最佳化問題的解是否能"回收"使用到新最佳化問題

令 $J: \mathbb{R}^n \to \mathbb{R}$ ，考慮以下最佳化問題
\[
\min_{x_1,x_2,...x_n} J(x_1,x_2,...x_n)  := J(x_1^*,x_2^*,...,x_n^*)
\]上述 $x_i^*$ 表示最佳解。現在考慮新的目標函數 $G: \mathbb{R}^n \to \mathbb{R}$ 為 上述的 $J:\mathbb{R}^n \to \mathbb{R}$ 額外加上新的函數 $F: \mathbb{R}^n \to \mathbb{R}$，亦即
\[
 G(x_1,x_2,...,x_n) :=J(x_1,x_2,...,x_n) + F(x_1,x_2,...,x_n)
\]我們想問前述獲得的最佳解 $x_1^*,x_2^*,.., x_n^*$ 是否仍然對新的目標函數成立？換句話說，是否能夠 "回收" 之前已經算好的最佳解  $ x_i^*$ 用在新的目標函數 $G$ 上呢。答案是否定的。考慮以下一個簡單的反例

Example:
對 $i=1,2,$，令 $x_i \in [-1,1]$並且將所有符合此條件的 $x_i$ 所成之集合記作 $\mathcal{X}$。現在考慮目標函數 $J(x_1,x_2) := x_1^2+x_2^2$ 並且 我們要求
$$
\min_{x_1,x_2 \in \mathcal{X}} J(x_1,x_2) =  \min_{x_1,x_2 \in \mathcal{X}}x_1^2+x_2^2
$$則最佳解不難發現為 $x_1^*=x_2^*=0$。現在我們考慮新的目標函數，將其記作
$$
G(x_1,x_2) :=J(x_1,x_2) + x_2
$$亦即 $G$ 為舊的目標函數 $J$ 額外加上 線性函數 $x_2 $。我們要求
$$
\min_{x_1,x_2 \in \mathcal{X}} G(x_1,x_2) = \min_{x_1,x_2 \in \mathcal{X}} x_1^2+x_2^2 + x_2
$$其最佳解變成 $x_1^* = 0$ 但 $x_2^* = -1/2 \;\;\; ( \neq 0)$。亦即舊的最佳解不能被"回收"使用。

Comments:
1. 上述謬誤偶爾能在文獻中發現。讀者應小心並盡量避免犯此錯誤。
2. 上述例子中若要使原最佳解可以被回收使用到新最佳解有很多方法，比如限制 可行集 $\mathcal{X}$ 將其改為 $0 \leq x_i \leq 1$ 便是一種。但是否符合需求又是另外一層考量。
3. 上述例子中若把 $\mathcal{X} := \mathbb{R}^2$，則有拘束最佳化問題變成無拘束最佳化問題，但反例仍然成立。