[最佳化] 對原最佳化問題的解是否能"回收"使用到新最佳化問題

令 $J: \mathbb{R}^n \to \mathbb{R}$ ，考慮以下最佳化問題
\[
\min_{x_1,x_2,...x_n} J(x_1,x_2,...x_n)  := J(x_1^*,x_2^*,...,x_n^*)
\]上述 $x_i^*$ 表示最佳解。現在考慮新的目標函數 $G: \mathbb{R}^n \to \mathbb{R}$ 為 上述的 $J:\mathbb{R}^n \to \mathbb{R}$ 額外加上新的函數 $F: \mathbb{R}^n \to \mathbb{R}$，亦即
\[
 G(x_1,x_2,...,x_n) :=J(x_1,x_2,...,x_n) + F(x_1,x_2,...,x_n)
\]我們想問前述獲得的最佳解 $x_1^*,x_2^*,.., x_n^*$ 是否仍然對新的目標函數成立？換句話說，是否能夠 "回收" 之前已經算好的最佳解  $ x_i^*$ 用在新的目標函數 $G$ 上呢。答案是否定的。考慮以下一個簡單的反例

Example:
對 $i=1,2,$，令 $x_i \in [-1,1]$並且將所有符合此條件的 $x_i$ 所成之集合記作 $\mathcal{X}$。現在考慮目標函數 $J(x_1,x_2) := x_1^2+x_2^2$ 並且 我們要求
$$
\min_{x_1,x_2 \in \mathcal{X}} J(x_1,x_2) =  \min_{x_1,x_2 \in \mathcal{X}}x_1^2+x_2^2
$$則最佳解不難發現為 $x_1^*=x_2^*=0$。現在我們考慮新的目標函數，將其記作
$$
G(x_1,x_2) :=J(x_1,x_2) + x_2
$$亦即 $G$ 為舊的目標函數 $J$ 額外加上 線性函數 $x_2 $。我們要求
$$
\min_{x_1,x_2 \in \mathcal{X}} G(x_1,x_2) = \min_{x_1,x_2 \in \mathcal{X}} x_1^2+x_2^2 + x_2
$$其最佳解變成 $x_1^* = 0$ 但 $x_2^* = -1/2 \;\;\; ( \neq 0)$。亦即舊的最佳解不能被"回收"使用。

Comments:
1. 上述謬誤偶爾能在文獻中發現。讀者應小心並盡量避免犯此錯誤。
2. 上述例子中若要使原最佳解可以被回收使用到新最佳解有很多方法，比如限制 可行集 $\mathcal{X}$ 將其改為 $0 \leq x_i \leq 1$ 便是一種。但是否符合需求又是另外一層考量。
3. 上述例子中若把 $\mathcal{X} := \mathbb{R}^2$，則有拘束最佳化問題變成無拘束最佳化問題，但反例仍然成立。

[測度論] 何時 兩可測函數相乘之積分 會與 個別先做積分後再相乘 相等？

Theorem: 
令 $(X,\mathcal{M,\mu})$ 與 $(Y, \mathcal{N},\nu)$ 為任意測度空間。
(a) 若 $f: X \to \mathbb{R}$ 為 $\mathcal{M}$-measurable 且 $g: Y \to \mathbb{R}$ 為  $\mathcal{N}$-measurable 且我們定喔 $h(x,y):=f(x)g(y)$ 則 $h$ 為 $\mathcal{M} \otimes \mathcal{N}$-measurable。
(b) 若 $f \in L^1(\mu)$ 且 $g \in L^1(\nu)$，則 $h \in L^1(\mu \times \nu)$ 且
\[
\int h \; d(\mu \times \nu) = \left( \int f d\mu \right) \left( \int g d \nu \right)
\]

Proof (a):
令 $a \in \mathbb{R}$，考慮 $A:=[a,\infty) \in \mathcal{B}_{\mathbb{R}}$我們要證明
\[
h^{-1}(A) \in \mathcal{M} \otimes \mathcal{N}
\]注意到因為 $f: X \to \mathbb{R}$ 為 $\mathcal{M}$-measurable 且 $g: Y \to \mathbb{R}$ 為  $\mathcal{N}$-measurable ，我們有 $f^{-1}([a,\infty)) \in \mathcal{M}$ 與 $g^{-1}([a,\infty)) \in \mathcal{N}$ 。

現在定義兩個新函數 $F,G: X\times Y \to \mathbb{R}$ 分別滿足 $F(x,y) := f(x), \forall y \in Y$ ，$G(x,y):=g(y), \forall x \in X$，則我們可知 $h $ 為 $F$ 與 $G$ 相乘，亦即 $h=FG$。現在觀察
\begin{align*}
 {F^{ - 1}}(A) &= \left\{ {(x,y) \in X \times Y:F(x,y) \in [a,\infty )} \right\}  \\
  &  = \left\{ {(x,y) \in X \times Y:f\left( x \right) \in [a,\infty ),\forall y \in Y} \right\}  \\
  &  = \left\{ {x \in X:f\left( x \right) \in [a,\infty )} \right\} \times Y  \\
  &  = \underbrace {{f^{ - 1}}\left( {[a,\infty )} \right)}_{\in \mathcal M} \times \underbrace Y_{ \in {\mathcal N}} \in {\mathcal M} \otimes {\mathcal N}
\end{align*}
同理
\begin{align*}
 {G^{ - 1}}(A) &= \left\{ {(x,y) \in X \times Y: G(x,y) \in [a,\infty )} \right\}  \\
  &  = \left\{ {(x,y) \in X \times Y:g\left( x \right) \in [a,\infty ),\forall x \in X} \right\}  \\
  &  =  X \times  \left\{ {y \in Y : g\left( x \right) \in [a,\infty )} \right\} \\
  &  = \underbrace X_{ \in {\mathcal M}} \times \underbrace {{g^{ - 1}}\left( {[a,\infty )} \right)}_{ \in {\mathcal N}} \in {\mathcal M} \otimes {\mathcal N}
\end{align*}亦即，$F,G \in \mathcal{M} \otimes \mathcal{N}$，故由 相乘保證 measurability 性質可知 $FG  \in \mathcal{M} \otimes \mathcal{N}$，亦即 $h  \in \mathcal{M} \otimes \mathcal{N}$。

Proof (b): 首先證明 $h \in L^1(\mu \times \nu)$，亦即要證
\[
\int |h| d(\mu \times \nu) < \infty
\]由於 $|h| \in L^+(X \times Y)$，故由 Tonelli Theorem 可知
\[
\int |h| d(\mu \times \nu) = \int \int |f(x)| |g(y)| d \mu(x) d\nu(y)  <\infty
\]上述不等式成立因為 $f \in L^1(\mu)$ 與 $g \in L^1(\nu)$。故 $h \in L^1(\mu \times \nu)$。

接著由於 $h \in L^1$ ，利用 Fubini theorem 我們可寫
\[
\int h d(\mu \times \nu) = \int \int FG d\mu d\nu = \int f(x) d\mu(x) \int g(x) d\nu(y)
\]即為所求。$\square$