謝宗翰的隨筆

此文主要討論離散泛函的極值與其必要條件，也就是所謂的離散版本的 Euler-Lagrange Equation，推薦讀者可先複習先前介紹過的 連續泛函 的極值與必要條件的相關知識，整體推導而言可謂非常類似。

考慮離散泛函
\[\left\{ \begin{align*}
  &J\left( x \right): = \sum\limits_{k = 0}^{N - 1} {F\left( {x\left( k \right),x\left( {k + 1} \right),k} \right)} ; \hfill \\
  &x\left( {{0}} \right) = {x_0};x\left( {{N}} \right) = {x_1} \hfill \\
\end{align*}  \right.
\]其中 $F(x,y,t), \frac{{\partial F}}{{\partial x}}, \frac{{\partial F}}{{\partial y}}$ 在其定義域上連續函數。我們的目標是求序列 $x(0), x(1),...,x(N)$ 使得上述泛函 $J(x)$ 達到極值。

Comments:
前述設定中的離散狀態 $x(k) := x(t_k)$ 其中 $t_k = kT$ 且 $T$ 為取樣週期 (sampling period)

=====================================
Theorem: 離散版本的 Euler-Lagrange Equation
若 $x(1),...,x(N - 1) $ 使得上述泛函 $J(x)$ 達到極值，則對任意 $k=1,2,...,N-1$
\[\frac{{\partial F\left( {x(k),x(k + 1),k} \right)}}{{\partial x\left( k \right)}} + \frac{{\partial F\left( {x(k - 1),x(k),k - 1} \right)}}{{\partial x(k)}} =0\]=====================================

Proof: 令 $\delta x(k)$ 為 $x(k)$ 的變分，由於 $x(0) = x_0$ 與 $x(N)=x_1…

這次要介紹最簡單形式的 泛函極值問題的 必要條件，此條件一般又稱之為 Euler-Largrange Eqution。此方程可謂泛函極值的房角石，亦為之後在最佳控制理論中的最大值原理扮演開路先鋒，是極為重要的角色。在介紹之前，我們先做一般性的用語與基本性質介紹。


======================
Definition: 泛函
令 $\Omega$ 為 賦範函數空間 (normed function space)，若 對任意函數 $x(t) \in \Omega$ 都存在一個實數與之對應，則我們稱 $J$ 是定義在 $\Omega$ 上的 泛函 (functional)，記作 $J(x(t))$
======================

Comment:
1. 簡而言之，泛函 一詞即表示為由 函數空間 映射到 實數軸 上的函數 $J: \Omega \to \mathbb{R}$ 。
2. 再以下的討論中，集合 $\Omega$ 又稱為 泛函 $J$ 的 容許集 (admissible set)。


現取 $x_1, x \in \Omega$ 且 $\delta x := x_1 - x$ ，我們定義 關於 $\delta x$ 的 泛函增量 (increment) 如下
\[
\Delta J(\delta x)  := J(x_1) - J(x) =  J( x + \delta x) - J(x)
\]則由此 泛函增量，我們可以定義何謂泛函的變分。

======================
Definition: 泛函的變分
給定泛函 $J : \Omega \to \mathbb{R}$，若存在 一線性泛函 $L(x, \delta x)$ 使得泛函增量可被表為
\[
\Delta J(\delta x) = L(x, \delta x) + r(x, \delta x) \cdot | |\delta x||
\]其中 $r(x, \delta x)$ 為 其他高階剩餘項(remainder) 滿足 當 $| |\delta x|| \to 0 \Rightarrow r(x, \delta x) \to 0$，則我們稱上式中的 $L(x, \delta x)$ 為 $J(x)$ 的 變分 (variation)，記作 $\delta J :…

回憶在 凸分析 中，兩凸函數 $f_1, f_2$ 之合仍為 convex，且此特性可進一步推廣至有限函數和，無窮組函數和，甚至積分都對，此篇文章中，我們將針對 擬凸函數(quasiconvex function) 來檢驗上述性質。令 $X$ 為隨機變數，現令 函數 $f(X,K)$ 為 quasiconvex in $K$ almost surely，則我們想問對其取積分之後是否仍為 quasiconvex in $K$?，亦即 $E[ f(X, K) ]$ 是否仍為 quasiconvex in $K$?

再構造反例之前，我們先給出 quasiconvex 函數的定義：

=================
Definition: 我們稱 $f: dom(f) \subset \mathbb{R}^n \to \mathbb{R}$ 為 擬凸函數 (quasiconvex function) 若下列條件成立：
對任意 $ \alpha \in \mathbb{R}$，集合
\[
S_{\alpha} := \{x \in dom(f) : f(x) \leq \alpha \}
\] 為 convex 集。
=================


Comments:
1. Quasiconvex 在有些文獻中又稱為 unimodal。
2. 所謂的擬凸性質 (Quasiconvexity) 可視為是 凸性 (Convexity) 的推廣，關於 quasiconvex 函數更詳細的介紹，建議讀者參考 [1]，在此我們不做贅述。

現在我們可以著手回答一開始本篇文章所關心的問題：若 $f(X,K)$ 為 quasiconvex in $K$，是否取期望值 (積分)之後 $E[f(X,K)]$ 亦為 quasiconvex in $K$? 此答案是否定的，以下我們構造反例：

Counter Example: 令 $K \in [0,1]$ 且 $X$ 為隨機變數滿足 $X = 0 $ with probability $1/2$ 且 $X=1$ with probability $1/2$，取 $$
f(X,K) := (1 - X) K  - X K^2
$$ 則可知此函數 $f$ 為 quasiconvex in $K$ almost surely (WHY?)，在此我們繪製…