[變分法] 離散泛函極值的必要條件

此文主要討論離散泛函的極值與其必要條件，也就是所謂的離散版本的 Euler-Lagrange Equation，推薦讀者可先複習先前介紹過的 連續泛函 的極值與必要條件的相關知識，整體推導而言可謂非常類似。

考慮離散泛函
\[\left\{ \begin{align*}
  &J\left( x \right): = \sum\limits_{k = 0}^{N - 1} {F\left( {x\left( k \right),x\left( {k + 1} \right),k} \right)} ; \hfill \\
  &x\left( {{0}} \right) = {x_0};x\left( {{N}} \right) = {x_1} \hfill \\
\end{align*}  \right.
\]其中 $F(x,y,t), \frac{{\partial F}}{{\partial x}}, \frac{{\partial F}}{{\partial y}}$ 在其定義域上連續函數。我們的目標是求序列 $x(0), x(1),...,x(N)$ 使得上述泛函 $J(x)$ 達到極值。

Comments:
前述設定中的離散狀態 $x(k) := x(t_k)$ 其中 $t_k = kT$ 且 $T$ 為取樣週期 (sampling period)

=====================================
Theorem: 離散版本的 Euler-Lagrange Equation
若 $x(1),...,x(N - 1) $ 使得上述泛函 $J(x)$ 達到極值，則對任意 $k=1,2,...,N-1$
\[\frac{{\partial F\left( {x(k),x(k + 1),k} \right)}}{{\partial x\left( k \right)}} + \frac{{\partial F\left( {x(k - 1),x(k),k - 1} \right)}}{{\partial x(k)}} =0\]=====================================

Proof: 令 $\delta x(k)$ 為 $x(k)$ 的變分，由於 $x(0) = x_0$ 與 $x(N)=x_1$，故 $\delta x(0) = \delta x(N) =0$ ，現在我們觀察 $J(x)$ ，由假設可知  $x(1),...,x(N - 1) $ 使得泛函 $J$ 達到極值，故
\[
J(x + \alpha \delta x) \geq J(x)
\]且此表明 $ J\left( {x + \alpha \delta x} \right)$ 在 $\alpha =0$ 處達到極值，由變分與泛函極值關係可知
\[
\delta J\left( {x\left( k \right)} \right) = {\left. {\frac{\partial }{{\partial \alpha }}J\left( {x\left( k \right) + \alpha \delta x\left( k \right)} \right)} \right|_{\alpha  = 0}} = 0
\]其中
\[J\left( {x(k) + \alpha \delta x(k)} \right) = \sum\limits_{k = 0}^{N - 1} {F\left( {x(k) + \alpha \delta x(k),x(k + 1) + \alpha \delta x(k + 1),k} \right)}
\]因此
\[
\delta J\left( {x\left( k \right)} \right) = {\left. {\frac{\partial }{{\partial \alpha }}\sum\limits_{k = 0}^{N - 1} {F\left( {x(k) + \alpha \delta x(k),x(k + 1) + \alpha \delta x(k + 1),k} \right)} } \right|_{\alpha  = 0}} = 0
\]故我們可推得
\[\begin{align*}
  &{\left. {\frac{\partial }{{\partial \alpha }}\sum\limits_{k = 0}^{N - 1} {F\left( {x(k) + \alpha \delta x(k),x(k + 1) + \alpha \delta x(k + 1),k} \right)} } \right|_{\alpha  = 0}} = 0 \hfill \\
 &  \Rightarrow {\left. {\sum\limits_{k = 0}^{N - 1} {\frac{\partial }{{\partial \alpha }}F\left( {x(k) + \alpha \delta x(k),x(k + 1) + \alpha \delta x(k + 1),k} \right)} } \right|_{\alpha  = 0}} \hfill \\
 &  \Rightarrow {\left. {\sum\limits_{k = 0}^{N - 1} {\frac{{\partial F}}{{\partial x\left( k \right)}}\delta x(k) + \frac{{\partial F}}{{\partial x(k + 1)}}\delta x(k + 1)} } \right|_{\alpha  = 0}} = 0  \;\;\;\; (*)
\end{align*}
\] 現在觀察上式的第二項，利用變數變換 定義 $k:=m-1$ 則我們可改寫為
\[\begin{gathered}
  \sum\limits_{k = 0}^{N - 1} {\frac{{\partial F\left( {x(k),x(k + 1),k} \right)}}{{\partial x(k + 1)}}\delta x(k + 1)}  = \sum\limits_{m = 1}^N {\frac{{\partial F\left( {x(m - 1),x(m),m - 1} \right)}}{{\partial x(m)}}\delta x(m)}  \hfill \\
   = \frac{{\partial F\left( {x(N - 1),x(N),N - 1} \right)}}{{\partial x(N)}}\delta x(N) + \sum\limits_{m = 1}^{N - 1} {\frac{{\partial F\left( {x(m - 1),x(m),m - 1} \right)}}{{\partial x(m)}}\delta x(m)}  \hfill \\
   = \frac{{\partial F\left( {x(N - 1),x(N),N - 1} \right)}}{{\partial x(N)}}\delta x(N) + \sum\limits_{k = 1}^{N - 1} {\frac{{\partial F\left( {x(k - 1),x(k),k - 1} \right)}}{{\partial x(k)}}\delta x(k)}  \hfill \\
\end{gathered} \]現在將上述結果代回 $(*)$，故可得
\[\small \begin{align*}
  \delta J\left( {x\left( k \right)} \right) &= \sum\limits_{k = 0}^{N - 1} {\frac{{\partial F}}{{\partial x\left( k \right)}}\delta x(k) + \frac{{\partial F}}{{\partial x(k + 1)}}\delta x(k + 1)}  \hfill \\
  & = \sum\limits_{k = 0}^{N - 1} {\frac{{\partial F}}{{\partial x\left( k \right)}}\delta x(k) + \frac{{\partial F\left( {x(N - 1),x(N),N - 1} \right)}}{{\partial x(N)}}\delta x(N) + \frac{{\partial F\left( {x(k - 1),x(k),k - 1} \right)}}{{\partial x(k)}}\delta x(k)}  \hfill \\
 &  = \frac{{\partial F\left( {x(N - 1),x(N),N - 1} \right)}}{{\partial x(N)}}\delta x(N) + \sum\limits_{k = 0}^{N - 1} {\left( {\frac{{\partial F}}{{\partial x\left( k \right)}} + \frac{{\partial F\left( {x(k - 1),x(k),k - 1} \right)}}{{\partial x(k)}}} \right)\delta x(k)}  \hfill \\
\end{align*}
\]注意到上式中 $\delta x(N) =0$ 且由於 $\delta x(k)$ 為任意變分，故由 $\delta J = 0$ 我們可知
\[\begin{align*}
 & \frac{{\partial F\left( {x(N - 1),x(N),N - 1} \right)}}{{\partial x(N)}}\delta x(N) +  \hfill \\
  \begin{array}{*{20}{c}}
  {}&{}
\end{array}&\;\;\;\; \sum\limits_{k = 0}^{N - 1} {\left( {\frac{{\partial F\left( {x(k),x(k + 1),k} \right)}}{{\partial x\left( k \right)}} + \frac{{\partial F\left( {x(k - 1),x(k),k - 1} \right)}}{{\partial x(k)}}} \right)\delta x(k)}  = 0
\end{align*} \]亦即對任意 $k=0,1,...,N-1$，
\[\frac{{\partial F\left( {x(k),x(k + 1),k} \right)}}{{\partial x\left( k \right)}} + \frac{{\partial F\left( {x(k - 1),x(k),k - 1} \right)}}{{\partial x(k)}} = 0\;\;\;\; \square
\]

[變分法] 連續泛函極值的必要條件

這次要介紹最簡單形式的 泛函極值問題的 必要條件，此條件一般又稱之為 Euler-Largrange Eqution。此方程可謂泛函極值的房角石，亦為之後在最佳控制理論中的最大值原理扮演開路先鋒，是極為重要的角色。在介紹之前，我們先做一般性的用語與基本性質介紹。


======================
Definition: 泛函
令 $\Omega$ 為 賦範函數空間 (normed function space)，若 對任意函數 $x(t) \in \Omega$ 都存在一個實數與之對應，則我們稱 $J$ 是定義在 $\Omega$ 上的 泛函 (functional)，記作 $J(x(t))$
======================

Comment:
1. 簡而言之，泛函 一詞即表示為由 函數空間 映射到 實數軸 上的函數 $J: \Omega \to \mathbb{R}$ 。
2. 再以下的討論中，集合 $\Omega$ 又稱為 泛函 $J$ 的 容許集 (admissible set)。


現取 $x_1, x \in \Omega$ 且 $\delta x := x_1 - x$ ，我們定義 關於 $\delta x$ 的 泛函增量 (increment) 如下
\[
\Delta J(\delta x)  := J(x_1) - J(x) =  J( x + \delta x) - J(x)
\]則由此 泛函增量，我們可以定義何謂泛函的變分。

======================
Definition: 泛函的變分
給定泛函 $J : \Omega \to \mathbb{R}$，若存在 一線性泛函 $L(x, \delta x)$ 使得泛函增量可被表為
\[
\Delta J(\delta x) = L(x, \delta x) + r(x, \delta x) \cdot | |\delta x||
\]其中 $r(x, \delta x)$ 為 其他高階剩餘項(remainder) 滿足 當 $| |\delta x|| \to 0 \Rightarrow r(x, \delta x) \to 0$，則我們稱上式中的 $L(x, \delta x)$ 為 $J(x)$ 的 變分 (variation)，記作 $\delta J := L(x, \delta x)$
======================

Comment:

1. 上述定義中的 線性泛函項 $L$ 與 其他高階剩餘項 $r$，可視為透過 Taylor 級數展開而得。

2. 變分 (variation) 一詞在文獻中又稱 differential

3. 若泛函變分存在，則該 變分 為唯一，在此不證明，有興趣讀者可參閱 [1]。
4. 關於線性泛函及其相關定義請讀者可參閱 [變分法] 淺論 線性泛函 
5. 有些文獻定義的泛函是透過所謂 Gateaux differentials 與 Freshet differential，但為求論述簡潔，在此不多作介紹，有興趣的讀者可以參閱 [2]

======================
Theorem: 泛函極值與變分關係
給定泛函 $J : \Omega \to \mathbb{R}$，若其變分存在，則 其變分可表為參數 $\alpha$ 的方向導數，亦即 變分滿足下式
\[\delta J(x(t)) = {\left. {\frac{\partial }{{\partial \alpha }}J(x(t) + \alpha \delta x(t))} \right|_{\alpha  = 0}}\]======================

Proof: 給定泛函 $J : \Omega \to \mathbb{R}$ 且假設其變分存在，我們要證明
\[\delta J(x(t)) = {\left. {\frac{\partial }{{\partial \alpha }}J(x(t) + \alpha \delta x(t))} \right|_{\alpha  = 0}}
\]首先由 $\delta J$ 存在可知：存在一線性泛函 $L$ 始得 泛函增量 $\Delta J$滿足
\[\begin{align*}
  \Delta J &= J\left( {x + \alpha \delta x} \right) - J\left( x \right) \hfill \\
   &= L(x,\alpha \delta x) + r(x,\alpha \delta x) \cdot || \alpha \delta x || \hfill \\
\end{align*}
\]由於 $L$ 為線性泛函，故 $L(x,\alpha \delta x) = \alpha L(x,\delta x)$，現在觀察
\[\begin{align*}
  {\left. {\frac{\partial }{{\partial \alpha }}J(x(t) + \alpha \delta x(t))} \right|_{\alpha  = 0}} &= \mathop {\lim }\limits_{\alpha  \to 0} \frac{{J(x + \alpha \delta x) - J\left( x \right)}}{\alpha }\\
   &= \mathop {\lim }\limits_{\alpha  \to 0} \frac{{L(x,\alpha \delta x) + r(x,\alpha \delta x)||\alpha \delta x||}}{\alpha } \hfill \\
   &= \mathop {\lim }\limits_{\alpha  \to 0} \frac{{L(x,\alpha \delta x)}}{\alpha }  + \underbrace {\mathop {\lim }\limits_{\alpha  \to 0} \frac{{r(x,\alpha \delta x) ||\alpha \delta x||}}{\alpha }}_{ = 0}  \hfill \\
   &= \mathop {\lim }\limits_{\alpha  \to 0} \frac{{\alpha L(x,\delta x)}}{\alpha }  \hfill \\
   &= L(x,\delta x) = \delta J(x) \;\;\;\;\; \square
\end{align*}
\]


======================
Theorem:
令 $J$ 為泛函且其變分存在，若 $J(x)$ 在 $x_0 \in \Omega$ 有(局部)極值，則其在 $x_0$ 之變分
\[
\delta J(x_0) =0
\] ======================

Comment: 上述定理中的 $x_0$ 又稱為 泛函 $J$ 的臨界點(critical point) 或者稱 不動點 (stationary point)。

Proof: 由於變分存在，我們可將變分用 以單變數參數 $\alpha$ 的方向導數表示
\[{\left. {\delta J\left( x \right) = \frac{\partial }{{\partial \alpha }}J(x + \alpha \delta x)} \right|_{\alpha  = 0}}\]由於 $J(x)$ 在 $x_0 \in \Omega$ 有局部極值，故我們可知 $\alpha =0$ 為$J(x_0 + \alpha \delta x)$ 的局部極值 (以極小值為例，可知對任意 $\alpha \in \mathbb{R}$， $J(x_0) \leq J(x_0 + \alpha \delta x)$，且極小值發生在 $\alpha = 0$)，故
\[{\left. {\delta J\left( {{x_0}} \right) = \frac{\partial }{{\partial \alpha }}J({x_0} + \alpha \delta x)} \right|_{\alpha  = 0}} = 0\;\;\;\; \square
\]


在討論一般設定之後，以下我們開始針對特殊形式的泛函來建構必要條件：考慮泛函
\[
J(x(t)) := \int_{t_0}^{t_1} F(t,x,\dot{x}) dt; \;\;\; x(t_0) :=x_0; \;\;\; x(t_1) \doteq x_1
\]且令其  admissible set 為
\[
\Omega := \{x(t) : x(t) \in C^2[t_0, t_1], \; x(t_0) = x_0, x(t_1) = x_1\}
\]且 $F(t, x, \dot{x})$ 為 $C^2$  (二階可導且連續)，我們欲求上述泛函極值的必要條件，此結果極為鼎鼎大名的 Euler-Largrange 方程，但在我們證明主要定理之前，底下我們先給個前置定理，此定理又稱為變分基本定理。


======================
Lemma: 變分基本引理
設函數 $F(t)$ 在區間 $[t_0, t_1]$ 上連續，若對於任意滿足 $\eta(t_0) = \eta(t_1) =0$ 的充分光滑函數 $\eta(t)$ 我們都有
\[
\int_{t_0}^{t_1} F(t) \eta(t) dt =0
\]則 $F(t) = 0$ 對 $t \in [t_0,t_1]$
======================

Proof: 利用反證法，假設 存在 $\xi \in (t_0,t_1)$ 使得 $F(\xi) \neq 0$，欲證明矛盾。不失一般性情況下我們假設 $F(\xi) >0$ 則由於 $F$的連續性，可知必存在 以 $\xi$ 為中心的鄰域 $N_\xi :=(\xi_1,\xi_2) \subset (t_0, t_1)$ 使得 對任意 $t \in N_\xi$，我們有 $F(t) > 0$。現在我們構造 $\eta(t)$ 函數如下
\[\eta \left( t \right): = \left\{ \begin{gathered}
  0,\begin{array}{*{20}{c}}
  {}&{}&{}&{}
\end{array}t \in \left[ {{t_0},{\xi _1}} \right) \hfill \\
  {\left[ {\left( {t - {\xi _1}} \right)\left( {t - {\xi _2}} \right)} \right]^2},\begin{array}{*{20}{c}}
  {}&{}
\end{array}t \in \left[ {{\xi _1},{\xi _2}} \right] \hfill \\
  0,\begin{array}{*{20}{c}}
  {}&{}&{}&{}
\end{array}t \in \left( {{\xi _2},{t_1}} \right] \hfill \\
\end{gathered}  \right.\]且注意到上述 $\eta(t)$ 函數滿足 $\eta(t_0) = \eta(t_1) = 0$ 且為連續函數，然而若我們觀察
\[
\int_{t_0}^{t_1} F(t) \eta(t) dt = \int_{\xi_1}^{\xi_2} F(t) \eta(t) dt > 0
\]此結果與我們的假設矛盾。$\square$



======================
Theorem: 泛函極值的必要條件 Euler-Lagrange Equation
設函數 $F(t, x, \dot{x})$ 具有連續二階偏導數，且設泛函\[
J(x(t)) := \int_{t_0}^{t_1} F(t,x,\dot{x}) dt; \;\;\; x(t_0) :=x_0; \;\;\; x(t_1) \doteq x_1
\]在 $x(t) \in \Omega$ 達到極值，則 $x(t)$ 滿足下列方程
\[\frac{\partial }{{\partial x}}F\left( {t,x,\dot x} \right) - \frac{d}{{dt}}\left( {\frac{\partial }{{\partial \dot x}}F\left( {t,x,\dot x} \right)} \right) = 0\]
======================

Proof: 首先令 $\phi(t) := \delta x(t)$，則由於 $x(t_0)=x_0$與 $x(t_1) = x_1$ 可知，$\phi(t)$ 滿足 $\phi(t_0) = \phi(t_1)=0$，現在由泛函極值與變分的關係可知下式必定成立：
\[\delta J\left( {x\left( t \right)} \right) = \left. {\frac{\partial }{{\partial \alpha }}J\left( {x\left( t \right) + \alpha \phi \left( t \right)} \right)} \right|_{\alpha = 0} = 0 \;\;\;(\star)
\]現在觀察
\[
J\left( {x\left( t \right) + \alpha \phi \left( t \right)} \right) = \int_{{t_0}}^{{t_1}} F (t,x + \alpha \phi ,\dot x + \alpha \dot \phi )dt
\]故我們可先行計算
\[{\left. {\frac{\partial }{{\partial \alpha }}J\left( {x\left( t \right) + \alpha \phi \left( t \right)} \right)} \right|_{\alpha  = 0}} = {\left. {\frac{\partial }{{\partial \alpha }}\int_{{t_0}}^{{t_1}} F (t,x + \alpha \phi ,\dot x + \alpha \dot \phi )dt} \right|_{\alpha  = 0}}
\]由 Libneiz Rule 可得
\[\begin{align*}
  {\left. {\frac{\partial }{{\partial \alpha }}J\left( {x\left( t \right) + \alpha \phi \left( t \right)} \right)} \right|_{\alpha  = 0}} &= {\left. {\frac{\partial }{{\partial \alpha }}\int_{{t_0}}^{{t_1}} F (t,x + \alpha \phi ,\dot x + \alpha \dot \phi )dt} \right|_{\alpha  = 0}} \hfill \\
   &= {\left. {\int_{{t_0}}^{{t_1}} {\frac{\partial }{{\partial \alpha }}F} (t,x + \alpha \phi ,\dot x + \alpha \dot \phi )dt} \right|_{\alpha  = 0}} \hfill \\
   &=  {\left. {\int_{{t_0}}^{{t_1}} {\left[ {\frac{{\partial F}}{{\partial x}}\phi  + \frac{{\partial F}}{{\partial \dot x}}\dot \phi } \right]} dt} \right|_{\alpha  = 0}}\;\;\;\; (*)
\end{align*}
\]注意到上述積分第二項可透過 integration by part 求得
\[\int_{{t_0}}^{{t_1}} {\frac{{\partial F}}{{\partial \dot x}}\dot \phi dt}  = \left. {\frac{{\partial F}}{{\partial \dot x}}\phi } \right|_{{t_0}}^{{t_1}} - \int_{{t_0}}^{{t_1}} {\phi \frac{d}{{dt}}\frac{{\partial F}}{{\partial \dot x}}} dt\]由於 $\phi(t_0) = \phi(t_1) = 0$，故我們得
\[\begin{gathered}
  \int_{{t_0}}^{{t_1}} {\frac{{\partial F}}{{\partial \dot x}}\dot \phi dt}  = \underbrace {\left. {\frac{{\partial F}}{{\partial \dot x}}\phi } \right|_{{t_0}}^{{t_1}}}_{ = 0} - \int_{{t_0}}^{{t_1}} {\phi \frac{d}{{dt}}\frac{{\partial F}}{{\partial \dot x}}} dt \hfill \\
   \Rightarrow \int_{{t_0}}^{{t_1}} {\frac{{\partial F}}{{\partial \dot x}}\dot \phi dt}  =  - \int_{{t_0}}^{{t_1}} {\phi \frac{d}{{dt}}\frac{{\partial F}}{{\partial \dot x}}} dt \hfill \\
\end{gathered}
\]現在將其帶回 $(*)$ 我們得到
\[\begin{align*}
  {\left. {\frac{\partial }{{\partial \alpha }}J\left( {x\left( t \right) + \alpha \phi \left( t \right)} \right)} \right|_{\alpha  = 0}}
   &= {\left. {\int_{{t_0}}^{{t_1}} {\left[ {\frac{{\partial F}}{{\partial x}}\phi  - \phi \frac{d}{{dt}}\frac{{\partial F}}{{\partial \dot x}}} \right]} dt} \right|_{\alpha  = 0}} \hfill \\
   &= {\left. {\int_{{t_0}}^{{t_1}} {\left[ {\frac{{\partial F}}{{\partial x}} - \frac{d}{{dt}}\frac{{\partial F}}{{\partial \dot x}}} \right]} \phi dt} \right|_{\alpha  = 0}} \hfill \\
\end{align*}
\]由於 $(\star)$ 可知，
\[\begin{align*}
  {\left. {\frac{\partial }{{\partial \alpha }}J\left( {x\left( t \right) + \alpha \phi \left( t \right)} \right)} \right|_{\alpha  = 0}}
&= {\left. {\int_{{t_0}}^{{t_1}} {\left[ {\frac{{\partial F}}{{\partial x}}\phi  + \frac{{\partial F}}{{\partial \dot x}}\dot \phi } \right]} dt} \right|_{\alpha  = 0}} \hfill \\
   &= {\left. {\int_{{t_0}}^{{t_1}} {\left[ {\frac{{\partial F}}{{\partial x}}\phi  - \phi \frac{d}{{dt}}\frac{{\partial F}}{{\partial \dot x}}} \right]} dt} \right|_{\alpha  = 0}} \hfill \\
   &= {\left. {\int_{{t_0}}^{{t_1}} {\left[ {\frac{{\partial F}}{{\partial x}} - \frac{d}{{dt}}\frac{{\partial F}}{{\partial \dot x}}} \right]} \phi dt} \right|_{\alpha  = 0}} = 0 \hfill \\
\end{align*}
\]由於 ${\frac{{\partial F}}{{\partial x}} - \frac{d}{{dt}}\frac{{\partial F}}{{\partial \dot x}}}$ 在區間 $[t_0,t_1]$ 連續，且 $\phi$ 滿足 $\phi(t_0) = \phi(t_1) =0$ 且 $\phi \in C^2$，利用前述引理可知在 $[t_0,t_1]$ 上，
\[{\frac{{\partial F}}{{\partial x}} - \frac{d}{{dt}}\frac{{\partial F}}{{\partial \dot x}}} = 0\;\;\;\; \square\]


[1] I. M. Gelfand and S. V. Fomin, Calculus of Variations, 2000
[2] David G. Luenberger, Optimization By Vector Space Methods, 1997

[變分法] 淺論 線性泛函

這次要介紹一些基本的 Functional

我們首先定義 Continuous Functional

給定一個 normed linear space $X$
============================
Definition:  Continuous Functional

考慮 一個 functional $J: X \rightarrow \mathbb{R}$, 令 $y \in X$，我們說 $J[y]$ 被稱作 在點 $\hat y \in X$ continuous 若下列條件成立

對任意 $\varepsilon >0$, 存在 $\delta >0$ 使得

\[||y- \hat y|| < \delta  \Rightarrow |J[y] - J[\hat y]| < \varepsilon
\]============================

Comment
上述連續性等價為
\[
||y(x) - \hat y(x)|| \rightarrow 0 \Rightarrow |f(y(x)) - f(\hat{y}(x))| \rightarrow 0
\]

============================
Definition:  Linear Functional
給定一個 normed linear space $X$，且 $y \in X$ 的元素，現在定義 $J[y] : X \rightarrow \mathbb{R}$ 為在 $X$ 上的 functional ，則我們說 $J[y]$ 為 linear functional 若下列條件成立
1. 對任意 $y\in X$ 與 $ \alpha \in \mathbb{R}$，$J[\alpha y] = \alpha J[y]$
2. 對任意 $y_1, y_2 \in X$，$J[y_1 + y_2] = J[y_1] + J[y_2]$
============================

Comment:
上述定義的兩個條件可簡化為
對任意  $y_1, y_2 \in X$ 與 $ \alpha, \beta \in \mathbb{R}$
\[
J[\alpha y_1 + \beta y_2] =\alpha  J[y_1] + \beta J[y_2]
\]

============================

Definition: Continuous Linear Functional
我們稱 $J[y]$ 為 continuous linear functional 若 $J[y]$ 為 linear functional，且 對任意 $h \in X$， $J[y]$ 為 連續。
============================

現在我們看一些例子：
Example 1
令 $X := \cal{C}^1[0,1]$，$y:[0,1] \rightarrow \mathbb{R}$，且考慮 $||x||:=||x||_{\infty}$現考慮
\[
f(y) := \frac{d}{dx} y(0)
\]則 此 $f(y)$ 為 Linear Functional 但不為連續。

Proof:
線性：
\[\begin{array}{l}
f(\alpha {y_1} + \beta {y_2}) = \frac{d}{{dx}}\left[ {\alpha {y_1}\left( 0 \right) + \beta {y_2}\left( 0 \right)} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \alpha \frac{d}{{dx}}{y_1}\left( 0 \right) + \beta \frac{d}{{dx}}{y_2}\left( 0 \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \alpha f({y_1}) + \beta f({y_2})
\end{array}
\]

接著考慮連續性
我們只要舉出一個反例即可說明其不連續
令 $\hat y =0$ 且 $y: = A  \cdot \sin \frac{x}{A}$, $(A \in \mathbb{R})$，則由 $f$ 定義
\[\begin{array}{l}
f(y) = \frac{d}{{dx}}y(0)\\
 \Rightarrow f(y) = \frac{d}{{dx}}{\left. {\left( {A \cdot \sin \frac{x}{A}} \right)} \right|_{x = 0}} = {\left. {\cos \frac{x}{A}} \right|_{x = 0}} = 1
\end{array}
\] 現在觀察連續性，我們需要
\[
||y(x) - \hat y(x)|| \rightarrow 0 \Rightarrow |f(y(x)) - f(\hat{y}(x))| \rightarrow 0
\]
故現在計算
\[{\left\| y \right\|_\infty } = \left| A \right|{\left\| {\sin \frac{x}{A}} \right\|_\infty } = \left| A \right|
\]現若讓 $A \rightarrow 0 $ 則 $||y|| \rightarrow 0$
但是此時對應的
 \[|f(y(x)) - f(\hat y(x))| = |f(y(x)) - f(0)| = |f(y(x))| = 1 \neq 0
\] 故此說明了 functional $f$ 在 $0$ 處不連續。 $\square$


Example 2
令 $X := \cal{C}[a,b]$，$ y : [a,b] \rightarrow \mathbb{R}$，現考慮下列積分
\[
J[y] := \int_a^b y(x)dx
\] Claim: 上述積分為 Linear Functional on $\cal{C}[a,b]$
Proof
1. 上式積分 為 Functional 因為 $J: \cal{C}[a,b] \rightarrow \mathbb{R}$，
2. 檢驗線性：
觀察
\[\begin{array}{l}
J[\alpha {y_1} + \beta {y_2}] = \int_a^b {\left( {\alpha {y_1}\left( x \right) + \beta {y_2}\left( x \right)} \right)} dx\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \alpha \int_a^b {{y_1}\left( x \right)} dx + \beta \int_a^b {{y_2}\left( x \right)} dx\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \alpha J[{y_1}] + \beta J[{y_2}]
\end{array}
\]故 上式積分確實為 Linear Functional。 $\square$

Example 2
令 $X := \cal{C}^n[a,b]$考慮下列積分
\[J[y]: = \int_a^b {\left[ {{\alpha _0}\left( x \right)y(x) + {\alpha _1}\left( x \right)y'(x) + ... + {\alpha _n}\left( x \right){y^{\left( n \right)}}(x)} \right]} dx
\]上式亦為 Linear functional 其中 $\alpha_i(x)$ 為 $\cal{C}[a,b]$ 上固定函數。

注意到 對任意 $y(x) $ 在特定 function space，現若讓上述積分 $=0$，則我們想問 對於 $\alpha_i(x)$ 會發生甚麼事情？

下面的 Lemma 可以回答此問題：
=======================
Lemma: 
若 $\alpha(x) \in \cal{C}[a,b]$ 且 對任意 $y(x) \in \cal{C}[a,b]$ 滿足 $y(a) = y(b) =0$ ，
\[
J[y]: = \int_a^b {\alpha \left( x \right)y(x)} dx = 0
\] 則對任意 $x \in [a,b]$
\[
\alpha(x) \equiv 0
\]=======================

Proof
利用歸謬法(Suppose toward to contradiction)，假設 存在 $x \in [a,b]$ 使得 $\alpha(x) \neq 0$。在不失一般性的情況下我們可設 $\alpha(x) >0$

現由於 $\alpha(x) \in \cal{C}[a,b]$ ，由連續性可知必存在一區間 $[x_1,x_2] \subset [a,b]$ 使得 對 $x \in [x_1,x_2]$
\[
\alpha(x) >0
\]
現在我們讓
\[y(x): = \left\{ \begin{array}{l}
(x - {x_1})({x_2} - x)\begin{array}{*{20}{c}}
{}
\end{array},x \in \left[ {{x_1},{x_2}} \right]\\
0\begin{array}{*{20}{c}}
{}&{}
\end{array},o.w.
\end{array} \right.
\] 則此 $y(x)$亦滿足我們假設條件 $y(x) \in \cal{C}[a,b]$ 滿足 $y(a) = y(b) =0$，但
\[J[y]: = \int_a^b {\alpha \left( x \right)y(x)} dx = \int_{{x_1}}^{{x_2}} {\alpha \left( x \right)(x - {x_1})({x_2} - x)} dx > 0\] 與假設 $J[y] =0$ 矛盾。 $\square$

[變分法] 基本變分問題

這次要與大家介紹 變分法(Variational Calculus) ，在一般傳統數學分析求極值時，微積分 (Calculus)處理的對象為函數 (Function)的極值問題，而變分法 (Variational Calculus) 所處理的對象為泛函 (Functional) 的極值問題。

所謂泛函通常是指一種 domain 為函數空間(亦即無窮維的向量空間)，而 codmain 為實數 或者 Euclidean 空間的 函數。簡而言之，泛函可視為 函數的函數。

我們給出泛函定義如下：
==================
Definition: Functional
令 $X$ 為任意 Vector Space，我們稱函數 $J: X \to \mathbb{R}$ 為一個 泛函 (Functional)
==================

Comments:
考慮 $X, Y$ 為 Vector Space，則
1. $ g: X \rightarrow \mathbb{R}$ 為泛函
2. $ g: X \rightarrow \mathbb{R}^n$ 為泛函
3. $ g: X \rightarrow Y$ :此稱為 operator 不稱為泛函


以下我們給出幾個 functional 例子：


Examples of Functional
0. 給定 $X$ 任意 賦範空間，則對任意 $x \in X$，定義 $f(x):=||x||$ 為一個 functional。

1.考慮 $y(x)$ 為定義在 $[a,b]$上 一階連續可微函數，則下式
\[
J[y] = \int_a^b y'^2(x)dx
\] 為一個 Functional

2. 考慮一平面上任兩點 $A,B$ ，現在假設有一 質點(particle) 具有固定速度 $v$ ，且此 質點 可以沿著任意平面上任意路徑從 $A$ 移動到 $B$，則如果想描述此質點 花多少時間來通過上述的(任意)路徑，則描述結果會是用一個積分 以 Functional  來表示。

3. 令 $F(\alpha, \beta, \gamma)$ 為三變數的連續函數，則下式
\[
J[y] = \int_a^b F[x,y(x),y'(x)]dx
\] 為一個 Functional，其中 $y(x)$ 定義在 $[a,b]$ 上一階連續可微函數。


基本變分問題
整個變分法主要處理的問題為試圖 "找出 某 Functional 的極值"，下面是一些經典的變分基本問題：

1. [最短曲線問題] 
找出一曲線 $y = y(x)$ 使得
\[
\int_a^b \sqrt{1 + y'^2}dx
\]為最小。

2. [最速下降問題 (Brachistochrone problem)] 
令 $A, B$ 為固定兩點，現在考慮一質點透過重力從 $A$ 滑向 $B$ 點的時間 是與其滑動的路徑有關，故我們的目標是找出一個曲線使得 此質點由 $A$ 滑向 $B$ 的時間最短。

3. [最大面積問題] 
給定固定長度曲線段，試找出此曲線可圍成的最大面積。

事實上，上述所有問題皆可由下列 Functional 表示，再透過變分法求其極值。
\[\int_a^b F (x,y,y')dx\]


那麼我們該如何才能求解 Functional 的極值問題呢?? 事實上我們可以借鏡 數學分析中對於函數的極值問題求解方法。也就是說如果有辦法將 Functional 轉化為 Function 則我們便可以利用傳統數學分析的極值問題來對付它們：

透過 多變數函數分析 近似 Functional

首先回憶我們關心的 Functional 如下
\[
J[y] = \int_a^b F(x,y,y')dx, \;\; y(a) =A, \;\; y(b) = B
\] 我們現在利用 Rieman Integral 的想法來對付 上述 Functional，現在我們將區間 $[a,b]$ 分割成 $n+1$ 等分；亦即令
\[
a=x_0, \; x_1, \; ..., \; x_n, \;x_{n+1} = b
\]那麼我們可以將曲線 $y = y(x)$ 用 多邊線段連線，且對應的多邊線段各端點可寫為
\[
({x_0},\underbrace A_{y({x_0})}),\;({x_1},y({x_1})),\;...,\;({x_n},y({x_n})),\;({x_{n + 1}},\underbrace B_{y({x_{n + 1}})})
\]透過上述分割，我們可以將上述 Functional $J[y]$ 透過下面累加近似
\[J\left( {{y_1},{y_2},...,{y_n}} \right) = \sum\limits_{i = 1}^{n + 1} {F\left( {{x_i},y\left( {{x_i}} \right),\frac{{y\left( {{x_i}} \right) - y\left( {{x_{i - 1}}} \right)}}{h}} \right)} h\]其中  $h = x_i - x_{i-1}$ 且 $y_i := y(x_i)$

最後，我們讓 $n \rightarrow \infty$ 使上述近似還原回 $J[y]$ 。

也就是說，基本變分問題  或者 泛函極值問題 (Functional Extrema Problem) 可以被轉換成 對 $J(y_1,y_2,...,y_n)$ 的 $n$ 變數函數極值問題 再取極限。

Comments
1. 注意到若 $n \rightarrow \infty$ 可看出 $J[y] = J(y_1, y_2, ....)$，亦即泛函可以視為是具有無窮多變數的函數。而我們採用的變分法則可視為是對應此無窮多變數函數 類比於微積分的數學工具。

2. 由於變分問題處理的對象為 Functional，又由前述comment可知 Functional 可視為無窮多變數的函數，故我們處理此問題需要在無窮維的函數空間 (function space)。


延伸閱讀：
[變分法] 泛函極值的必要條件