[最佳化] C^2 函數一階逼近的餘項積分表示

令 $f: \mathbb{R}^m \to \mathbb{R}$ 為 $C^2$-函數。對 $f$ 在 $y$ 附近使用一階泰勒展開：

\[ T_y(x) := f(y) + \nabla f(y)^\top (x - y) \]

則其餘項 $R(x,y)$ 訂為 $$R(x,y ):= T_y(x) - f(x)$$

現在定義單變數輔助函數 $g: [0,1] \to \mathbb{R}$ 滿足 $$g(t) : = f(y + t(x - y))$$現在觀察 $g(0) = f(y)$ 且 $g(1) = f(x)$。我們可以計算 $g(t)$ 導數透過多變數鏈鎖律：

$$g'(t) = \nabla f(y + t(x - y))^\top (x-y)$$且

$$g''(t) = (x-y)^\top \nabla^2 f(y + t(x-y)) (x-y)$$ 其中 $\nabla^2 f$ 為 $f$ 的 Hessian matrix。那麼由 Lemma 1可知單變數Taylor Theorem 對 $g(t)$ 在 $t=0$處展開有

$$g(1) = g(0) + g'(0)(1-0) + \int_0^1 g''(t) (1-t) dt \qquad (*)$$

現在代入 $g(1) = f(x), g(0)=f(y)$ 與 $g'(0) = \nabla f(y)^\top (x-y)$，上述 式$(*)$ 可改寫為

$$f(x) = \underbrace{ f(y) + \nabla f(y)^\top (x-y) }_{T_y(x)}+ \int_0^1  (1-t) (x-y)^\top \nabla^2 f(y + t(x-y)) (x-y) dt $$

因此，我們得到

$$f(x) - T_y(x) =  \int_0^1  (1-t) (x-y)^\top \nabla^2 f(y + t(x-y)) (x-y) dt $$

回憶餘項定法為 $R(x,y ):= T_y(x) - f(x)$，故我們有 

$$R(x,y) = -\int_0^1  (1-t) (x-y)^\top \nabla^2 f(y + t(x-y)) (x-y) dt$$

Lemma 1:

令 $g \in C^2([0,1])$，則單變數Taylor Theorem 對 $g(t)$ 在 $t=0$處展開有

$$g(1) = g(0) + g'(0) + \int_0^1 g''(t) (1-t) dt$$

Proof:

給定$g \in C^2$，回憶微積分基本定理對 $g$ 函數而言，

$$g(1) - g(0) = \int_0^1 g'(t) dt \qquad (**)$$

對於 $g'(t)$ 而言，我們亦可在次使用微積分基本定理：

$$g'(1) - g'(0) = \int_0^1 g''(s) ds$$

故對任意 $t \in [0,1]$ 我們有

$$g'(t) = g'(0) + \int_0^t g''(s) ds \qquad (@)$$

將 $(@)$ 代入 $(**)$ 得到

\begin{align*}g(1) - g(0) &= \int_0^1 [g'(0) + \int_0^t g''(s) ds] dt \\ &= \int_0^1 g'(0) dt + \int_0^1 \left( \int_0^t g''(s) \right) ds dt \qquad (@@)\end{align*}

其中

$$ \int_0^1 g'(0) dt = g'(0) \cdot t|_0^1 = g'(0)$$

且

\begin{align*} \int_0^1 \left( \int_0^t g''(s) \right) ds dt &= \int_0^1 \left( \int_0^t g''(s) \right) ds dt \\ &= \int_0^1 \int_0^1 1_{\{s < t\}} g''(s) ds dt \\ &= \int_0^1 \int_0^1 1_{\{s < t\}} g''(s) dt ds \\ &= \int_0^1 g''(s) \int_s^1 dt ds \\ &= \int_0^1 g''(s) (1-s) ds \\ \end{align*}

也就是說，$(@@)$ 可改寫為

$$g(1) - g(0)  =  g'(0) + \int_0^1 g''(s) (1-s) ds $$至此得證