這次要介紹的是 Generalized Newton Raphson Algorithm (or so called Newton Method)
想法：透過二次函數近似 (quadratic fit) 目標函數 $J(u)$ 並以此找出最小值。
現在考慮在時間 $k$ ，我們有 $u^k \in \mathbb{R}^n$ 與對應的成本函數 $J(u^k)$；
現在如果我們讓 $u^k$ 受到一點擾動 $\Delta u := u^{k+1} - u^k$，也就是說受到擾動的成本函數可寫為
\[
J(u^k + \Delta u)
\]假設我們的目標函數 $J(u) $ 是個平滑函數(smooth function)，那麼我們可以對其做泰勒展開( Taylor Expansion )。故現在透過 Taylor Expansion 對上式展開 (只展開到第二項，忽略其餘高階項：因為我們的想法是利用二次函數近似，故高階項忽略)，我們得到
\[
J(u^k + \Delta u) = J(u^k) + \nabla J(u^k)^T \Delta u + \frac{1}{2} \Delta u^T \left ( \nabla^2 J(u^k)^T \right) \Delta u + H.O.T.
\]其中H.O.T為高階項 higher order term。我們將其忽略不計
現在由於我們欲求極小值（最佳化），故透過一階必要條件(FONC):
\[
\nabla J(u^k) |_{\Delta u = \Delta u^*}= 0
\] 亦即對 $\Delta u$ 求一階導數並令其為 $0$ 可得
\[
\left ( \nabla J(u^k) + \nabla^2 J(u^k) \Delta u \right) |_{\Delta u = \Delta u^*} =0
\]整理上式可得
\[ \Rightarrow \Delta u^* = - {\left[ {{\nabla ^2}J({u^k})} \right]^{ - 1}}\left( {\nabla J({u^k})} \right)
\] 又由擾動定義 $\Delta u := u^{k+1} - u^k$，我們可將上式進一步改寫
\[\begin{array}{l}
{u^{k + 1…
想法：透過二次函數近似 (quadratic fit) 目標函數 $J(u)$ 並以此找出最小值。
現在考慮在時間 $k$ ，我們有 $u^k \in \mathbb{R}^n$ 與對應的成本函數 $J(u^k)$；
現在如果我們讓 $u^k$ 受到一點擾動 $\Delta u := u^{k+1} - u^k$，也就是說受到擾動的成本函數可寫為
\[
J(u^k + \Delta u)
\]假設我們的目標函數 $J(u) $ 是個平滑函數(smooth function)，那麼我們可以對其做泰勒展開( Taylor Expansion )。故現在透過 Taylor Expansion 對上式展開 (只展開到第二項，忽略其餘高階項：因為我們的想法是利用二次函數近似，故高階項忽略)，我們得到
\[
J(u^k + \Delta u) = J(u^k) + \nabla J(u^k)^T \Delta u + \frac{1}{2} \Delta u^T \left ( \nabla^2 J(u^k)^T \right) \Delta u + H.O.T.
\]其中H.O.T為高階項 higher order term。我們將其忽略不計
現在由於我們欲求極小值（最佳化），故透過一階必要條件(FONC):
\[
\nabla J(u^k) |_{\Delta u = \Delta u^*}= 0
\] 亦即對 $\Delta u$ 求一階導數並令其為 $0$ 可得
\[
\left ( \nabla J(u^k) + \nabla^2 J(u^k) \Delta u \right) |_{\Delta u = \Delta u^*} =0
\]整理上式可得
\[ \Rightarrow \Delta u^* = - {\left[ {{\nabla ^2}J({u^k})} \right]^{ - 1}}\left( {\nabla J({u^k})} \right)
\] 又由擾動定義 $\Delta u := u^{k+1} - u^k$，我們可將上式進一步改寫
\[\begin{array}{l}
{u^{k + 1…