這次要介紹的是 Generalized Newton Raphson Algorithm (or so called Newton Method) 想法:透過二次函數近似 (quadratic fit) 目標函數 $J(u)$ 並以此找出最小值。 現在考慮在時間 $k$ ,我們有 $u^k \in \mathbb{R}^n$ 與對應的成本函數 $J(u^k)$; 現在如果我們讓 $u^k$ 受到一點擾動 $\Delta u := u^{k+1} - u^k$,也就是說受到擾動的成本函數可寫為 \[ J(u^k + \Delta u) \]假設我們的目標函數 $J(u) $ 是個平滑函數(smooth function),那麼我們可以對其做泰勒展開( Taylor Expansion )。故現在透過 Taylor Expansion 對上式展開 (只展開到第二項,忽略其餘高階項:因為我們的想法是利用二次函數近似,故高階項忽略),我們得到 \[ J(u^k + \Delta u) = J(u^k) + \nabla J(u^k)^T \Delta u + \frac{1}{2} \Delta u^T \left ( \nabla^2 J(u^k)^T \right) \Delta u + H.O.T. \]其中H.O.T為高階項 higher order term。我們將其忽略不計 現在由於我們欲求極小值(最佳化),故透過一階必要條件(FONC): \[ \nabla J(u^k) |_{\Delta u = \Delta u^*}= 0 \] 亦即對 $\Delta u$ 求一階導數並令其為 $0$ 可得 \[ \left ( \nabla J(u^k) + \nabla^2 J(u^k) \Delta u \right) |_{\Delta u = \Delta u^*} =0 \]整理上式可得 \[ \Rightarrow \Delta u^* = - {\left[ {{\nabla ^2}J({u^k})} \right]^{ - 1}}\left( {\nabla J({u^k})} \right) \] 又由擾動定義 $\Delta u := u^{k+1} - u^k$,我們可將上式進一步改寫 \[\
If you can’t solve a problem, then there is an easier problem you can solve: find it. -George Polya