跳到主要內容

[數學分析] Inverse Function Theorem

想法:
這次要介紹數學分析理論中一個重要的定理,稱作 反函數定理 (Inverse Function Theorem),簡而言之,反函數定理指出 一個 連續可微函數 $f$,若我們考慮點 $x$ 可使其 Linear transformation $f'$ 為 invertibale,則該點 $x$ 附近的 $f'$ 都為 invertible。

Comments:
1. 上述我們所提及的 invertible 我們指 一個 Linear transformation 為 invertible,嚴格來說定義如下:若  linear transformation $A: X \to Y$ 為 invertible,若下列條件滿足:
    (a.) $A$ 為 one-to-one: (i.e., $A x = Ay \Rightarrow x =y$)
    (b.) $A(X) = Y$ (i.e., $A$ maps $X$ onto $Y$ or 對任意 $y \in Y$, 存在 $x \in X$ 使得 $Ax = y$ )

2. 以下討論我們皆以 多變數向量函數 為主,亦即
若 $A \subset \mathbb{R}^n$ 且 $B \subset \mathbb{R}^m$,$n,m \in \mathbb{N}$ 則我們稱 $\bf f$ $: A \to B$ 為多變項量函數 (vector function of several variables.)


接著我們介紹何謂 $C^1$ 函數:
================
Definition: $C^1$ Continuously differentiable
我們稱一個可導的 mapping ${\bf f}: E \subset \mathbb{R}^n \to \mathbb{R}^m$ 為 continuously differentiable in $E$ (記做 ${\bf f} \in C^1(E)$) 若下列條件成立:
${\bf f}':E \to L(\mathbb{R}^n, \mathbb{R}^m)$ 為 continuous mapping ;亦即 對任意 ${\bf x} \in E$ 且 任意 $\varepsilon >0$,存在 $\delta >0$ 使得 對任意 ${\bf y} \in E$,
\[||{\bf{x}} - {\bf{y}}|| < \delta  \Rightarrow ||{\bf{f}}'\left( {\bf{x}} \right) - {\bf{f}}'\left( {\bf{y}} \right)|| < \varepsilon \]================


現在我們可以介紹 反函數定理:
Inverse Function Theorem 的基本想法:
考慮 連續函數 $f: \mathbb{R} \to \mathbb{R}$ 若 $f'>0$ 則我們知道 $f$ 為 monotonic (嚴格來說 $f$ 為 strictly increasing)。我們可推知 $f$ 必為 one-to-one 與 onto (讀者可自行驗證);故 $f$ 為 invertible。

故如果我們觀察以上結果,可發現若 $f' \neq 0$ 且 連續,則 $f$ 必為 invertible。那麼將此結果推廣到多變數向量函數的情況便會得到 Inverse Function Theorem。


======================
Theorem: Inverse Function Theorem
令 ${\bf f} \in C^1(E)$,$E $ 為 open set 且 ${\bf f}: E \subset \mathbb{R}^n \to \mathbb{R}^n$;
假設存在 點 ${\bf a} \in E$ 使得  ${\bf f}'({\bf a})$ 為 invertible linear operator 且 ${\bf{b}} = {\bf{f}}\left( {\bf{a}} \right)$ 則
  1. 存在兩 open sets $U,V \subset \mathbb{R}^n$ 使得 ${\bf{a}} \in U$, ${\bf b} \in V$; 且 $\bf f$ 為 one-to-one on $U$ 且 ${\bf f}(U) = V$。
  2. 若 $\bf g$ 為 inverse of $\bf f$ (定義在 $V$ 上) 且滿足對任意 ${\bf x} \in U$ 我們有 ${\bf{g}}\left( {{\bf{f}}\left( {\bf{x}} \right)} \right) = {\bf{x}}$  則 ${\bf g} \in C^1(V)$
======================

Comment:
Inverse Function Theorem 要求 $\bf f'$$({\bf a})$ 需要為連續 (因為 $C^1$)。此假設是必要的! (若無此假設,反函數不存在。) 我們看下面的例子:

Example
考慮 $n=1$,且考慮
\[f\left( t \right): = \left\{ \begin{array}{l}
t + 2{t^2}\sin \left( {1/t} \right),\begin{array}{*{20}{c}}
{}&{}
\end{array}t \ne 0\\
0\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array},\begin{array}{*{20}{c}}
{}&{}
\end{array}t = 0
\end{array} \right.\]則 $f'(0) =1$,$f'$ 在 $(-1,1)$ 上有界,但在 $0$ 點附近任意鄰域 $f$ 並非 one-to-one 。

Proof:
我們首先證明 $f'(0) =1$,由導數定義可知
\[\small
f'\left( 0 \right): = \mathop {\lim }\limits_{h \to 0} \frac{{f\left( {0 + h} \right) - f\left( 0 \right)}}{h} = \mathop {\lim }\limits_{h \to 0} \frac{{h + 2{h^2}\sin \left( {1/h} \right) - 0}}{h} = 1 + 2\mathop {\lim }\limits_{h \to 0} \sin \left( {1/h} \right)h = 1
\]接著我們證明 $f'$ 在 $(-1,1)$ 上有界;亦即 對任意 $x \in (-1,1)$ 要證明 存在 $M$ 使得 $|f'(t)| \le M$。觀察
\[\left| {f'\left( x \right)} \right| = \left| {1 + 4t\sin \left( {1/t} \right) - 2\cos \left( {1/t} \right)} \right| \le 1 + 4 + 2 = 7\]此處暗示了 $f'(0)$ 不為連續函數。 因為
\[\begin{array}{l}
|f'\left( t \right) - f'\left( 0 \right)| = |\left[ {1 + 4t\sin \left( {1/t} \right) - 2\cos \left( {1/t} \right)} \right] - 1|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = |4t\sin \left( {1/t} \right) - 2\cos \left( {1/t} \right)| \le 4|t| + 2 < 4\delta  + 2
\end{array}\]故不管 $\varepsilon$ 選多小都沒辦法使上述誤差項 $|f(t) - f(0)|$ 逼近任意小。

最後我們證明 $0$ 點附近任意鄰域 $f$ 並非 one-to-one:故給定任意 $r>0$ 使得任意$0$ 點附近  鄰域 $B_r(0)$,存在相異點 $x,y \in B_r(0)$ 滿足 $x = -y$ 使得在此鄰域中 $f(x) =f(y)$。注意到 $|x-y| = |x- (-x)| < r \Rightarrow |x| < r/2$ 且
\[\begin{array}{l}
f\left( x \right) - f\left( { - x} \right) = 2x\left[ {x + 2{x^2}\sin \left( {1/x} \right) - \left( { - x - 2{x^2}\sin \left( {1/x} \right)} \right)} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = {\left( {2x} \right)^2}\left[ {1 + 2x\sin \left( {1/x} \right)} \right] < {r^2}\left[ {1 + 2r} \right]
\end{array}\]由於 $r$ 為任意正數,故 $f\left( x \right) = f\left( { - x} \right)$




Proof: Inverse Function Theorem
先證 (1): 亦即要證 存在 open sets $U,V \subset \mathbb{R}^n$ 使得 ${\bf{a}} \in U$, ${\bf b} \in V$; 且 $\bf f$ 為 one-to-one on $U$ 且 ${\bf f}(U) = V$。

想法如下:要證明 one-to-one 除了利用定義之外,我們亦可透過建構輔助函數 利用 contraction principle 的幫助來得到我們所需的結果。


首先令 ${\bf{f}}'\left( {\bf{a}} \right): = A$ 且 選擇 $\lambda \in \mathbb{R}$ 使得 $2 \lambda ||A^{-1}||_L=1 $ $(*)$
(在此 $||\cdot||_L$ 表 operator norm)

由於 $\bf f$ 在 $\bf a$處可導,故可知 $\bf f'$ 為 continuous at 點 $\bf a$;亦即 對任意 $\varepsilon>0$,存在 $\delta >0$ 使得 對任意 ${\bf x} \in E$,
\[
||{\bf{x}} - {\bf{a}}|| < \delta  \Rightarrow ||{{\bf{f}}^\prime }\left( {\bf{x}} \right) - \underbrace {{{\bf{f}}^\prime }\left( {\bf{a}} \right)}_{ = A}|| < \varepsilon
\] 現在取 $\varepsilon:= \lambda$ 可推知:存在 球心為 $\bf a$ 半徑為 $\delta$ 的 open ball $U \subset E$  (表 $||{\bf x} - {\bf a}|| < \delta$) 使得 對任意 $\bf x$ $\in U$,我們有
\[
||{{\bf{f}}^\prime }\left( {\bf{x}} \right) - A|| < \lambda \ \ \ \ \ (\star)
\]現在,對任意 ${\bf y} \in \mathbb{R}^n$,定義輔助函數 $\varphi$ 如下:對任意 $\bf x$ $\in E$
\[
\varphi ({\bf{x}}): = {\bf{x}} + {A^{ - 1}}\left( {{\bf{y}} - {\bf{f}}\left( {\bf{x}} \right)} \right)
\]觀察上式,注意到 ${\bf{f}}\left( {\bf{x}} \right) = {\bf{y}}$ 若且唯若 ${\bf{x}}$ 為 fixed point of $\varphi$。 $(**)$

故我們接著計算 $\varphi'$,首先我們觀察 \[\varphi ({\bf{x}} + {\bf{h}}) - \varphi ({\bf{x}}) = {\bf{h}} - {A^{ - 1}}\left[ {{\bf{f}}\left( {{\bf{x}} + {\bf{h}}} \right) - {\bf{f}}\left( {\bf{x}} \right)} \right]\]故可推知
\[\begin{array}{l}
\varphi '({\bf{x}}) = I + {A^{ - 1}}{\bf{f}}'\left( {\bf{x}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = {A^{ - 1}}\left[ {A + {\bf{f}}'\left( {\bf{x}} \right)} \right]
\end{array}\]現在對上式取 norm,並 利用 $(*)$ 與 $(\star)$ 可推知
\[\begin{array}{l}
{\left\| {\varphi '({\bf{x}})} \right\|_L} = {\left\| {{A^{ - 1}}\left[ {A + {\bf{f}}'\left( {\bf{x}} \right)} \right]} \right\|_L}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} \le {\left\| {{A^{ - 1}}} \right\|_L}{\left\| {A + {\bf{f}}'\left( {\bf{x}} \right)} \right\|_L}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} < \frac{\lambda }{2} \cdot \lambda  = \frac{1}{2}
\end{array}
\] 上式對任意 $\bf x$ $\in U$ 成立。現在利用 Mean Value Theorem 可知對任意 ${\bf x}_1$, ${\bf x}_2$ $\in U$
\[{\left\| {\varphi ({\bf{x}}_1) - \varphi ({\bf{x}}_2)} \right\|_L} \le \frac{1}{2}{\left\| {{\bf{x}}_1 - {\bf{x}}_2} \right\|_L}\]故由 Contraction principle 可知 $\varphi$ 有唯一固定點 $\bf x$ $\in U$;由 $(**)$可知存在唯一固定點  $\bf x$ 使得 ${\bf{f}}\left( {\bf{x}} \right) = {\bf{y}}$ 因此 $\bf f$ 為 one-to-one in $U$

接著我們證 ${\bf f}(U) = V$ 為 open 。
亦即要證給定任意 ${\bf y}_0 \in V$ 存在 $R>0$ 使得 開球 $B_R({\bf y}_0) \subset V$

令 $V:= {\bf f} (U)$ 則若我們取 ${{\bf{y}}_0} \in V$ 則 存在 ${\bf x}_0$ 使得 ${{\bf{y}}_0} = {\bf{f}}\left( {{{\bf{x}}_0}} \right)$ 。現在取 開球 $B_r({\bf x}_0)$ ,並且讓 $B_r({\bf x}_0)$ 的半徑 $r>0$ 足夠小 使得 開球的 closure $\bar B_r({\bf x}_0) \subset U$。

現在選 $R:= \lambda r$ 我們要證明 開球 $B_R({\bf y}_0) \subset V$,此等價證明以下 Claim:

Claim:   $\left\| {{\bf{y}} - {{\bf{y}}_0}} \right\| < \lambda r \Rightarrow {\bf{y}} \in V$
(此陳述等價對任意 $R:=\lambda r>0$ 存在 open ball $B_{\lambda r} ({\bf y}_0) \subset V$)

固定任意 $\bf y$ 滿足 $||{\bf y} - {\bf y}_0|| < \lambda r$,回憶我們先前定義的 contraction 函數 $\varphi$
\[
\varphi ({\bf{x}}): = {\bf{x}} + {A^{ - 1}}\left( {{\bf{y}} - {\bf{f}}\left( {\bf{x}} \right)} \right)
\]觀察
\[\begin{array}{l}
\left\| {\varphi ({{\bf{x}}_0}) - {{\bf{x}}_0}} \right\| = \left\| {{{\bf{x}}_0} + {A^{ - 1}}\left( {{\bf{y}} - {\bf{f}}\left( {{{\bf{x}}_0}} \right)} \right) - {{\bf{x}}_0}} \right\|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \left\| {{A^{ - 1}}\left( {{\bf{y}} - {\bf{f}}\left( {{{\bf{x}}_0}} \right)} \right)} \right\| = \left\| {{A^{ - 1}}\left( {{\bf{y}} - {{\bf{y}}_0}} \right)} \right\|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le \left\| {{A^{ - 1}}} \right\|\left\| {{\bf{y}} - {{\bf{y}}_0}} \right\|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} < \frac{1}{{2\lambda }}\lambda r = \frac{1}{2}r
\end{array}
\]若 $\bf x$ $\in \bar B_r({\bf x}_0)$ 則 $\left\| {{\bf{x}} - {{\bf{x}}_0}} \right\| \le r$ 且我們有
\[\begin{array}{l}
\left\| {\varphi ({\bf{x}}) - {{\bf{x}}_0}} \right\| = \left\| {\varphi ({\bf{x}}) - \varphi ({{\bf{x}}_0}) + \varphi ({{\bf{x}}_0}) - {{\bf{x}}_0}} \right\|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le \left\| {\varphi ({\bf{x}}) - \varphi ({{\bf{x}}_0})} \right\| + \left\| {\varphi ({{\bf{x}}_0}) - {{\bf{x}}_0}} \right\|
\end{array}
\]由於 $\left\| {\varphi ({{\bf{x}}_1}) - \varphi ({{\bf{x}}_2})} \right\| \le \frac{1}{2}\left\| {{{\bf{x}}_1} - {{\bf{x}}_2}} \right\|$ (注意到此式成立 ${\bf x}_1, {\bf x}_2$ $\in \bar B_r({\bf x}_0)$)故可知
\[\begin{array}{l}
\left\| {\varphi ({\bf{x}}) - {{\bf{x}}_0}} \right\| \le \left\| {\varphi ({\bf{x}}) - \varphi ({{\bf{x}}_0})} \right\| + \left\| {\varphi ({{\bf{x}}_0}) - {{\bf{x}}_0}} \right\|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} < \frac{1}{2}\left\| {{\bf{x}} - {{\bf{x}}_0}} \right\| + \frac{r}{2}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} < \frac{1}{2}r + \frac{r}{2} = r
\end{array}\]因此 $\varphi({\bf x}) \in B_r({\bf x}_0)$ 故 $\varphi$ 確實為 contraction on $\bar B_r({\bf x}_0)$ ;且由於 $\bar B_r$ 為 closed subset in $\mathbb{R}^n$ 故 $\bar B_r$ 為 complete ,利用 Contraction principle 可知具有唯一固定點 ${\bf x}^*$ $\in \bar B_r({\bf x}_0)$,對此 ${\bf x}^*$ 而言,我們有
\[{\bf{f}}\left( {\bf{x}^*} \right) = {\bf{y}} \in {\bf{f}}\left( {{{\bar B}_r}\left( {{{\bf{x}}_0}} \right)} \right) \subset {\bf{f}}\left( U \right) = V\]因此  ${\bf{y}} \in V$


Corollary: (f is a open mapping of E to R^n)
若 $\bf f$ $\in C^1(E)$,且 ${\bf f}: E \subset \mathbb{R}^n \to \mathbb{R}^n$ 且 若 對任意 $\bf x$,${\bf f}'({\bf x})$ 為 invertible,則 對任意 open set $W \subset E$,${\bf f}(W)$ 為 open subset of $\mathbb{R}^n$  



以下我們看個 Inverse Function Theorem 的應用:

Example
Let $L:\mathbb{R}^n \to \mathbb{R}^n$ be a bounded linear operator such that $||L(\vec x)|| = ||\vec x||$ for all $\vec x \in \mathbb{R}^n$. Define $f(\vec x):=L(\vec x) + g(\vec x)$ where $||g(\vec x)|| \le M ||\vec x||^2$ and $f \in C^1$. Show that $f$ is invertible in a neighborhood of $\vec 0 \in \mathbb{R}^n$.

Proof: First show that $f'(\vec0) = L$. Observe that
\[\begin{array}{l}
\mathop {\lim }\limits_{\vec h \to \vec 0} \frac{{\left\| {f(\vec h) - f\left( {\vec 0} \right) - L\vec h} \right\|}}{{\left\| {\vec h} \right\|}} = \mathop {\lim }\limits_{\vec h \to \vec 0} \frac{{\left\| {L\vec h + g(\vec h) - g(\vec 0) - L\vec h} \right\|}}{{\left\| {\vec h} \right\|}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = \mathop {\lim }\limits_{\vec h \to \vec 0} \frac{{\left\| {g(\vec h) - g(\vec 0)} \right\|}}{{\left\| h \right\|}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} \le \mathop {\lim }\limits_{\vec h \to \vec 0} \frac{{M{{\left\| {\vec h} \right\|}^2}}}{{\left\| {\vec h} \right\|}} = \mathop {\lim }\limits_{\vec h \to \vec 0} M\left\| {\vec h} \right\| = 0\\
\Rightarrow \mathop {\lim }\limits_{\vec h \to \vec 0} \frac{{\left\| {f(\vec h) - f\left( {\vec 0} \right) - L\vec h} \right\|}}{{\left\| {\vec h} \right\|}} = 0
\end{array}\]Hence, $f'(\vec 0) =L.$ Next, we show $L$ is invertible. Observe that for two vectors $\vec x, \vec y$ $\in \mathbb{R}^n$, suppose $L\vec x = L\vec y$, we have by linearity,

$L\left( {\vec x - \vec y} \right) = 0$. This shows $\vec x = \vec y$; i.e., $L$ is invertible. Now, by inverse function theorem, we know that $f$ is invertible in a neighborhood of $\vec 0$ $\in \mathbb{R}^n$. $\square$

留言

這個網誌中的熱門文章

[數學分析] 什麼是若且唯若 "if and only if"

數學上的 if and only if  ( 此文不討論邏輯學中的 if and only if,只討論數學上的 if and only if。) 中文翻譯叫做  若且唯若 (or 當且僅當) , 記得當初剛接觸這個詞彙的時候,我是完全不明白到底是甚麼意思,查了翻譯也是愛莫能助,畢竟有翻跟沒翻一樣,都是有看沒有懂。 在數學上如果看到 if and only if  這類的句子,其實是表示一種 雙條件句 ,通常可以直接將其視為" 定義(Definition)" 待之,今天要分享的是這樣的一個句子如何用比較直觀的方法去看他 假設我們現在有 兩個邏輯陳述句 A 與  B. 注意到,在此我們不必考慮這兩個陳述句到底是什麼,想表達什麼,或者到底是否為真(true),這些都不重要。只要知道是兩個陳述即可。 現在,考慮新的陳述:  "A if and only if B" 好了,現在主角登場,我們可以怎麼看待這個句子呢? 事實上我們可以很直覺的把這句子拆成兩部分看待,也就是 "( A if B ) and ( A only if B )" 那麼先針對第一個部分  A if B  來看, 其實這句就是說  if B then A, 更直白一點就是 "if B is true, then A is also true".  在數學上等價可以寫為 "B implies A" .  或者更常用一個箭頭符號來表示 "B $\Rightarrow$  A"  現在針對第二個部分  A only if B 此句意指  "If B is not true, then A is also not true". 所以如果已知 A is true,  那麼按照上句不難推得 B is also true 也就是說  A only if B  等價為 "If A is true then B is also true". 同樣,也可以寫作   "A implies B"   或者用箭頭表示  "A   $\Rightarrow$     B".

[數學分析] 淺談各種基本範數 (Norm)

這次要介紹的是數學上一個重要的概念: Norm: 一般翻譯成 範數 (在英語中 norm 有規範的意思,比如我們說normalization就是把某種東西/物品/事件 做 正規化,也就是加上規範使其正常化),不過個人認為其實翻譯成 範數 也是看不懂的...這邊建議把 Norm 想成長度就好 (事實上norm是長度的抽象推廣), 也許讀者會認為好端端的長度不用,為何又要發明一個 norm 來自討苦吃?? 既抽象又艱澀。 事實上想法是這樣的: 比如說現在想要比較兩個數字 $3$ , $5$ 之間的大小,則我們可以馬上知道 $ 3 < 5 $;同樣的,如果再考慮小數與無理數如 $1.8753$ 與 $\pi$,我們仍然可以比較大小 $1.8753 < \pi = 3.1415...$ 故可以發現我們有辦法對 "純量" 做明確的比大小,WHY? 因為前述例子中 $3$, $5$, $1.8753$ or $\pi$ 其各自的大小有辦法被 "measure "! 但是如果是現在考慮的是一組數字 我們如何去measure 其大小呢?? 比如說 \[x:=[1, -2, 0.1, 0 ]^T \]上式的大小該是多少? 是 $1$? $-2$? $0.1$??? 再者如果更過分一點,我們考慮一個矩陣 \[A = \left[ {\begin{array}{*{20}{c}} 1&2\\ 3&4 \end{array}} \right] \],想要知道這個矩陣的大小又該怎麼辦?? 是 $1$ ? $2$ 還是 $4$ ?..其實現階段我們說不清楚。 也正是如此,可以發現我們確實需要新的 "長度" 的定義來幫助我們如何去 measure 矩陣/向量/甚至是函數的大小。 故此,我們首先定義甚麼是Norm,(也就是把 "長度" or "大小" 的本質抽離出來) ================== Definition: Norm 考慮 $V$ 為一個向量空間(Vector space),則我們說  Norm 為一個函數 $||\cdot|| : V \rightarrow \mathbb{R}$ 且滿足下列性質