謝宗翰的隨筆

================================
Definition: Power Series & Analytic Series 
一個  具有下列形式的 Series 稱為 Power Series：對任意 $x \in \mathbb{R}$，
\[
f(x) = \sum_{n=0}^\infty c_n x^n
\]或者更廣義的來說：
\[
f(x) = \sum_{n=0}^\infty c_n (x-a)^n
\]若函數 $f$ 具有 power series 我們稱為 解析函數 Analytic function。
================================

Comments:
1. 解析函數為 "無窮" series 此暗示了一旦 解析函數被定義即表此 series 收斂。

2. 一般而言對於 power series 我們有兩種方法判斷 series 是否收斂
(a) 採用 Ratio Test ：但此法僅能判斷 series 是否 pointwise convergence。此法如下：
考慮 $f(x) = \sum_{n=0}^\infty c_n (x-a)^n$ ；則 Ratio Test 要判斷 第 $n$ 項 與 第 $n+1$項 之比值是否小於1。如果小於1我們說此 series converges pointwise。亦即 Ratio Test 檢驗下式是否成立：
\[\mathop {\lim }\limits_{n \to \infty } \left| {\frac{{{c_{n + 1}}{{(x - a)}^{n + 1}}}}{{{c_n}{{(x - a)}^n}}}} \right| < 1?
\]關於 Ratio Test 可參考下例：

Example: 
試利用 Ratio Test 判斷 $\sum\limits_{n = 1}^\infty  {\frac{n}{{{2^n}}}} $ 是否收斂?

Solution
令 $c_n =  {\frac{n}{{{2^n}}}}$ 則我們僅需檢驗
\[\mathop {\lim }\limits_{n \to \infty } \left| {\frac{{{c_{n + 1}}}}{{{c_…

這邊介紹 $\mathbb{R}^n$ 空間的 線性轉換 (Linear Transformation)；

但我們首先從無窮維任意向量空間開始定義：

======================
令 $X,Y$ 為任意 向量空間 (Vector Space)：
Definition: Linear Transformation
我們稱 映射 $A : X \to Y$ 為 線性轉換 (Linear Transformation) 若下列條件成立：對任意 ${\bf{x}},{\bf{y}} \in X$ 與 純量 $c \in \mathbb{R}$，
\[\begin{array}{l}
A\left( {{\bf{x}} + {\bf{y}}} \right) = A{\bf{x}} + A{\bf{y}}\\
A\left( {c{\bf{x}}} \right) = cA{\bf{x}}
\end{array}\]======================

Comment: 1. 注意到上述符號： $A ({\bf x}) $ 表示 $A$ 作用在 ${\bf x}$ 上!!  並非乘法! 一般而言，若 $A$ 為 linear ，$A({\bf x}) $ 會記為 $A \bf x$ (讀者須避免與乘法造成誤會!)

2. 考慮 Linear transformation $A: X \to Y$ ，若 $\left\{ {{{\bf{x}}_1},{{\bf{x}}_2},...,{{\bf{x}}_n}} \right\}$ 為 $X$ 空間的 基底 (basis)，則任意向量 ${\bf x} \in X$ 有唯一表示：
\[{\bf{x}} = \sum\limits_{i = 1}^n {{c_i}{{\bf{x}}_i}} \]且由 Linearity of $A$ 可知
\[A{\bf{x}} = A\left( {\sum\limits_{i = 1}^n {{c_i}{{\bf{x}}_i}} } \right) = \sum\limits_{i = 1}^n {{c_i}A{{\bf{x}}_i}} \]

======================
Definition: Linear Operator
Linear Transformat…

以下我們討論一些關於 弱大數法則(Weak Law of Large Numbers, WLLN) 的結果，首先介紹 一組隨機變數 數列 的 機率收斂  (Convergence in Probability)

=============================
Definition: Convergence in Probability
令 $Y_n$ 為一組隨機變數 sequence，我們說 $Y_n$ converges to $Y$ in probability 若下列條件成立：對任意 $\varepsilon >0$
\[
P(|Y_n - Y| > \varepsilon) \rightarrow 0 \;\; \text{ as  $n \rightarrow \infty$}
\]=============================

Comments:
1. 上述定義等價為
\[
P(|Y_n - Y| \leq \varepsilon) \rightarrow 1 \;\; \text{ as  $n \rightarrow \infty$}
\]
2. 上述定義中 $Y_n \to^P Y$ 的 $Y$ 可為隨機變數或者為常數。
3. 機率收斂在 機率論與隨機過程，以及 統計理論中 扮演重要角色，比如機率收斂在統計中等價稱為 consistent estimator，在此不做贅述。




==============================
Definition: Uncorrelated Random Variables 接著再回憶我們說一組隨機變數 $X_i, \; i \in \mathbb{N}$ 且 $E [X_i^2] <\infty$ 為 uncorrelated 若下列條件成立：當 $i \neq j$
\[
E[X_i X_j] = E[X_i] E[X_j]
\]============================

現在我們看個 uncorrelated 隨機變數的結果

=============================
Theorem:
令 $X_1, X_2,...X_n$ 為 uncorrelated 且 $E[X_i^2] < \infty$ 則
\[
var(X_1 + …

半導體二極體 (Diode) 基本上即為一個 PN junction 如下圖所示




上圖中 箭頭方向表示 diode 的電流方向，亦即 diode 為兩端子 單向導通的 (非線性)元件。

理想二極體 (Ideal Diode)特性：
下圖為 Ideal diode 的電流電壓特性圖 ($i,v$ characteristics)

施加 "負"電壓 (逆向偏壓 reverse biase) 在 diode 兩端上，diode不導通 $\Rightarrow$ 電流為 $0$ $\Rightarrow$ 此時 diode 呈現開路(open circuit)狀態。施加 "正" 電壓 (順向偏壓 forward bias)在 diobe 兩端上，則 diode 導通$\Rightarrow$ 此時 diode 呈現短路(short circuit)狀態。

真實二極體 (Real diode) 的電流/電壓 (I/V characteristics)特性如下圖
當diode兩端施加電壓  $v>0$ (上圖右方 forward bias 部分)，我們可以近似其 電流電壓關係為
\[
i = I_S \left[ e^{v/V_T}-1\right]
\]其中 $I_S$ 為 反向飽和電流 (reversed saturation current)，$V_T$ 為 熱電壓 (thermal voltage)滿足下式
\[
V_T := \frac{kT}{q}
\]其中 $k$ 為 Boltzmann's constant = $1.38 \times 10 ^{-23}$ Joules/Kelvin，$T$為絕對溫度 (Kelvin, K)，$q$ 為 單位電荷帶電量=$1.60 \times 10^{-19}$ Coulomb。

一般而言在室溫下 $(300 )$ K 時，thermal voltage 為 $V_T = 25$ mV (=$0.025$ V)。

現在我們觀察上圖，我們可以得到下列結論：
當輸入 diode 的電壓低於 $0.5 {\rm v}$時，其 diode 電流 $i$ 幾乎可以忽略，此 $0.5 \rm v$ 稱為 切入電壓 (cut-in voltage)當輸入 diode 電壓 高於 cut-i…

半導體 (Semiconductor): 
導電度(electric conductivity) 介於 導體(conductor or metal) 與 絕緣體 (insulator) 之間之物質 ，低溫時，導電度不佳，但若提高溫度時(提高溫度視為給予外界能量)，則導電度良好e.g., 元素週期表 IV族元素 Si, Ge 。

一般可用有無 添加(doping) 雜質分為
本質半導體 (Intrinsic Semiconductor) 雜質 or 外質半導體 (Extrinsic Semiconductor)。
Comments:
1. 本質半導體(intrinsic semiconductor) 一般可視為 純矽(pure silicon) (亦即無任何雜質的矽) 的同義字；另一方面外質半導體一般又稱作 (Doped silicon) 另外對於 外質半導體 我們可在由添加的成分不同分成
N-type semiconductor: 添加 V族元素 e.g., 磷P, 砷As P-type semiconductor: 添加 III族元素 e.g., 硼B, 鎵 Ga  2. 本質半導體 電子與電洞濃度相同 $n = p: = {n_i}(T) \approx 1.5 \times {10^{10}}\;(\# /c{m^3})$。關於電子與電洞濃度會在稍後在做進一步介紹。

3. 導電度 (Conductivity, $\sigma$) 定義為 每單位電場強度 $E$ 造成的飄移電流密度(drift current density, $J$)。一般材料用 電阻率 (Resistivity, $\rho$) 來表示 材料阻擋電流的程度，定義為 \[
\rho := 1/\sigma
\]

3. 導體的例子： 銅 (Cu) e.g., 銅導線

不過在介紹 N-type 與 P-type 半導體之前，我們需要一些對半導體的專有名詞的介紹：


Si 的原子結構與特性 Si 原子結構： Si 原子數: 14，其原子結構的最外層有4 個價電子(Valence electron) 上圖顯示了矽晶圓的原子結構 (以二維表示)，每一個 矽原子與他人以共價鍵 (Covalent bonds) 方式結合。

自由電子 (free electron) 與 電洞(hole) 當施加外在能量(e.g., 提…

這是轉貼唐崇榮 牧師於2008年神學講座
是一個提問的轉錄"信耶穌才能得救? 這樣霸道?"
.
答案非常有趣 跟各位分享一下
.
[youtube=http://www.youtube.com/watch?v=lX6pTHt7sB0]  .
=======以下轉錄自 基督教小小羊園地===========
歸正運動是歷史上一個最純潔的運動，
因為它從起初就呼籲歸回聖經。
.
歸正不是一個宗派，
它是一種精神，一個神聖的邀請，
邀請全教會全信徒回到全本聖經。
. ========================================= 延伸閱讀: 基督教小小羊園地 很棒的一個網站，內容以歸正神學為基礎，相信全本聖經是由神所默示，且沒有謬誤之處
推薦對基督教徒與非基督教徒參考 . ========================================== . 關於 唐崇榮 博士 簡介 (Ref: Wiki) .

這次要介紹 無窮時間的 Bellman Equation，亦即我們的 Cost function 為 branch cost 加到無窮大的情況：
\[
J(u) := \displaystyle \sum_{k=0}^{\infty} J(x(k), u(k)) + \Phi(x(N))
\]
那麼現在問題變成 儘管我們手上有 有限時間的 Bellman Equation (請參考前篇文章)，但對於此類無窮時間的問題該如何處理??

亦即如果今天我們 cost function 的 $N \rightarrow \infty$ 該怎麼處理? 我們稱這一類問題叫做 Steady State Dynamic Programming 或稱 Dynamic Programming in Infinite Horizon。

無窮時間的動態規劃問題 (Dynamic Programming Problem in Infinite Horizon)：

考慮 Performance index (cost function)
\[
J(u) := \displaystyle \sum_{k=0}^{\infty} J(x(k), u(k)) + \Phi(x(N))
\]狀態方程( state equation)
\[
x(k+1) = f(x(k), u(k)), \ x(0) \ \text{is given} \\
\]其中 $x(k)$ 為系統在第 $k$ 時刻的 狀態，$f:\mathbb{R}^n \times \mathbb{R}^m \rightarrow \mathbb{R}^n$，
與控制力拘束條件
\[
u(k) \in \Omega
\]其中$\Omega$ 為拘束條件

此時對應的 Bellman Equation (or Dynamic Programming Equation) 寫為如下的 functional form
\[
I(x) = \min_{u \in \Omega} \{ J(x,u) + I(f(x,u)) \}
\]亦即與 $N$ 無關
上式稱為 Steady State Bellman Equation 或者 Bellman Equation in Infinite Horizon。


現在我們看個例子：

Example
考慮系統狀態方程表…

這次要介紹機率論中一個重要的概念：期望值 (Expectation)，本質上期望值被視為一個 Lebesgue 積分。更進一步地說就是在較抽象的高等機率論中， 期望值被定義為對某機率測度 (Probability measure, $P$ ) 的 Lebesgue 積分 。亦即 考慮機率空間為 $(\Omega, \mathcal{F}, P)$，則 $E[X]$ 具有如下形式：
\[
E[X] := \int_{\Omega} X d P  = \int_\Omega X(\omega) P(d\omega)
\]

我們由 Simple Function 出發 逐步建構 Lebesgue integral：

Step 1: Simple function 的期望值：

首先，我們定義 $X$ 為一個 simple function。亦即此函數可由 可測集合 (measurable sets $A_i$ ) 的 Indicator function 所組成。我們將其寫作是 Finite sum 如下：
\[
X = \displaystyle \sum_{i=1}^{n} c_i 1_{A_i}
\]其中 $c_i \in \mathbb{R}$， $A_i \in \mathcal{F}$ 且
\[{1_A}\left( x \right): = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}
\end{array}if\begin{array}{*{20}{c}}
{}
\end{array}x \in A\\
0,\begin{array}{*{20}{c}}
{}
\end{array}if\begin{array}{*{20}{c}}
{}
\end{array}x \notin A
\end{array} \right.\]則我們定義 對此 Simple function $X$ 的期望值 (或稱對此 Simple function 的 Integral)為
\[
E[X] := \int X dP := \sum_{i=1}^n c_i P( \{A_i\} )
\]接著，我們定義對 非負隨機變數 的期望值：


Step 2: 非負隨機變數 的期望值：

對任意 非負隨機變數 $Y$ $(Y : \O…

這次要跟大家介紹離散時間的動態規劃 (Dynamic Programming, D.P.) 問題：
此為最佳化理論中的一種方法，由 Professor Bellman 的 Principle of Optimality 所奠基。

基本想法如下： 從最佳解往回推 (backward)，逐步求解最佳值。再從初始位置沿著以求得的最佳路徑前進到最佳解。

我們現在把動態規劃問題寫下：

(有限時間) 動態規劃問題 (Dynamic Programming Problem in Finite Horizon)：

考慮 Performance index (cost function)
\[
J(u) := \displaystyle \sum_{k=0}^{N-1} J(x(k), u(k)) + \Phi(x(N))
\]與離散時間的狀態方程( state equation)
\[
x(k+1) = f(x(k), u(k)), \ x(0) \ \text{is given} \\
\]其中 $x(k) \in \mathbb{R}^n$ 為系統在第 $k$ 時刻的 狀態，$u(k) \in \mathbb{R}^m$ 為控制力，函數 $f:\mathbb{R}^n \times \mathbb{R}^m \rightarrow \mathbb{R}^n$，

另外我們仍需考慮控制力拘束條件
\[
u(k) \in \Omega_k(x(k))
\]其中 $\Omega_k$ 為第 $k$ 時刻的拘束條件

Comment:
1. 關於狀態方程：上式中的 $f(x(k),u(k))$ 稱作 autonomous state equation
但事實上DP問題亦可直接考慮 Non-autonomous state equation，(亦即函數中考慮時間 $k$)
\[
f((x(k), u(k), k))
\] Example: Autonomous and Non-autonomous system
Autonomous state equation:  $x(k+1) = x(k) + u(k)$
Non-autonomous state equation: $x(k+1) = k \cdot x(k)$

2. 關於 Performance Index
\[
J(u) := \d…

延續上篇文章 [最佳化] 淺談 Steepest Descent Method (0) -Why Steepest !?，這次我們要介紹 Steepest Descent Method with Optimal Step size

修訂後的Steepest Descent Algorithm 需要甚麼呢?
初始條件 $u^0$最大跌代步長上限(Maximum fixed step size): $H$Steepest Descent with Optimal Step size的跌代架構(iterative scheme) \[u^{k+1} = u^k - h_k \frac{ \nabla J(u^k)}{|| \nabla J(u^k)||} \ \ \ \ (*)\]演算法停止判別機制(stopping criterion) : EX: \[ ||\nabla J(u^k)|| < \varepsilon\] 那麼問題變成 $h_k$ 該怎麼求?
首先我們考慮第 $k$次 跌代，手上有 $u^k$，則我們可以定義 \[
\tilde J(h) := J(u^k - h \frac{ \nabla J(u^k)}{|| \nabla J(u^k)||})
\]接著我們做 Line search 找出一個最佳的 $h \in [0,H] $ ( 亦即 $\min \tilde J(h)$) 把此 $h$ 稱做 $h_k $，也就是說 \[
\tilde J(h_k) = \displaystyle \min_{h \in [0, H]} \tilde J(h)
\]做Line search之後得到的 $h_k$ 再把他放回 $(*)$ 即可!! \[
u^{k+1} = u^k - h_k \frac{ \nabla J(u^k)}{|| \nabla J(u^k)||} \ \ \ \ (*)
\]上式即稱為 Steepest Descent with Optimal Step size (此Optimal step 由Line search 對 $ \min J(u^k - h \frac{ \nabla J(u^k)}{|| \nabla J(u^k)||})$ 求得)

對於Steepest Descent Algorithm而言，我們有 現在的跌代…

這次要介紹的是最陡坡度法(Steepest Descent Method)，又稱 Gradient descent method：

想法：透過負梯度 (negative gradient) 作為最陡坡度，逐步找到(局部)最小值 (最佳解 $u^*$)

這個演算法需要甚麼呢?
初始條件 $u^0$固定的跌代步長(fixed step size): $h$Steepest Descent 的跌代架構(iterative scheme) \[u^{k+1} = u^k - h \frac{ \nabla J(u^k)}{|| \nabla J(u^k)||}\]演算法停止判別機制(stopping criterion) : EX: 給定誤差 $\varepsilon>0$，檢驗 \[ ||\nabla J(u^k)|| < \varepsilon\] 那麼現在我們來解決一個問題：

為什麼此法被稱作 "最陡" 坡度? 
也就是說 為什麼Iterative scheme 中的方向 $ \nabla J(u^k)$ 被稱做是最陡(Steepest)方向??
考慮目標函數 $J: \mathbb{R}^n \rightarrow \mathbb{R}$，其在某點 $u^0 \in \mathbb{R}$ 與方向$v$ 的方向導數(Directional derivative at point $u^0$ in direction $v$)定義如下： \[
{\left. {\frac{{\partial J\left( u \right)}}{{\partial v}}} \right|_{u = {u^0}}}: = {\left[ {\nabla J({u^0})} \right]^T} \cdot \frac{v}{{\left\| v \right\|}}
\]由Cauchy-Schwarz inequality $\left| {{x^T}y} \right| \le \left\| x \right\|\left\| y \right\|$，可推得上式如下：
\[
\left| {{{\left[ {\nabla J({u^0})} \right]}^T} \cdot \frac{v}{{\left\| v \right\|}}} \rig…

今天碰巧在seminar聽了一場關於專利與發明的演講
演講者是環隆電氣的專利工程主管:

會中提到了專利與發明其實無所不在

但令我注意的是一個與物理有關的小故事
以下是我用片段的回憶結合 網路的完整版故事 修改而得:

某一年在美國的某所大學，有位教授在物理學的期末考上提出了一個問題
「試問如何利用氣壓計決定一棟大樓的高度？」



=>How to measure the attitude of a High-rise by a barometer?
(這答案其實顯而易見:各位若回憶國高中時期的理化課，應能知道當高度越高，壓力越低，故可由氣壓計來測得大樓之高度)

有一個學生的回答是：
「帶著氣壓計到大樓頂，氣壓計上綁著一條長繩，然後緩緩垂下，等氣壓計觸及地面時，這時繩子的長度即是大樓的高度。」

教授給了這位學生0分，但這位學生卻認為自己的答案完全正確，應該要得滿分才對。兩人爭論不休，最後這位教授請了該校校長來做仲裁者。這位被委任仲裁的校長是當初鼎鼎大名的核物理學之父歐尼斯特‧拉瑟福(Ernest Rutherford, 1908年諾貝獎得主)。



他先了解該名學生的情況以後與該教授討論。兩人決定給那名學生一個重考的機會。學生也同意了拉瑟福校長的看法。於是便舉行第二次的考試。

有趣的是補考的條件，拉瑟福校長要求學生再次作答的答案一定要包含物理知識，並且只給他六分鐘作答。

過了五分鐘，答案卷上還是一片空白，拉瑟福校長問這位學生是否要放棄?

那位學生卻說：「我腦子裡的答案有很多個，只是在想哪一個答案最好。」

想了又想，這位學生終於在最後一分鐘交了卷。

他這次的答案是：
「帶著氣壓計到大樓頂，接著讓氣壓計自由落下，同時用碼錶測量氣壓計掉到地面所花的時間，大樓高度等於二分之一乘以重力加速度乘以時間的平方(S=1/2*g*t^2)。」
答案完全正確，而且也用到物理知識，教授無奈的只好給他99分。 

仲裁圓滿結束後，大師好奇地問這位學生還有什麼答案。結果，那位學生又一口氣說出了五個答案：

1. 晴天時，先測量氣壓計長度，還有它陰影的長度、大樓陰影的長度，然後利用比例就可算出大樓的高度。

2. 帶著氣壓計爬上樓梯，沿著牆壁以氣壓計的高度為單位做記號，一直標記到頂樓，看有幾個標記，再乘以氣壓計高度，就是大樓高度。

4. 在氣壓計上綁著長繩，垂到接近地面，像鐘擺般搖晃，從擺差時間也可算出大樓高度。

5. 最後一個，最省事的方法，直接去…