謝宗翰的隨筆

=============
Theorem:
令 $f : \mathbb{R} \to \mathbb{R}$ 為遞增函數，則 $f$ 同時為 quasiconcave 與 quasiconvex。
=============

Proof:
考慮 $x,y \in \mathbb{R}$ 且 $\lambda \in (0,1)$，在不失一般性情況我們假設 $x>y$，則
\[
x > \lambda x + (1-\lambda)y > y
\]因為 $f$ 遞增，我們有
\[
f(x) > f( \lambda x + (1-\lambda)y) > f(y) \;\;\;\; (**)
\]由上述不等式，我們可寫
 $$
f(x) = \max\{f(x),f(y)\}
$$故由第一部分的不等式，我們有
\[
 \max\{f(x),f(y)\} > f( \lambda x + (1-\lambda)y)
\]此表明 $f$ 為 quasiconvex。

同理，由 $(**)$ 我們亦可寫下
\[
f(y) := \min\{f(x),f(y)\}
\]故由第二部分的不等式，我們有
\[
 f( \lambda x + (1-\lambda)y) >\min\{f(x),f(y)\}
\]此表明 $f$ 為 quasiconcave 至此證明完畢。$\square$

此文接續前篇對於凸函數 與 齊次函數的討論，主要是給出一些常見的結果。閱讀此文之前，建議讀者先回憶 凸性 與 齊次函數的定義，關於齊次函數以及一些相關例子，讀者可參閱 [凸分析] 凸性 與 齊次性 的關聯 (1)：一些常見例子。

以下我們首先給出 一組齊次函數的 連乘  或 連加 仍保持為 齊次函數 的條件：

================================
Theorem: Homogeneous Functions Algebra
1. 令 $f_1,...,f_m$ 為一組 定義在 convex cone $C \subset \mathbb{R}^n$ 上的 homogeneous functions，且對於 $i=1,...,m$ 而言， $f_i$ 具有 homogeneous of degree $\alpha_i$。則
\[
z(x) :=  \prod_{i=1}^m f_i(x) = f_1(x) \cdot f_2(x) \cdots f_m(x)
\]為 homogenous of degree $(\alpha_1 + ... +\alpha_m)$

2. 令 $f_1,...,f_m$ 為一組 定義在 convex cone $C \subset \mathbb{R}^n$ 上的 homogeneous functions，且對於 $i=1,...,m$ 而言， $f_i$ 具有相同 homogeneous of degree $\alpha$。則
\[z(x): = {\left( {\sum\limits_{i = 1}^m {{f_i}(x)} } \right)^\beta }\]為 homogenous of degree $(\alpha \beta)$
================================

Proof 1: 令 $x \in C$ 觀察
\[
z(tx) = \prod_{i=1}^m f_i(tx)
\]由於 $f_i$ 為 homogeneous of degree $\alpha_i$，我們有 $$f_i(tx) = t^{\alpha_i} f(x)$$ 且 $\forall t>0, i=1,2,...,m$，因此

\begin{align*}
  z(tx) &am…

Definition:  Homogenous Function of Degree Alpha
令 $C \subset \mathbb{R}^n$ 為 convex cone。我們說函數 $f: C \to \mathbb{R}$ 為  $\alpha$ 次齊次函數 (homogeneous of degree $\alpha \in \mathbb{R}$) 若下列條件成立：
對任意 $x \in C$，
\[
f(t x) = t^\alpha f(x),\;\;\; \forall t >0
\]

Comments:
1.上述 齊次函數 定義可以推廣到不是在 convex cone上而是任意向量空間，但一般做 convex cone的假設是為了 其他在凸分析上的 用途。在比較深入的凸分析教材中，可能會探討所謂 廣義凸性(generalized convexity)比如 quasi-convexity, quasi-concavity, semi-strictly quasi-convexity 等等，則此時函數定義域 需要是凸集。

2. 注意到 degree of homogeneity $\alpha \in \mathbb{R}$，意指 此 $\alpha$ 為任意實數，正數，負數，零 或者其他都可以。

3. 我們說 $f$ 為 homogenous of degree $0$ 若對任意 $x \in C$,
\[
f(tx) = f(x), \forall t>0
\]若 $f$ 為 homogenous of degree $1$ 一般稱之為 linearly homogeneous ，亦即 對任意 $x \in C$
\[
f(tx) = t f(x), \forall t>0
\] 以下我們看幾個例子：

Example 1
考慮 需求函數 (Demand Function)
\[
D(p,R) := \frac{R}{p}
\]其中 $p > 0$ 為 price of a good 且 $R>0$ 為 income，試證此函數為 homogeneous of degree 0

Proof: 令 $C :=\{(p,r): p>0, R>0\}$，則此集合為一個 convex cone，現在觀察對任意 $(…

Discrete-Time Parserval's Theorem:
令 $x[n]$ 為 取實數值的離散時間訊號; i.e., 對任意整數 $n$ 而言，
 $x[n] \in \mathbb{R}$ 且令 $X(\omega) := DTFT(x[n])$，則下列等式成立  \[\sum\limits_{n =  - \infty }^\infty  {{{\left| {x\left[ n \right]} \right|}^2} = \frac{1}{{2\pi }}\int_0^{2\pi } {{{\left| {X\left( \omega  \right)} \right|}^2}d\omega } } \]其中 $DTFT(x[n])$ 表示 對 $x[n] $ 取 離散時間傅立葉轉換 (Discrete Time Fourier Transform, DTFT)，亦即
\[
X(\omega) := \sum_{n = -\infty}^\infty x[n] e^{-j \omega n}
\]
Comments: 1. 在訊號處理或者訊號分析的領域，上述定理有可被賦予的物理意義：一般我們把 Parserval's theorem 等式左方 稱為 訊號 $x[n]$ 的 總能量 (total energy)，現在觀察右式表示對 $|X(\omega)|$ 做 $2 \pi$ 週期積分，因為 DTFT 為 $2\pi$ 週期，故右式 事實上是對所有的頻率積分等於 總能量，那麼被積分項 $|X(\omega)|$ 很自然的被稱作 頻譜密度 spectral (power) density。 2. 考慮 $x(t)$ 為訊號，則 $\sum\limits_{n =  - \infty }^\infty  {{{\left| {x\left[ n \right]} \right|}^2}} $ 稱作此訊號的 total energy 3. 數學上的觀點，上述提及的 總能量  = 自己與自己在 函數空間做 內積 。
4. 另一種數學上的觀點：若 $x[n]$ 想成向量空間的一個向量，則總能量 $$\sum\limits_{n =  - \infty }^\infty  {{{\left| {x\left[ n \right]} \rig…

在某些情況，我們可能會希望對含有 Factorial (比如說 $k!$, $k \in \mathbb{N}$) 的函數 取導數，但在求導 的過程中有些細微的部分需要多加留意。以下我們用一個例子來體現。

令 $m \in \mathbb{N}$，考慮隨機變數 $X$ 配備 Erlang 分佈
$$
F_X(x) := 1 - \sum_{k=0}^{m-1} \frac{(\lambda x)^k}{k!} e^{-\lambda x}, x>0
$$ 試證 其 機率密度函數 (Probability Density Function, pdf) $f_X$ 滿足
\[{f_X}\left( x \right) = \frac{{{{(\lambda x)}^{\left( {m - 1} \right)}}}}{{\left( {m - 1} \right)!}}\lambda {e^{ - \lambda x}}\]

(FALSE) Proof:
首先注意到分佈函數可導，故我們可利用 分佈函數的導數 為 密度函數 的性質 ($F'(x) = f(x)$)，來求得 $f_X$。現在對 $F_X$ 求導
\[\frac{d}{{dx}}{F_X}(x) =  - \sum\limits_{k = 0}^{m - 1} {\left( {\underbrace {\frac{{k{{(\lambda x)}^{k - 1}}\lambda }}{{k!}}{e^{ - \lambda x}}}_{**} + \frac{{{{(\lambda x)}^k}}}{{k!}}\left( { - \lambda } \right){e^{ - \lambda x}}} \right)} \]注意到summation的第一項 $(**)$，讀者可能會很自然地認為 $**$ 可寫成
\[\frac{{k{{(\lambda x)}^{k - 1}}\lambda }}{{k!}}{e^{ - \lambda x}} = \frac{{k{{(\lambda x)}^{k - 1}}\lambda }}{{k\left( {k - 1} \right)!}}{e^{ - \lambda x}}\]
然後試圖對 分子分母的 $k$對消。但注意到此項 是在 summ…

Theorem: 令 $X,Y$ 為 jointly continuous，
\[
\lim_{h \to 0} P((X,Y) \in A| x < X \leq x +h) = \int_{-\infty}^\infty 1_A(x,y) f_{Y|X}(y|x)dy
\]其中 $1_A(\cdot)$ 為 indicator function

Proof: 首先觀察
\begin{align*}
  P((X,Y) \in A|x < X \leqslant x + h) &= \frac{{P(\left\{ {(X,Y) \in A} \right\},\left\{ {x < X \leqslant x + h} \right\})}}{{P(x < X \leqslant x + h)}} \hfill \\
   &= \frac{{P(\left\{ {\left( {X,Y} \right) \in A} \right\} \cap \left\{ {X \in \left( {x,x + h} \right]} \right\})}}{{P(x < X \leqslant x + h)}} \hfill \\
   &= \frac{{P(\left\{ {\left( {X,Y} \right) \in A} \right\} \cap \left\{ {\left( {X,Y} \right) \in \left( {x,x + h} \right] \times \mathbb{R}} \right\})}}{{P(x < X \leqslant x + h)}} \hfill \\
   &= \frac{{P(\left( {X,Y} \right) \in A \cap \left\{ {\left( {x,x + h} \right] \times \mathbb{R}} \right\})}}{{P(x < X \leqslant x + h)}} \hfill \\
   &= \frac{{\iint\limits_{A \cap \left\{ {\left( {x,x + h} \right] \times \mathbb{R}} \rig…

若 $X$ 是連續隨機變數，則其累積機率分配(cumulative distribution function, cdf)
\[
F_X(x) := P(X \leq x) = \int_{-\infty}^x f_X(t) dt
\]為 (對 $x$ ) 連續函數，故單點機率測度 $P(X=x) =0$。但若我們考慮條件機率的情況事情會變得稍微有點棘手，因為假設我們引入第二個連續隨機變數 $Y$且假設 $X,Y$ 為 jointly continuous，現在我們想計算 $P(Y \in C| X=x)$，由條件機率定義可知
\[
P(Y \in C| X=x) = \frac{P(X=x,Y=c)}{P(X=x)}
\]但此時我們發現因為 $P(X=x) =0$，分母是$ 0$。對於這種情況我們該怎麼對 連續隨機機變數定義其條件機率？或者更簡單的說，該怎麼計算(或者定義)$P(Y \in C| X=x)$?


要計算 $P(Y \in C| X=x)$，我們首先考慮
\[
\lim_{h \to 0} P(Y \in C| x<X\leq x + h)
\]對任意 $h>0$而言，上述條件機率可寫成
\[P(Y \in C|x < X \leqslant x + h) = \frac{{P(Y \in C,x < X \leqslant x + h)}}{{P(x < X \leqslant x + h)}}\]注意到分子部分等價為
\[P(Y \in C,x < X \leqslant x + h) = P\left( {\left( {X,Y} \right) \in \left( {x,x + h} \right] \times C} \right)\]若 $X,Y$ 為 jointly continuous，則
\begin{align*}
  P(Y \in C|x < X \leqslant x + h) &= \frac{{P(Y \in C,x < X \leqslant x + h)}}{{P(x < X \leqslant x + h)}} \hfill \\
   &= \frac{{\int_x^{x + h} {\int_C^{} {{f_{XY}}\left( {t…