Claim:
令 A∈Rm×n,且 λ>0 則以下等式成立
(ATA+λI)−1AT=AT(AAT+λI)−1
Proof: 觀察 ATAAT+λAT 可對其從左方或者右方提出 AT,亦即
AT(AAT+λI)=(ATA+λI)AT由於 (AAT+λI) 為可逆,(AAT+λI)−1存在,故對上式兩邊從右方同乘此項可得
AT=(ATA+λI)AT(AAT+λI)−1又注意到 (ATA+λI) 為可逆,(ATA+λI)−1存在,對上式從左方同乘此項可得
(ATA+λI)−1AT=AT(AAT+λI)−1至此證明完畢。◻
Comments:
上述結果多出現於一類稱作 Tikhonov Regularization (或者有拘束的最小二乘方問題)問題之中:亦即令 A∈Rm×n 且 x,y∈Rn,λ>0考慮
minx‖Ax−y‖22+λ‖x‖22則不難證明上述最佳化問題之解為
x=(ATA+λI)−1ATy=AT(AAT+λI)−1y上述第二等式成立因為 前述 claim。故我們在實際計算反矩陣時,可以決定到底要用 哪一個 inverse來加速計算速度,比如 A∈R5000×100 那麼 (ATA+λI)−1 要求對 100×100 矩陣做 反矩陣,但是 (AAT+λI)−1 卻需要對 5000×5000大小的矩陣來作反矩陣。計算速度上會相差甚遠。
If you can’t solve a problem, then there is an easier problem you can solve: find it. -George Polya
訂閱:
張貼留言 (Atom)
[人工智慧] 本地端 DeepSeek R1 快速安裝:以 Macbook Pro M4 Chip為例
最近火熱的 DeepSeek R1 模型由於採用了 distill 技術,可以大幅降低計算成本,使得一般人有機會在自家筆電上跑性能逼近 Open AI ChatGPT o1的大語言模型。本文簡單介紹一步安裝在 Macbook Pro 的方法以及使用方法,以下測試採用 Macboo...
-
數學上的 if and only if ( 此文不討論邏輯學中的 if and only if,只討論數學上的 if and only if。) 中文翻譯叫做 若且唯若 (or 當且僅當) , 記得當初剛接觸這個詞彙的時候,我是完全不明白到底是甚麼意思,查了翻譯也是愛...
-
這次要介紹的是數學上一個重要的概念: Norm: 一般翻譯成 範數 (在英語中 norm 有規範的意思,比如我們說normalization就是把某種東西/物品/事件 做 正規化,也就是加上規範使其正常化),不過個人認為其實翻譯成 範數 也是看不懂的...這邊建議把 No...
-
半導體中的電流是由電子(electron)及電洞(hole)兩種載子(carrier)移動所產生 載子移動的方式: 擴散(diffusion) ⇒ 擴散電流 (不受外力電場作用) 飄移(drift) ⇒ 飄移電流 (受外...
沒有留言:
張貼留言