人們是如何想到奇異值分解的?

時間 2021-05-07 07:32:41

1樓:JohnnyLee

給一些民科的幾何意義的思考。

我不是專家,理解得也不深,既然被點名了,就有禮貌地回覆一下。在此,我就分享一種我理解問題的思維。

if x is not zero, then A' has linearly dependent columns, which means A' is not full rank and |A'|=0 換而言之, 就是我們要求解的是滿足 的所有 。

那麼問題就是1式的意義。我一般的思維是從學代數從幾何意義上印證,學幾何往代數上思考。關於1式的幾何意義,我一般是先看看等式左邊表示什麼幾何的動態過程,再看看等式右邊的動態過程。

有很多種幾何的意義(當然學得越深,幾何意義就看得更透徹,我這裡的幾何意義是很淺的一些理解,希望指正),在這裡我覺得比較合適的是: 通過了矩陣這個系統之後的輸出,那麼 這個系統是如何定義的呢?因為時間比較有限,這個問題在這裡就先不展開了。

姑且將 這個矩陣看成乙個系統,這個系統可以輸入維度為 的向量,輸出維度也為n的向量。一般而言,對於系統是任意的,但等式1卻將系統限制到了某一類具體特性的線性系統。

這個系統被定義具有這樣一類性質的系統(我自己杜撰的性質定義,千萬別當成課本): 存在乙個非0向量,其通過系統後的輸出效果是對原輸入向量的拉伸(而非旋轉等其他複雜幾何變換)。

然後給定乙個矩陣,也就相當於給定乙個線性系統,基於上面的理解,我們的eigen vector的求解就是在看那些向量(確切的說是方向)可以達到輸入系統後僅僅是拉伸的效果,而矩陣分解求解奇異值的過程,就是在看那些拉伸引數。

淺薄理解,由於我將人生規劃改為了創業,人生的研究方向從微觀轉為巨集觀,所以也沒有時間去接觸更底層的實分析和泛函分析了,這也是我留下的一些遺憾,那些在這些課程和領域有所建樹的朋友相信一定可以給出非常客觀而且易懂的答案。

2樓:豬了個去

如果方陣對某個向量只產生伸縮,而不產生旋轉效果,那麼這個向量就稱為矩陣的特徵向量,伸縮的比例就是對應的特徵值

特徵值分解的A矩陣是對稱陣,可以將一組正交基對映到另一組正交基!那麼對任意m×n的矩陣,能否找到一組正交基使得經過它變換後還是正交基

找到正交基的過程,就是SVD

來自:漫談奇異值分解

如何證明奇異值分解SVD?

ZH.Li 引理 首先介紹如下結論與定理,其為SVD證明的基礎 1 設 0 eeimg 1 則 為Hermite矩陣 半正定矩陣 其特徵值均為非負實數。證明 為列向量,則 為列向量各元素平方求和,其很大於等於0 故為半正定矩陣,其特徵值均為非負實數。2 證明過程參考 矩陣乘以矩陣的轉置為什麼秩不變?...

奇異值分解(SVD)有哪些很厲害的應用?

分享我們的work LadaBERT,使用將SVD剪枝和權重剪枝復合的方式進行模型壓縮,取得更高的壓縮比和不錯的加速比。 Changkai Zhang 這個問題下基本上都是 CS 相關的回答,我來提乙個 SVD 在量子資訊領域的應用。可能很多人一時間很難想象,SVD 是我們分析量子系統裡量子糾纏的重...

泰勒公式最初是如何想到的

遠方的風 感覺這個博主說的很好了。淺顯易懂 泰勒展開式 SoHardToNamed的部落格 CSDN部落格 最後這句笑死我 餘敬民 大家說會不會是泰勒看到拉格朗日中值公式之後在後面隨著規律多寫了幾項發現的,他的誤差剛好就是最後一項。剛開始寫出來發現是這麼回事,但不知道怎麼證明,知道後來柯西的出現?有...