1樓：ZH.Li
引理：
首先介紹如下結論與定理，其為SVD證明的基礎：
（1）設 0)" eeimg="1"/>，則 為Hermite矩陣（半正定矩陣），其特徵值均為非負實數。
證明：( 為列向量，則 為列向量各元素平方求和，其很大於等於0)，故為半正定矩陣，其特徵值均為非負實數。
（2）證明過程參考：
矩陣乘以矩陣的轉置為什麼秩不變？（從向量空間的角度能否分析一下）？
（3）設 ，則 的充分必要條件是
證明：充分性： ;
必要性：
對於 (4)設 ，則存在酉矩陣 ,及 階正線上\下三角矩陣 \ ，使得 。即任意矩陣左乘右乘特定酉矩陣可以上三角或下三角化。
（5）設 為 階對稱陣，則必有正交陣 ，使 ，其中 是以 的 個特徵值為對角元的對角陣。即對稱陣可對角化。
（6）設 0)" eeimg="1"/>，則 的特徵值為 \lambda_=...=\lambda_n=0" eeimg="1"/>(由（1）知)，則稱 為 的奇異值；當 為零矩陣時，它的奇異值均為0。
SVD分解：
設 0)" eeimg="1"/>，則存在 階酉矩陣 （正交矩陣, ）和 階酉矩陣 ，使得
其中 , 為矩陣 的全部非零奇異值。
SVD證明：
由（1）（6），記Hermite 矩陣 的特徵值為 \lambda_=...=\lambda_n=0" eeimg="1"/>。
又因為 為對稱陣，由（5）知，存在 階酉矩陣 ,使得
其中， 為 的對角陣， 。
考慮將 分塊為 其中
則有即又因為 , （ 為對角陣）
故 令 ，則 ，故 為正交矩陣，記為 。我們可以將 擴充為 的標準正交基，記增添的向量為 ，並構造正交矩陣 ,則有
為 階酉矩陣，且有
故：因此有：證畢。
奇異值分解（SVD）有哪些很厲害的應用？
分享我們的work LadaBERT，使用將SVD剪枝和權重剪枝復合的方式進行模型壓縮，取得更高的壓縮比和不錯的加速比。 Changkai Zhang 這個問題下基本上都是 CS 相關的回答，我來提乙個 SVD 在量子資訊領域的應用。可能很多人一時間很難想象，SVD 是我們分析量子系統裡量子糾纏的重...
人們是如何想到奇異值分解的？
JohnnyLee 給一些民科的幾何意義的思考。我不是專家，理解得也不深，既然被點名了，就有禮貌地回覆一下。在此，我就分享一種我理解問題的思維。if x is not zero,then A has linearly dependent columns,which means A is not fu...
如何用python實現SVD分解呢？
將陣列按第一行從大到小排序 order lambdaA A.T np.argsort A.T 0 T 補齊列空間的單位正交基 add null lambdaU np.row stack U T,scipy linalg null space U T T T defsvd A m,n A.shape ...