矩陣的核範數的導數是什麼?

時間 2021-05-08 11:40:45

1樓:runtimeerror

利用以下兩點就能證明核範數的次梯度是

1.核範數是譜範數的對偶範數

2.次梯度的max rule:若f=supf_i,則f在x處的次梯度=conv,conv表示凸包,這是對finite pointwise maximum, 如果是general pointwise maximun還得取閉包

2樓:

仔細看了現有的答案, @又紅又正

@樸正歡 和題主都給出了一些形式推導, @Sleor Chen 給出了簡要思路, @蕊蕊 給出了準確答案,但是沒有推導。我這裡基於矩陣核範數的變分表示(Variational representation),對這些答案的不足和聯絡做乙個澄清,並給出乙個比較易懂的解釋。

首先需要澄清的是次微分subdifferential的概念問題。先說次梯度subgradient, 向量 稱為函式 在 處的次梯度,如果滿足次梯度不等式 。所有滿足次梯度不等式的向量 組成的集合稱之為次微分 。

注意兩點。第一,這裡次梯度和次微分的定義是對所有的函式都適用的,而不僅僅是凸函式。當然,對於非凸函式,在某些點 處,次梯度不存在,次微分為空集。

第二,由於次梯度不等式關於向量 是線性的,所以次微分是乙個凸集。題主的問題是要計算subdifferential,也就是所有的subgradient,而前述基於形式推導的方法都只能給出部分的subgradient。

要給出subdifferential的完整表示,借助核範數的變分表示更方便。首先給出乙個非常簡單的次微分引理。考慮max-type表示的凸函式 (其實就是支撐函式),這裡集合 可以是任意有界集合,離散的,連續的,非凸的都行。

將 看作是關於變數 的最大化問題的最優值,對應的解集記作 ,那麼在一定條件下,函式 在 處的subdifferential是 的凸包絡(convex hull) 。對於矩陣核範數 ,很顯然有變分表示 。所以計算矩陣核範數的subdifferential,就是分析這個最大化問題的解集及其凸包絡,這其實就是要表示所有SVD!

其答案就是 @蕊蕊 給出來的表示。由於變分表示裡關於 是線性的,這就證明了核範數是凸函式。再用剛才的次微分引理可以得到,只有在SVD分解唯一( 唯一)的時候,矩陣核範數是differential,此時唯一的subgradient就是gradient。

更進一步來說,這個問題其實涉及到核範數的變分表示問題的隱藏凸性。因為對於大多數非光滑的凸函式,完整的表示subdifferential幾乎是不可能的。核範數的變分表示問題明明是非凸問題,它的解集是非凸的,而解集的凸包絡居然是可以引數化表示的!

這背後有乙個重要的數學結論Fan』s theorem [1](懶的敲了,直接粘圖吧)

套用這個結論(k=n),可以得到對稱矩陣的核範數的變分表示問題的隱藏凸問題及其最優條件(其實就是寫變分表示問題的KKT條件),這就給出了subdifferential的表示。而更一般矩陣的核範數再用對稱矩陣等價表示一遍就可以了,詳情見[2]。

[2] Overton M L, Womersley R S.Optimality conditions and duality theory for minimizing sums of the largest eigenvalues of symmetric matrices[J]. Mathematical Programming, 1993, 62(1-3):

321-357.

3樓:樸正歡

我看沒什麼問題,如果是方陣,每一步都是正確的 (最後一步把每個分量寫出來容易驗證是正確的)

如果不是方陣,則原方法中的第一步不能成立,因為tr沒有定義,此時可以如下處理 ( T 我用更一般的 * 來表示) :

不妨先考慮 W 是 階, , 令

其中 E 是 階矩陣,第k列是第 k 個Euclidean basis vector, 此時是由W的奇異值構成的 對角陣,且有

再套用 (14) 即可得導數為

n" eeimg="1"/>的情況類似,考慮以及左乘的E即可,略去

4樓:蕊蕊

今天在Nuclear Norm Minimization via Active Subspace Selection中看到的:

矩陣對矩陣求導的意義?矩陣對矩陣的導數y dy dx,難道不能寫成y x y ,這裡是近似等於。矩陣求導哪本書上有講?

顯示公式 http www.上面的解釋在最後說,在非標準分析下也可理解成商,這個你不用管,我們只在常規下理解。下面說矩陣 矩陣求導哪本書上有講?任何一本叫矩陣論的書,由於矩陣論我也不熟,書就不推廌了,你可以問別人。矩陣對矩陣的導數y dy dx,難道不能寫成y x y 我們矩陣求導的定義是 frac...

若jacco迭代的迭代矩陣無窮範數小於1,則Gauss seidel迭代收斂?

bluain 設關於x的方程組Ax b,其中係數矩陣 我們先推導一下Jacobi迭代矩陣 令A D L U D為A的對角元矩陣 並且假設D非奇異即 L為A的下三角矩陣 U為A的上三角矩陣 於是得到Jacobi迭代矩陣 稍作變化可以得到Guass seidel迭代矩陣 顯然,若D非奇異,有 D L 非...

這個範數的不等式是什麼背景

xyor wz 這個不等式叫Hlawka s inequality,第一次見到是在Mitrinovic D.S.Analytic inequalities Springer 1970 這本書裡 p171,2.25.2 對於實數的情形可以直接用三角不等式證明,比如 注意到那麼 注意到上面不等式的對稱性...