1樓：你好我叫做石宗宇
二範數是不可微的吧在零點
二範數的平方是可微的
這樣如果V是凸的可以用樓上的ADMM求解
如果V不是凸的但是他的梯度是Lipshtiz連續的你可以也是寫成樓上那樣的形式
然後用Proximal Gradient Method來求解這個方法還有對應的加速方法如果你的可微函式的性質夠好的話可以用它來求解應該比較方便
2樓：幼清
如果在機器學習中，這個就是乙個很經典的模型。乙個學習函式加上乙個L1正則項，稀疏又魯棒。下面的約束可以化簡成乙個矩陣形式。
我看上面的回答好像是先用乙個類似於拉格朗日乘子的演算法將約束提上去，然後梯度下降。
其實有很多文章是類似這個公式的。不是梯度下降法，而是自己設計乙個迭代演算法求解。
3樓：
既然 通常是2-範數我就假設它是凸的了。以下抄寫自 Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers 3.1節。
由於 是線性的，我直接把約束寫成 。先把問題改寫為其中 ， 是 indicator function：裡面條件成立時取0，否則取 。得 ADMM update：
其中 0" eeimg="1"/>。第一行用 projected gradient descent 求解：先拋開 函式進行梯度下降（此時目標函式是凸函式），然後投影到（凸）集合 上。
第二行的 是soft-thresholding：。
目標函式中同時使用多個L1和L2正則化項的情況，應該怎麼求解？
cs kite 我把L1範數優化的理解分為三重境界 第一境界 記住結論 到這裡就已經完了，下面都是解釋 第二境界 知道上面的proximal mamping的如何推導出結論的分段函式 介紹一下上面的prox對映 proximal對映是關於函式h的乙個對映 熊辰炎 最通用的就搞sub gradient...
神經網路是使用什麼如何處理帶L1正則化的損失函式的？
David 9 L0正則是更激進的正則 定向Dropout和L0正則，for.ai與Hinton老爺子的神經網路蒸餾 剪枝與量化新研究，稀疏化神經網路，控制引數間互資訊 2prime 似乎沒有人意識到用L1正則項在深度學習是保證不了稀疏的對於神經網路 這裡 是relu 我現在要在第二層 用l1正則項...
l1正則與l2正則的特點是什麼，各有什麼優勢？
L2 和 L1 採用不同的方式降低權重 L2 會降低權重的平方。L1 會降低 權重 因此，L2 和 L1 具有不同的導數 L2 的導數為 2 權重。L1 的導數為 k 乙個常數，其值與權重無關 你可以將 L2 的導數的作用理解為每次移除權重的 x 對於任意數字，即使按每次減去 x 的幅度執行數十億次...