怎麼樣理解SVM中的hinge loss?

時間 2021-05-06 09:09:31

1樓:哈哈哈哈哈

SVM(支援向量機)使用的是替代損失函式(如hinge損失,指數損失等)。而不是說SVM使用的損失函式只有合頁損失函式。看下面很多人所SVM損失函式不是合頁損失的話就不是SVM了,還有很多人f附和說是的,很疑惑。

2樓:

提一下hinge loss怎麼來的吧(感覺挺trivial的但好像沒人提到過)

soft margin SVM的inequality constraints可以寫成

這玩意兒是凸的strong duality成立,KKT條件充要

largrangian

對 求導

帶入L就有

所以我們只需要optimize這個目標函式就行了

然後其實還不是很理解有些教程是從0-1 loss性質不好推出來要用hinge loss,個人覺得這樣從primal problem根據KKT條件得到hinge loss更加自然

看到jordan以前的課件裡面也提到了hinge loss的形式和primal problem是等價的,然後反手談了一波換loss的問題,比如說換成log logistic loss那這就變成lr了,這就是高讚那句換成其他loss就不是SVM了...但這也不是因為loss不行才換hinge loss啊

所以有大佬解釋一下svm和0-1 loss是什麼關係嗎...難道說soft margin svm最初的形式跟0-1 loss有關嗎...

在網上找到乙個更簡單的解釋

這個課件 的15-16頁

3樓:Slumbers

Hinge Loss中文名叫合頁損失函式,因為它的影象是這樣的:

很像一本開啟的書吧!於是就是合頁了。

hinge-loss的公式是:

0 &0.z\leq0 &end \right. \end \\ " eeimg="1"/>

第一項是損失,第二項是正則化項。這個公式就是說 大於1時loss為0, 否則loss為 。對比感知機的損失函式 來說,hinge loss不僅要分類正確,而且置信度足夠高的時候,損失才為0,對學習有更高的要求。

對比一下感知機損失和hinge loss的影象,明顯Hinge loss更加嚴格

如下圖中,點 被分類正確了,但是它的損失不是0。其實這個道理和SVM中的Margin是一樣的,不僅要分類正確,還要使得Margin最大化,所以說hinge loss的另外一種解釋。(關於SVM的具體推導,可以看這篇一文搞懂支援向量機(SVM)演算法)

《統計學習方法》

4樓:十九

hinge loss

這個概念的理解我覺得可以看下圖

hinge loss

這個函式max(0,1-t)就被叫做hinge loss, 確實像之前的回答說的像乙個合頁。

當t>=1 時,函式為0,

當t<1 時,函式斜率為-1, 當t>1時,函式斜率為0.

在t= 0 這個點函式不可導,但就像是lasso regression,你仍舊可以用gradient descent using any subdrivative at t = 1(例如在數值為-1 和0 的時候)

它可以實現online kernelized SVMs,比如說Incremental and Decremental SVM Learning ,

Fast Kernel Classifiers with Online and Active Learning

不過這些也可以用matlab和C++實現。

5樓:風生水起

要結合SVM的間隔來理解。Hinge-loss的公式中的 可以認為是間隔,,(想象下圖y=wx+b的分割線左側)就認為不屬於同種分類,那麼不必理會,對Loss無貢獻。如果屬於同種分類,就對Loss有貢獻,把偏差做累積計算。

6樓:檀畫

初次答題。

1. 實現了軟間隔分類(這個Loss函式都可以做到)2. 保持了支援向量機解的稀疏性換用其他的Loss函式的話,SVM就不再是SVM了。

正是因為HingeLoss的零區域對應的正是非支援向量的普通樣本,從而所有的普通樣本都不參與最終超平面的決定,這才是支援向量機最大的優勢所在,對訓練樣本數目的依賴大大減少,而且提高了訓練效率。

7樓:

看圖Hinge Loss

from PRML

The Hinge Loss E(z) = max(0,1-z) is plotted in blue,

the Log Loss in red,

the Square Loss in green and the misclassification error in black.

怎麼樣理解這位男生的行為?

熊在 對不起,可能我要說的是你女朋友的問題。這個男生是不是很渣,很差勁,很sb。其實和你都沒太大關係。但是問題在於你女朋友好像並不介意。每乙個人而言,聊天的對方有沒有喜歡你,是不是在和你搞曖昧,你其實是大概能感覺到的。不管你願意不願意接收,以及你女朋友想不想承認。當她知道對方在曖昧,而又不拒絕時候,...

中幣怎麼樣?

莫莫陌陌 不要去中幣,平台太差勁了,我去年11月在中幣買的fil滿存雲算力,到後面產量還沒得我其他平台買的未封裝的雲算力產幣正常,乙個星期我的質押幣不見增加,問客服,直接給你發個fil經濟模型,什麼都不解決,後面直接斷開聊天。 陽洛 作為幣圈老友我覺得我還是有資格回答這個問題的,中幣成立7年了,這7...

中業網校怎麼樣??

宮二 坑的很,我就報名了,裡面的班主任各個覺得自己要不得完了,講義一直不給我快遞,我問了幾次直接不耐煩了,喊我換老師,還說書快不快遞和他們沒關係,你覺得這樣的機構能好在哪兒? 三鹿 同學在中業,報的網課,網課感覺質量都差不多就不說了。問題是我乙個小白,感覺學不會,壓力大。我那個班主任說讓我公升級課程...