1樓:哈哈哈哈哈
SVM(支援向量機)使用的是替代損失函式(如hinge損失,指數損失等)。而不是說SVM使用的損失函式只有合頁損失函式。看下面很多人所SVM損失函式不是合頁損失的話就不是SVM了,還有很多人f附和說是的,很疑惑。
2樓:
提一下hinge loss怎麼來的吧(感覺挺trivial的但好像沒人提到過)
soft margin SVM的inequality constraints可以寫成
這玩意兒是凸的strong duality成立,KKT條件充要
largrangian
對 求導
帶入L就有
所以我們只需要optimize這個目標函式就行了
然後其實還不是很理解有些教程是從0-1 loss性質不好推出來要用hinge loss,個人覺得這樣從primal problem根據KKT條件得到hinge loss更加自然
看到jordan以前的課件裡面也提到了hinge loss的形式和primal problem是等價的,然後反手談了一波換loss的問題,比如說換成log logistic loss那這就變成lr了,這就是高讚那句換成其他loss就不是SVM了...但這也不是因為loss不行才換hinge loss啊
所以有大佬解釋一下svm和0-1 loss是什麼關係嗎...難道說soft margin svm最初的形式跟0-1 loss有關嗎...
在網上找到乙個更簡單的解釋
這個課件 的15-16頁
3樓:Slumbers
Hinge Loss中文名叫合頁損失函式,因為它的影象是這樣的:
很像一本開啟的書吧!於是就是合頁了。
hinge-loss的公式是:
0 &0.z\leq0 &end \right. \end \\ " eeimg="1"/>
第一項是損失,第二項是正則化項。這個公式就是說 大於1時loss為0, 否則loss為 。對比感知機的損失函式 來說,hinge loss不僅要分類正確,而且置信度足夠高的時候,損失才為0,對學習有更高的要求。
對比一下感知機損失和hinge loss的影象,明顯Hinge loss更加嚴格
如下圖中,點 被分類正確了,但是它的損失不是0。其實這個道理和SVM中的Margin是一樣的,不僅要分類正確,還要使得Margin最大化,所以說hinge loss的另外一種解釋。(關於SVM的具體推導,可以看這篇一文搞懂支援向量機(SVM)演算法)
《統計學習方法》
4樓:十九
hinge loss
這個概念的理解我覺得可以看下圖
hinge loss
這個函式max(0,1-t)就被叫做hinge loss, 確實像之前的回答說的像乙個合頁。
當t>=1 時,函式為0,
當t<1 時,函式斜率為-1, 當t>1時,函式斜率為0.
在t= 0 這個點函式不可導,但就像是lasso regression,你仍舊可以用gradient descent using any subdrivative at t = 1(例如在數值為-1 和0 的時候)
它可以實現online kernelized SVMs,比如說Incremental and Decremental SVM Learning ,
Fast Kernel Classifiers with Online and Active Learning
不過這些也可以用matlab和C++實現。
5樓:風生水起
要結合SVM的間隔來理解。Hinge-loss的公式中的 可以認為是間隔,,(想象下圖y=wx+b的分割線左側)就認為不屬於同種分類,那麼不必理會,對Loss無貢獻。如果屬於同種分類,就對Loss有貢獻,把偏差做累積計算。
6樓:檀畫
初次答題。
1. 實現了軟間隔分類(這個Loss函式都可以做到)2. 保持了支援向量機解的稀疏性換用其他的Loss函式的話,SVM就不再是SVM了。
正是因為HingeLoss的零區域對應的正是非支援向量的普通樣本,從而所有的普通樣本都不參與最終超平面的決定,這才是支援向量機最大的優勢所在,對訓練樣本數目的依賴大大減少,而且提高了訓練效率。
7樓:
看圖Hinge Loss
from PRML
The Hinge Loss E(z) = max(0,1-z) is plotted in blue,
the Log Loss in red,
the Square Loss in green and the misclassification error in black.
怎麼樣理解這位男生的行為?
熊在 對不起,可能我要說的是你女朋友的問題。這個男生是不是很渣,很差勁,很sb。其實和你都沒太大關係。但是問題在於你女朋友好像並不介意。每乙個人而言,聊天的對方有沒有喜歡你,是不是在和你搞曖昧,你其實是大概能感覺到的。不管你願意不願意接收,以及你女朋友想不想承認。當她知道對方在曖昧,而又不拒絕時候,...
中幣怎麼樣?
莫莫陌陌 不要去中幣,平台太差勁了,我去年11月在中幣買的fil滿存雲算力,到後面產量還沒得我其他平台買的未封裝的雲算力產幣正常,乙個星期我的質押幣不見增加,問客服,直接給你發個fil經濟模型,什麼都不解決,後面直接斷開聊天。 陽洛 作為幣圈老友我覺得我還是有資格回答這個問題的,中幣成立7年了,這7...
中業網校怎麼樣??
宮二 坑的很,我就報名了,裡面的班主任各個覺得自己要不得完了,講義一直不給我快遞,我問了幾次直接不耐煩了,喊我換老師,還說書快不快遞和他們沒關係,你覺得這樣的機構能好在哪兒? 三鹿 同學在中業,報的網課,網課感覺質量都差不多就不說了。問題是我乙個小白,感覺學不會,壓力大。我那個班主任說讓我公升級課程...