softmax如何作用與多標籤分類?

時間 2021-05-06 11:40:51

1樓:Jinghao Zhou

話說最近有很多任務作比如circle loss、DR loss顯式或隱式地從metric learning做ranking的角度來推廣softmax函式,這種理解最早在N-pair loss/lifted-structued loss出現為

其中第三個連等參考運用了對 和 這兩個函式的光滑. 同時, 按照這個回答的思路上面兩篇實際上是進行了對softmax到multi-positive形式的推廣,即

這個公式出現在DR loss原文的公式(6), 同時參考這個回答也解釋了circle loss本質上就是這個公式; 式中 、 常見於metric learning中,在分類任務中可選擇省略來進一步簡化.

在有了softmax的multi-positive的形式之後,我們能夠避免N個二分類任務存在的類別不平衡的問題.針對多分類任務,這篇文章提到了通過新增乙個基類來實現自動確定閾值來解決輸出類別不固定的問題.另外這篇文章的作者一開始從組合數學來改進softmax的方向也非常值得一讀.

2樓:GavinZhou

multi label classification, 現成實現的話,caffe中可以用sigmoid_cross_entropy,tf中可以用sigmoid_cross_entropy_with_logits,一般是fc之後加,作為損失函式;更一般的可以看看另外乙個回答:多標籤(multi-label)資料的學習問題,常用的分類器或者分類策略有哪些?

3樓:劉洪磊

這個問題有乙個名字叫multi-label classification, 一般方法是對每個label的輸出用sigmoid,然後用binary cross entropy作loss function.

4樓:AAAAAAAAA

只用sigmoid,不加softmax,把輸出(0到1之間)理解為概率。對每個節點的輸出求二類分類的交叉熵,再對所有節點求和,作為損失函式。

至於「如何判定為1」,簡單的可以直接設定閾值(比如0.5),或者分類別設定不同的閾值或再進個分類器之類的吧

5樓:王贇 Maigo

前兩天剛做過類似的問題。我的方法是:

在訓練時,把cross-entropy損失函式中「目標類的概率」,換成「所有目標類的概率之和」;

在測試時,只要概率最大的類是目標類之一,就算正確。

當然,這只是一種權宜之計。如果你想要真正的可以輸出多個標籤的分類器,最好是把softmax拆成許多個sigmoid。

如何看待《征服與霸業》的多文明題材?

製作人子末 第乙個焦點,SLG在多文明故事背景設定的優劣的問題。這個大可放心。我們在設計這款遊戲時,堅定地認為,不同文明的設定只有差異之分,沒有優劣一說。文明之間的差異來自於不同的時代背景的兵種 建築風格 服飾等,以及選擇不同文明會有各自的專屬BUFF,各有優勢,沒有優劣可言。大家可以選擇自己鍾愛的...

如何看待基因對人體的作用,以及人生而平等與基因優劣的關係?

Nothing 基因是人與生俱來的生命資訊,決定著人的生老病死,然而基因隨環境的改變是滯後的。環境改變以後,基因不可能馬上就跟著改變。這也是非常合理的,如果環境一改變基因就改變的話。那麼基因就會變來變去,失去了遺傳的穩定性。基因沒有優劣。現在看來對人有優勢的基因,在過去或者未來都可能失去優勢。比如鐮...

如何看待多啦a夢與EVA雙料同人《大雄的人類補完計畫》?

鳴鴻 以下涉及劇透,不過劇透似乎也沒什麼。大雄 開EVA了,好開 哆啦A夢!哆啦a夢 變成EVA了,摸魚摸魚 靜香 所以,女主是哆啦A夢嗎?胖虎 什麼時候變成沒中獎的去送死了 小夫 我爸爸的熟人在NERV工作 加持 沒錯就是我 碇真嗣 不自閉了,摸魚 明日香 八嘎,真的是個八嘎,全都是八嘎 屬性被克...