L Softmax loss 與 A Softmax loss到底有什麼不一樣??

時間 2021-05-05 17:33:25

1樓:Thaurun

A Softmax更有幾何可解釋性,詳細見個人部落格:https://www.

。簡答如下:

A-Softmax與L-Softmax的最大區別在於A-Softmax的權重歸一化了,而L-Softmax則沒的。A-Softmax權重的歸一化導致特徵上的點對映到單位超球面上,而L-Softmax則不沒有這個限制,這個特性使得兩者在幾何的解釋上是不一樣的。如圖10所示,如果在訓練時兩個類別的特徵輸入在同乙個區域時,如下圖10所示。

A-Softmax只能從角度上分度這兩個類別,也就是說它僅從方向上區分類,分類的結果如圖11所示;而L-Softmax,不僅可以從角度上區別兩個類,還能從權重的模(長度)上區別這兩個類,分類的結果如圖12所示。在資料集合大小固定的條件下,L-Softmax能有兩個方法分類,訓練可能沒有使得它在角度與長度方向都分離,導致它的精確可能不如A-Softmax。

圖10:類別1與類別2對映到特徵空間發生了區域的重疊圖11:A-Softmax分類可能的結果

圖12:L-Softmax分類可能的結果

考研與德勤與CPA

有關係VIP進四大不是分分鐘的事嗎?既然都VIP了,自己又想去德勤,考研無非也就是給自己乙個考CPA的時間吧。三年研究生讀出來第一年基本工資就比本科高300塊,個人感覺本科能去就沒必要拖到研究生了,而且你VIP,我就不信小黑會有敢delay你的。匿了。 我在銀行工作,推薦你去德勤,辛苦了還有結果,銀...

與自己對話 反思與行動

高效人生手冊 人唯一完整擁有,可以完全控制的東西,只有自己!包括自我的身體,意志和行為。我們要承認自己的孤獨,容易走極端。往大處看容易陷入無力,虛無感,人存在沒有意義,到頭來一場空,何必努力。往小處看,盡是芝麻綠豆小事,索然無味,陷入如此平凡之生活中,有何樂趣。所以每個人都會不自覺地尋找存在感,找到...

電子與通訊 資訊與通訊?

Marie 在我的學校 重慶郵電大學 這只是專碩和學碩的區別。在研究生階段,二者只有畢業要求不同和學碩可以讀博的區別。具體做什麼方向只與導師的方向有關。 yan li 乙個偏硬體,乙個偏軟體,搞電子的可以去搞電路,半導體,晶元,搞資訊的可以了解信源編碼,加密解密,協議信令,至於樓上說需要好老師的,我...