1樓：老杜
softmax就是soft版本的max，理解了soft的含義就理解softmax了。
什麼叫soft版本？我們先看看普通的max，以及普通max hard在什麼地方。
比如說三個數x=[-2,1,5]，求max(x),小學生都會，答案是5，很簡單.如果以向量的方式表達這個對映關係，也可以表示成max(x)=[被丟棄,被丟棄,5]，這是乙個贏者通吃的過程，勝者保留，輸的徹底被丟棄。我們說的hard就hard在這個地方。
這個hard本身沒什麼毛病，但用在梯度下降演算法裡就產生了乙個最大的問題：不可導。因此我們就想辦法改進max讓它既可導又能起到max類似的作用。
soft版本的結果就是，對於那些不是最大的，我不是完全丟棄，而是通過exp讓這些數之間的距離拉開，那些負數和小數變得很接近0，那些大數，讓它變得更大，從而與那些不夠大的數拉開距離。然後再通過歸一化，將最大的數變成乙個接近1的數。
希望下圖的示例有助於理解soft的作用。
如何通俗簡單地理解 Inbound Marketing 和 Outbound Marketing
吳嘉陽 簡單一句話，以客戶需求的強烈程度分 主動營銷 inbound marketing 使用者需求相對較高，使用者主動索取產品相關資訊 和被動營銷 outbound marketing 使用者需求相對較低，被動被強推來索取產品資訊 劉延飛 Inbound marketing會慢慢成為marketi...
如何最簡單 通俗地理解C 的結構體？
小王同學在積累 一 筆記 二 筆記目錄 結構體屬於使用者自定義的資料型別，允許使用者儲存不同的資料型別。語法 struct 結構體名 通過結構體建立變數的方式有三種 1 struct 結構體名變數名 2 struct 結構體名變數名 3 定義結構體時順便建立變數 結構體變數利用點.訪問成員 incl...
如何最簡單 通俗地理解C 的deque容器？
小王同學在積累 一 筆記 二 筆記目錄 deque與vector區別 deque內部工作原理 1.deque內部有個中控器，維護每段緩衝區中的內容，緩衝區中存放真實資料。2.中控器維護的是每個緩衝區的位址，使得使用deque時像一片連續的記憶體空間。deque容器的迭代器也是支援隨機訪問的。功能描述...