神經網路中的SIGMOID函式的意義？

1樓：胡免

根據最大熵模型得來。

具體推導可以看《統計學習方法》83-85頁。

參考：https://

blog.csdn.net/zynash2/article/details/79261039

2樓：張揚

舉個例子：

有個唱歌比賽，評委們有些是歌手的親戚，有些是歌手的仇人。

遇到親人，狂打高分；遇到仇人，狂打低分。

咋辦？去掉最高分和最低分，這樣更公正一些。

S函式，就是去掉極端分數用的。

3樓：熊醬

sigmoid is the cumulative distribution function (c.d.f) of logistic distribution

4樓：豬了個去

sigmoid是有意義的，由單層RBM網路的能量定義其中的w即隱含層的權值

同時的聯合概率為

，聯合概率分布

最後就是個sigmoid(wx+b)

QED參考文獻

[1].Restricted Boltzmann Machines (RBM)

[2]. 知乎使用者：神經網路中的能量函式是如何定義的？

5樓：Cheese

首先要明白神經網激勵函式或者說啟用函式的作用，啟用函式是將神經元經過計算後的輸出對映到乙個範圍內（通常是（0，1）），以方便計算或者得出概率。理想狀態下，將值對映為0和1，因為「1」對應神經元興奮，「0」對應神經元抑制。但是這樣無法計算梯度或者求導，所以需要用連續函式。

剛好sigmoid滿足以上的條件。

對了，sigmoid的中文意思就是S形，因其函式形狀似S形而得名。而simoid函式還有個名字是logistic分布函式，所以說為什麼logistic回歸要用到sigmoid函式，因為他們本來就是指同乙個意思，這點我在不了解之前也差點搞混了，順便寫出來提醒一下可能也搞混的朋友

6樓：Scilence

除了以上作者們的回答，我覺得用sigmoid函式來表示輸出值得概率是因為他真的很像高斯累計分布函式，如下圖。而符合高斯分布的隨機變數的概率就是高斯累計分布的值，所以sigmoid也可以近似來表示概率，用以指導輸出類標的可能性大小。

7樓：

哪有那麼多玄乎的東西，不過是乙個兩頭平中間陡，值域是0到1，關於0,1/2對稱的函式罷了。就乙個經驗的東西，你選arctanx也一樣用

8樓：張金超

我覺得可以從無窮級數的角度去理解，指數函式的無窮級數是各種分量的高階組合。sigmoid中有指數項，且導數形式好，值域也好。