GAN選擇sigmoid還是softmax

1樓：龔禹pangolulu

具體問題具體選擇，看你最後D是要做二分類還是多分類，最原始的GAN中D做的是二分類，所以最後用sigmoid，後面有做semi-GAN的用的是softmax。另外，無論是二分類還是多分類，損失函式其實都是交叉熵。

2樓：畢閣棣

計算機科學家的回答很粗獷 @北極鵝，抱著科學嚴謹的態度還是要說明一下。

這裡描述的似乎還是乙個簡單的min-max GAN，即Goodfellow的Adversarial Network，這個網路是兩個MLP，乙個min-max 優化問題。

原文中是用cross-entropy, specifically, binary cross entropy(BCE)。

softmax 用於multi-class classification的問題，即多類別分類；

即要分出的類別是多類的，譬如說有狗、貓、老鼠、獅子等。

BCE是single-calss classificaiton的問題，binary即二，二分類，是或者不是，有或者沒有。BCE可用於多分類問題，但是是針對multi-label classification，多標籤分類。

即要打出來多個標籤，譬如說乙個人是長頭髮、黑衣服、有墨鏡，另乙個人是黑衣服、有墨鏡，不是長頭髮。

從計算上講，

softmax's p = exp(ai) / sigma exp(ai:ak), can be treated as prob assigned on one specific class. ai is the outputs.

BCE's p = exp(ai) / (1 + exp(ai)), can be treated as prob assigned on one specific lable. （if there is only one class, BCE's p = exp(a)/(1+exp(a)).

sum(softmax's p)= 1 but sum(BCE's p) is not always 1. 這裡就是兩者的主要區別。至於後續的CE演算法，基本是相同的，只是喂進去的p的演算法不一樣。

如果你連你的問題是乙個分類問題，還是乙個貼標籤的問題，那你肯定不知道該選哪個，所以你現在理解了輸出兩個和輸出乙個的區別了嗎？

3樓：劉冬煜

推薦使用單神經元sigmoid作為輸出層，0表示fake，1表示real（或顛倒過來）。

如果使用softmax進行二分類的話，雖然看起來像二分類，但末層引數會增加一倍，常數意義上增加了訓練時間，並且增加了過擬合的可能性，得不償失。