GAN的discriminator,與同樣結構的神經網路比,會有更好的效能嗎?

時間 2021-05-05 17:36:30

1樓:浪湧心靜

我覺得有可能,理由如下:

首先需要明確何為「更好效能」。以分類為例,若用GAN來做分類,將Discriminator設計為乙個分類的CNN,不僅能夠判別輸入的樣本的真偽,還能夠判別其類別,那麼效能更好可以從分類精度的角度間描述。注意,GAN在訓練結束後將捨棄生成器,僅用分類器CNN來完成分類。

假設採用相同結構的CNN來分類,於是,本帖所提的問題就可以轉化為對同乙個CNN的訓練方法的比較問題,一種是常規訓練方法,而另一種則是對抗訓練方法,看誰更好?

常規訓練方法僅利用已有的真實樣本,而對抗訓練方法不僅利用已有真實樣本,還同時利用生成器G產生的「虛假樣本」。由於G是為了盡可能地學習到真實樣本的分布,理論上若真實樣本集數量足夠,那麼G生成的樣本作用不大,但實際中真實樣本數量通常是有限的,它只能是各目標類別的真實分布的取樣,而G在訓練過程中可以產生近似真實分布且與已有真實樣本不同的其他樣本,從而增加訓練樣本的多樣性,或者理解為真實分布的其他取樣點,這些樣本應該有利於CNN的訓練。

這實際上也可以從資料增強的角度來理解這個問題。在CNN的訓練中,可以通過對訓練樣本進行旋轉、平移、剪下和縮放等變換增加樣本資料的多樣性,將變換後的影象與原影象資料集組合來訓練CNN,就可以得到效能更好的網路。類似的,GAN產生的「虛假樣本」也可以豐富訓練樣本影象資料集,增加資料的多樣性,從而有可能幫助提公升CNN的訓練質量。

2樓:鋼鐵直男

先說結論,理論上不能提高accuracy。

discriminator的作用只是幫助訓練。假設generative和discriminator的capacity無限大,最終discriminator會收斂到 這個函式(參考goodfellow 14年提出GAN的那篇文章)。也就是說,理論上discriminator最終會收斂到乙個constant function。

3樓:收手吧阿祖

看你怎麼看待「更好的效能」了。我覺得如果是說最常見的拿去做識別分類的話,discriminator肯定是不比普通cnn的,因為畢竟discriminator的objective是更好地判斷真偽(當然也有像ACGAN這種也許還能判別目標類別)。至於提取到的特徵嘛,可以視覺化一下和普通cnn做做對比,倒是個不錯的實驗。

看著前幾位答主思路都很正,再囉嗦就都是廢話了~~

4樓:小賴sqLai

效能上肯定不會的,然而作為pretrain model用於finetune,或許有額外效果。

考慮到gan模型其實更關注local feature而非泛化性的,用於fine grained task或許有提公升,基於這個思路往下做,可能會是乙個比較有意思的unsupervised feature extract machine。回頭可以去跑跑實驗,突然覺得倒也是個蠻有意思的point。

5樓:漫遊奇境

對於普通的GAN,它只判別樣本來自真實資料還是生成資料,不能做傳統意義上的分類。

GAN的目的是生成與訓練樣本同分布的資料,所以訓練GAN的時候,我們需要的生成器,判別器是輔助訓練生成器的。

GAN選擇sigmoid還是softmax

龔禹pangolulu 具體問題具體選擇,看你最後D是要做二分類還是多分類,最原始的GAN中D做的是二分類,所以最後用sigmoid,後面有做semi GAN的用的是softmax。另外,無論是二分類還是多分類,損失函式其實都是交叉熵。 畢閣棣 計算機科學家的回答很粗獷 北極鵝,抱著科學嚴謹的態度還...

強化學習的Actor Critic 與 Gan 的區別和聯絡是什麼?

runtimeerror 我從優化的角度說下個人理解的一點區別。Actor Critic可以寫成是求解乙個bilevel optimization problem,GAN可以寫成是乙個minimax optimization problem,而minimax optimization problem...

gan的判別器到底加不加normalization,還是說根據特定任務再確定加不加呢?

已登出 個人認為首要的乙個標準是你的GAN是基於哪種理論訓練的,例如是vanilla GAN還是WGAN。目前經常被用在GAN中的歸一化方式有Batch Normalization BN Instance Normalization IN Spectral Normalization SN 等。它們...