gan的判別器到底加不加normalization,還是說根據特定任務再確定加不加呢?

時間 2021-05-12 06:25:58

1樓:「已登出」

個人認為首要的乙個標準是你的GAN是基於哪種理論訓練的,例如是vanilla GAN還是WGAN。

目前經常被用在GAN中的歸一化方式有Batch Normalization(BN),Instance Normalization(IN),Spectral Normalization(SN)等。它們既可以被用在discriminator中,也可以被引入到generator中。

基於WGAN的GAN不使用BN的原因是因為在其理論基礎中,Wasserstein distance的近似要求discriminator滿足Lipschitz連續性,具體表現為discriminator的梯度應當被限定在一定的數值範圍內,原始WGAN的weight clip也正是要解決這一問題,只不過WGAN-GP中被換成了稍微優雅一點的gradient penalty。而BN中的歸一化操作可能破壞判別器的Lipschitz連續性,所以不用BN。而SN是適合用在WGAN中的discriminator裡的,如果你了解其原理的話應該知道這一方法正是為了更優雅地使D滿足Lipschitz連續性。

事實上近來GAN中BN用的少了的原因還有:1.如果batch size太小的話BN容易跑偏;2.

生成過程中使用BN會使不同樣本之間在風格、內容上產生影響,這是BN的計算方式使然。IN的計算方式就是通過在只在HW兩個維度內做normalize來解決第二個問題。

另一方面,如果是在vanilla GAN這類loss形式下,BN、IN都是可以被用在D中的,推薦試試後者。SN應該也可以用,可能會使訓練更加穩定。

訓練好的GAN判別器是否能直接用於二分類?

會程式設計的木盆子 我覺得你的意思是不是,單類別檢測?gan處理的應該是單類別。如果你的兩個類分布均衡,正常的分類網路比較好,如果是異常檢測,本質是單類別,可以使用gan 木頭 不能,兩者的目標根本不一致。SVM或者二分類神經網路,是訓練乙個判別器來判別正例和反例兩種樣本,輸出1 0表示正例 反例。...

肯德基的飲料為什麼預設加冰,而不是預設不加冰。?

電臀小柯基 因為麥當勞和肯德基有互通性這裡還是給你說一下。飲料中加冰,一般都是根據自身的業務內容制定標準的。因為食品行業說到底,源頭的理念不可能是節約成本,節約成本是順帶做的。食品說到底是被吃,吃就好味道和口感等因素。所以麥當勞準確的規定了飲料的最佳飲用溫度 品質合格的冰塊的性狀 吸管的粗細 杯子的...

電箱琴和原聲加拾音器到底哪個更好?

夏天 我先蹲坑,回頭有空再回答 1.選擇琴和選擇拾音器一樣重要 2.吉他的配置,音色和自己口袋有非常直接的關係 3.但是拾音器一定不是最貴最好,適合才絕佳。拾音器是根據您玩結他的風格選擇的,比如彈唱就可以不用打板功能 如果指彈就必須加入打板功能。而且指彈還有根據彈琴的風格,是彈歐美的還是東方的?而選...