如何理解WGAN去掉sigmoid層後判別器輸出結果的意義?

時間 2021-06-03 16:39:45

1樓:蘇劍林

wgan可以有很多解釋,有純概率的,有幾何的,有能量模型的,其重點是要理解為什麼需要L…約束,或者為什麼梯度懲罰。

能量視角下的GAN模型(一):GAN=「挖坑」+「跳坑」 - 科學空間|Scientific Spaces

在這種詮釋下,判別器事實上就是乙個坑的分布圖,描述各個位置的坑的深度,而訓練gan,就是希望生成器出來的樣本全部都掉進坑裡邊。

2樓:

GAN 其實本來應該是 min max,但在訓練中並沒有每次都把內層 D 訓到 max 再給外層 G 傳遞梯度。訓練中即使 D 不夠好,sigmoid 輸出的也能有概率的解釋。

WGAN 其實是把 true samples 和 generated samples 的差別用 Wasserstein 距離來衡量,W 距離也本來應該是 f = argmax_ 後得到的距離,當 f 不是 argmax 的時候其實 \int f(x) - f(g(z)) 不是個距離。實際中WGAN 的訓練是交替更新 f 和 g 的(這時候對 g 的更新其實並不是按正確的 W 距離應該反饋出的梯度),所以我認為在訓練未完成時 WGAN 的 f(x) 的值沒有實際的解釋,甚至都不能對應到 W 距離中的 f。當訓練完成後,理想情況下 g(z) 的分布和 x 的分布相同,這樣 f 無論是什麼都無所謂,這時候 f(x) 也不需要有什麼實際意義。

此外需要注意的是,W 距離中涉及到的是 f(x) 對 x 的分布 \mu_x 的積分(即 \int f(x) d(\mu_x) ),所以不應該對某乙個 x 對應的 f(x) 的值進行評價,而應該看一些 x 共同的結果

3樓:空島之戀

WGAN中為什麼沒有使用sigmoid,就因為sigmoid這種歸一化函式存在的缺陷,在函式兩端收斂變慢,梯度幾乎為0,這也就有了LSGAN,而在WGAN中就直接使用了這個改變,同時加入了weight clipping和gradient penalty機制。

如何去掉習氣,昇華靈魂?

順水推舟 並不需要昇華,而是要回到本源。習氣是佛教用語,也稱為 慣習力 串習力 簡單講,就是我們平日經常做某些事而形成的習慣性。比如我們經常做善事,經常幫助別人,久而久之,就會養成行善的習氣 如果我們從小就做壞事,經常小偷小摸,那長大後就會帶有偷盜的習氣。無論是善的習氣還是惡的習氣,都很難改掉,它不...

如何快速去掉體內濕氣?

馬賽克先生 1.濕氣是體內多餘的水分,因為脾運化能力差的原因造成,長時間存在於體內。2.濕氣又分為寒濕和濕熱,不同人的濕氣情況和型別是不同的,祛濕方法也不同。3.濕熱體質一般表現為舌苔黃膩,臉上容易出油長痘,容易上火,脾氣比較大。4.寒濕體質一般表現為舌苔白厚,容易犯睏疲憊,手腳冰涼等。5.祛濕的根...

如何去掉家裡的「老人味」?

盼望 噴花露水肯定沒什麼用啊,那就是用香味去遮蓋異味,香味兩三個小時消失了異味有重新出來了。不僅沒用,混合起來還容易更難聞。想要徹底祛味,還是要找到 老人味 產生根源,將臭味因子分解掉達到徹底去味的效果。那麼什麼是 老人味 它是如何產生的呢?原來人體隨著年齡的增長,新陳代謝減慢,抗氧化能力下降。人體...