變分自編碼器的重建損失為什麼有人用交叉熵損失 有人用平方差

時間 2021-06-07 03:04:09

1樓:Taffy lll

一般來說,p(x|z)的選取和x的取值空間是密切相關的: 如果x是二值影象,這個概率一般用伯努利分布,而伯努利分布的對數似然就是binary cross entropy,可以調各大DL庫里的BCE函式;如果x是彩色/灰度影象,這個概率取高斯分布,那麼高斯分布的對數似然就是平方差。

2樓:

看到這題,半夜臨時複習了一下VAE...

才疏學淺之前完全不知道VAE還能用平方差損失.. 上面這篇也沒有提到,但是其它部分講的很清楚(

至於這個問題是為什麼,下面這篇好像有提到

張俊:再談變分自編碼器VAE:從貝葉斯觀點出發

其實是對不同的p_

[i.e. 生成網路模型, 或者貝葉斯語境下的likelihood,這裡注意第第二篇文章的用的對應符號是q(x|z)]

用不同分布引數化的結果。用伯努利分布引數化得到交叉熵,用正太分布得到平方差。

拋磚引玉,說得不對請大佬們指正,本文科生真是太南了(光速逃

受限制玻爾茲曼機 RBM 以及自編碼器 Autoencoder

斜槓青年姬十一 文藝女青年認為的優點 1,留過學。不會賺錢留過學有啥用?2,會鋼琴。不會賺錢會鋼琴有啥用?3,碩士學歷。不會賺錢碩士學歷有啥用?4,會四門外語。不會賺錢會四門外語有啥用?去字幕組嗎?5,善良有孝心。又不是對我父母有孝心,是對你自己父母有孝心。6,比較顧家。比較顧自己父母家,不是顧你和...

變分自編碼為何迫使p z x 等於標準正態分佈?就是約束項中的kl散度?

MANTIC k L 散度衡量的是兩個函式之間的距離,這個距離指的是相似度,之所以設定標準正態分佈無非是設定為正態分佈比較好取值,模型能夠得到簡化,你設定成別的正態分佈也可以。 接 李斌 的回答,猜測下除了保證方差為1,為什麼要均值為0?正文 僅猜測,其實就是為了共享引數。VAE的本質是,對於乙個樣...

在沒有編碼器的情況下變頻器如何檢測電機的實時轉速?

轉子磁場定向 關於變頻器,我還是可以說說的。在沒有編碼器的情況下,也就是變頻器常說的電壓 頻率 V F模式,即Volts Hertz模式,或者無感向量控制SVC模式,即Sensorless Vector Control,有感就是VC模式,即Vector Control。上述的無感,有感都是指位置感測...