為什麼GANs不適合做NLP?

時間 2021-05-09 04:54:31

1樓:

文字分類因為輸出是0-1的連續的數,所以還是可以用GANs的,參見https://

arxiv.org/abs/1805.09929

2樓:

有相關工作

NIPS 2018 Adversarial Text Generation via Feature-Mover's Distance

3樓:

因為nlp的資料太過於離散,梯度從判別器傳回到生成器會出現問題。具體細節因為不做nlp不是很懂,可以參考Ian在AAAI2019的演講,後面提問環節也有人問到這個問題

AAAI2019 invited talk,Ian Goodfellow

4樓:Bayminum

在更新生成模型(generator)時,如果按照最初GAN的架構,則需要判別模型(discriminator)來對生成的樣本進行打分,然後生成樣本與判別模型所期待的高質量樣本之間的差距作為loss,反向傳遞給生成模型,以更新生成模型的引數(一般就是神經網路的weights,bias等),使得generator下一次能夠生成更高質量的樣本,通過這樣的方法迭代之後,generator能夠生成不容易被discriminator判別的樣本。

5樓:

NLP的問題中同構現象不是很常見,而且語義資訊不好表達,上下文的影響也很大,很多high level的語義資訊就更不用說了。。。

6樓:[已重置]

因為一張貓圖如果引入一些噪音,噪點,貓的臉型變了,眼睛顏色不同,毛髮邊緣不均勻。依然不改變你認為這是乙隻貓。

而如果上面這句話,多了幾個錯別字,少了幾個動詞,參入了日語和泰國字,你還能看懂嗎?起碼你會一眼就看出來這不是人寫的。

根本原因是文字這種離散,並且高度抽象的符號串行,不適合GAN這種本質是充滿噪音並且對資料來源做高斯擬合的模型。

7樓:[已重置]

個人感覺問題在於資料本身,語言和影象本來就有區別。如果按照GAN的一般特徵,對乙個分布進行擬合或者配準,那麼對於影象,我們構造D好像相對容易,乙個特定影象域的分布好像還是有規律一些,如果是語言,那麼這個分布好像就比較複雜了,D的構造就不容易。同樣的原因,G來生成影象也相對容易,因為影象的結構化特徵比較明顯,就是用CNN可以較好提取的結構特徵,但是語言的長程相關提取出來就比較難,同樣用GAN生成符合語言的這種長程相關特徵的分布也會相應困難。

有些人只適合做朋友,不適合做戀人,更不適合做夫妻,這句話如何理解呢?

路人Z 這怎麼解釋啊,字面意思不挺清晰的嗎?每個人對於另乙個人的定位都是不一樣的,人生路途遙遠,有些人終究只是過客,三觀不一,性格不一,每個人都有每個人的抉擇標準,沒有對錯之分。 阡陌 我認為有些人只適合做朋友,比如說 1.異性緣不錯的男人,善於言談,善於交際,更容易得人心,但真心對一人未必做得到。...

「我覺得你不適合做銷售」難道我真的不適合做銷售嗎?乙個嘴笨的人適合做銷售行業嗎?

毒公子 哎呀!所有事情!沒有適不適合!只有你想不想做!要的是你想做好的決心,猶豫著想做好,還是半推半就的想做好?還是百分百想做好!還是沒有退路的一定要做好!一定要做好,那就會想盡一切辦法,腦子不停的轉著彎兒也要達到自己想要的結果。就能做好銷售。我做銷售那麼久,感觸最深的就是,不管你是什麼性格?什麼風...

什麼人不適合做科研?

這個問題改為 什麼人適合做科研比較好。因為不適合的原因各有不同,而適合的原因大都相似。這個世界,不適合做科研的人太多了,只有很少數人才能稱的上 適合 做科研。 Whirlwind 經濟條件不夠好的慎重選擇科研這條路。雖然聽起來很勢力,但現實很殘酷。在古代能夠搞科研的幾乎都是有錢人。在現代,高校擴招給...