LSTM網路裡面的mask具體實現過程是什麼呀?

時間 2021-05-29 22:43:36

1樓:千里

Mask就如它的字面意思,是遮蔽掉輸入。從LSTM的角度來說讓cell看不見這個輸入。正常的LSTM cell有3個輸入(input, h_t-1, c_t-1), 3個輸出(output, h, c)。

這裡x_t-1是指時序的上一步。在被mask的情況下output可以設為0,h = h_t-1, c = c_t-1。並且被mask的情況下,cell的輸出不產生gradient。

在Keras裡,被mask的output會被設成output_t-1,具體的原因是在LSTM(return_sequence=False)的情況下,我們可以更方便的在最後乙個timestep上拿到有效的結果,而不是0。如果return_sequence=True的話,使用者也可以用output * mask來拿到mask後的結果。

具體的code可以在這裡找到

2樓:

lstm裡的mask是針對batchsize≠1的情況,在同乙個batch裡,要求輸入長度相同,於是就長度不足的sequence就補上乙個mask value,於是同乙個batch裡的sequence的長度相同,但是補上mask value的位置,在計算backward的時候會被忽略掉,使得他在模型每次update的時候不影響模型的引數。如果要自己實現乙個lstm,可以在對應mask的位置的output和其對應的label都置為0,這部分將不再產生grad。

LSTM網路引數計算

GIKE 我就簡單簡單分享,我背書沒有太多的技巧的,主要還是多背多看,然後沒事多想想,一些問答題搞清楚其中的邏輯關係因果關係會更好背 曾同學 考研政治我不知道你說的是背肖四任四等等押題卷的大題還是說的政治裡面的一些知識點。當你背押題卷的大題知識點的時候可以找重點詞,自己畫出一二三,然後重複敘述的時候...

i want to walk 裡面的 to walk是名詞還是副詞修飾want?

凱恩德 你好。to walk 既不是名詞,也不是副詞哈。它是不定式做 want 想要 的賓語,即,不定式做賓語,這是乙個語法點。如何知道它是 want 的賓語呢?咱就對謂語want 想要 發問吧 want 什麼?這個 什麼 就是賓語,所以,to walk 就是賓語啦。再看哈 He hopes to ...

Person of Interest裡面的root為什麼這麼愛shaw?

沈杕 肖像機械人,根妹是不是因為這個喜歡她?B站補劇時的彈幕 第三季,具體哪一集我忘了,營救乙個綠卡俄羅斯小蘿莉,幻想自己是國際間諜的。和肖一起逃跑的時候小心的戳了肖一下,以為肖是機械人。不過讓我來說的話,根對肖,算不上愛?其實我比起根肖更喜歡根機感覺她們互動好甜哦,咳。如果要說愛的話,應該是根對機...