深度學習中,在測試是到底能不能做barch normlization和dropout?

時間 2022-01-12 02:23:20

1樓:驚龍嘯雨

Dropout在訓練的時候,如果以概率 丟棄每個神經元,則在測試的時候,要將神經元和權重矩陣相乘之後的結果乘以 。

Batch Normalization在測試時要保留。值得注意的一種情況是,測試的時候常常不是以batch的形式輸入樣本的,而是單個樣本輸入的形式,此時沒法用測試資料來計算出均值和標準差。一種可行的方法是:

在訓練期間用指數加權平均動態追蹤最新的均值和標準差,然後測試的時候就用它們。

2樓:

第一,batch normalization,單詞拼寫有錯誤第二,測試時可以用bn,不過需要訓練集樣本的均值和方差第三,測試時dropout的keep_prob設定為1,就是不使用dropout,相當於做網路整合,效果會變好

嗯,就醬

3樓:大師兄

BN在測試的時候需要,因為BN相當於在那一層做了一次歸一化,所以為了保證測試過程和訓練過程的一致性,BN需要保留

Dropout在測試的時候要去掉,因為Dropout的本質是每個batch訓練乙個完整網路的子網,然後測試的時候使用這些網路的整合,所以必須要去掉。

4樓:bright

batch normalization可以用在影象中,效果就是加快訓練速度。

如果要用在文字等離散問題上用layer normalization:它作用於乙個x,而不是batch上。

dropout可以用來防止過擬合。在你的任務上有沒有效果,試了在知道。

深度學習能不能學會乘法?

蠡測 就 學習乘法 來說,我之前等訓練的時候試過lstm算加法,大概幾百個例子能學會個位數的加法,但是對於兩位數的加法,即使用幾千上萬的例子也會在 89 9 這種要進製的計算上出錯 myx,找時間試試lstm搞乘法計算看看 Genome 這個問題其實算已經基本解決了 這種形式內容的學習需要符號化或基...

到底做不成戀人能不能做朋友?

靜思軒 應該不能吧。這種事情因人而異,在感情的世界裡,有的人海枯石爛,有的人海闊天空。不過有點心疼一直愛著的那一位,一生很短,找乙個能兩情相悅的人才不負此生呀。 商周琴 做朋友只要不覺得尷尬都OK啊 只要你看著他和新的人秀恩愛,偶爾出去玩碰到了被介紹說是前任 那你就作啊 但是我認為身為人,就有一股佔...

建築設計這麼苦,那到底還能不能做了?

風姿 其實主要是你熱不熱愛,我在找做的施工,土木工程畢業,想入設計一行真的好難呀,投了很多簡歷,都沒有進入設計行業,不知道是考研究生呢還是如何去怎麼學習建築設計 不知道哪有沒有大神指導一下的 生活的夢想 如果二十來歲的話,家裡沒錢沒有背景,建議出國工作。在國內想轉行業,其他行業也是會讓你絕望的,畢竟...