batch norm中可不可以在測試中使用測試集的方差和平均數?

時間 2021-06-05 00:11:51

1樓:Lighthouse

按道理是可以的,實際是不可以的。這是因為:

了解BN的同學應該都知道BN的效果與batchsize的大小十分相關,batchsize越大,BN的效果越好。一般來說,batchsize要大於8,BN計算的均值或方差才會具有代表性意義,效能才令人滿意,小於8後,BN的效能會逐漸下降。

好了,現在回答問題,測試的時候BN直接使用測試集的方差和平均數,會導致,batchsize不同,模型的測試效果也不相同。batchsize越大,且和訓練的batchsize接近,模型的效果好,而反之,模型的效果差。這是不是有點怪異。

因為測試就是評測模型的效能,而模型的效能竟然不一致,和引數的設定相關。另外,在實際應用中,訓練和測試不一定在同一臺機器上。用來訓練的機器效能一般要好一點,可以設定更高的batchsize,以提公升效能,而測試的機器效能要低一點,以節約成本。

如果測試的時候BN直接使用測試集的方差和平均數,就必須保證測試的機器效能要和訓練的機器保持一致,這就降低了模型的實用性。

我們可不可以不再爭吵?我們可不可以是朋友?阿公尺和L?

雖然這個例子似乎不太恰當,但是我覺得可以模擬紅藍看一看。當初兩家撕的天昏地暗,現在不也是起碼表面化和平的親如一家嘛,等著吧,等到下乙個大勢出來了 很希望有這一天.但是目前應該不可能吧.髒事兩家都做過,可能也只有等到沒有利益衝突的時候才會停止戰爭,但是感覺朋友甚麼的還是不太可能.沒有利益衝突了就是你走...

14可不可以化妝?

夜航 可以。但沒必要。其實不管在什麼年齡段,只要你思想足夠成熟,能夠負擔得了自己行為的後果,那就都可以。所謂的能承擔後果就是,現在14歲的你,是否有能力承擔化妝帶來的費用。中間因為化妝而出現問題,是否能夠面對和解決。另一方面,我想告訴你。豆蔻年華的美,人生只有一次。 祁伊 可以畫,愛美之心人皆有之,...

CaBrCl可不可以存在

Espilce 從熱力學以及晶體結構的角度分析的話,前面的大佬已經解釋過了.但是有一類類似的物質,我們一般稱其為多鹵化物,有些多鹵化物是可以含有多種鹵素離子的,比如二氯碘鉀 KICl2 不過這類多鹵化物中的不同鹵素一般具有不同的價態,如上式中碘為正一價,氯為負一價,故像CaBrCl這種兩種鹵素都為負...