1樓：木子
簡單來說，就是做segmentation時，記憶體消耗較大，每個GPU上放的batch很少，需要4個或8個以上的GPU同步訓練。但是訓練過程中，大部分的DL框架對兩個GPU之間的通訊支援得並不好，導致BatchNorm的mean/variance都是在第乙個GPU下的examples算出來的。
4個examples（在乙個GPU裡）算出來的mean/variance和16個examples（4個GPU同步）算出來的mean/variance效果是不一樣的，examples越多，越接近真實的均值和方差。而PSPNet，尤其在最後新增的池化部分，每個branch都有個BN層，對batch size非常敏感；mean/variance算出來與真實的均值方差差別很大的話，效果就不好。
@張航 在PyTorch和MXNet下實現了sync BN，encoding.nn - Encoding master documentation和zhanghang1989/MXNet-Gluon-SyncBN。
另外這有個在Tensorflow下的實現方案，https://
，並復現了以原生的ResNet下的PSPNet。
請各位前輩評價一下我的作品，有什麼不妥之處
瀉藥看完花了一些時間。首先要說寫得好，寫作是乙個反饋很慢的事情，磨人心，但磨人心的才是好字，有好字我們的文學才有希望，為什麼說好？因為你敢，敢寫就是好，寫是一切好書 好文 好字的源頭。人說有志者事竟成，那成事即為人意亦為天意。誌者多，而成者少。而今寫作這條路上的人少了，只得憶往昔，亦嘆息了，所以今天...
關於專公升本的問題，請各位前輩幫忙一下十分感謝？
以天津為例 本地戶口可以報考多次，外地戶口只有一次機會。1.文理 文科是語文 英語 計算機 專業課。單科成績150 專業課200 理科是數學 英語 計算機 專業課。單科成績150 專業課200 2。難度。基本沒有難度，就看你對語文和數學的感覺，數學好就選理科，語文好就選文科。因為其它都一樣，只有考過...
各位大哥請指導一下我投籃
優秀答主守護者 兄弟，你這是利拉德式的投籃啊！下乙個讀秒殺手就是你啊。問題就是身體往前飛。先立定不動投，然後再練豎直向上跳，然後再加上投籃。多看看利拉德，你倆真的挺像。 先申明答主只是乙個高中生，從高一開始練球，現在在班裡大概能排top3。野球場中上水平那種 普通高中高三的野球場 現在沒怎麼練球，高...