1樓：空谷幽蘭
我的理解是，batch normalize層之後並不一定就是標準正態分佈，它只是「希望」資料被規範到標準正態分佈，不一定能做到。
從灰度直方圖也能看出，除了正態分佈，也沒有其他分布能更接近地描述自然影象了（雖然自然影象也不是很服從正態分佈），卷積的引數初始化一般是正態初始或者均勻初始，二者的點乘結果一般也比較接近正態分佈。我做過一些實驗，觀察每個卷積的輸出分布，基本符合。比如下面這個
明顯有不是正態分佈，左邊還有一點點凸起，但是也沒有其他更合適的分布來描述了。
這樣的資料分布經過batch normalize層之後也接近標準正態分佈，訓練更好進行。
梯度下降的訓練本來就是粗精度的，或者說深度學習本身就是精度要求不高，所以不需要資料完全服從什麼分布，比較接近合適的分布就能滿足要求。
此外，batch normalize層之後還要乘學習的係數，加學習的偏置，所以這個角度說也不是標準正態分佈。
這也是為什麼很多人建議把BN放在relu前面，這是因為如果relu在前面，其輸出可能不再接近正態分佈了，使用BN的效果會打折扣。
28原則背後的原理是正態分佈麼？
已登出 1897年，義大利經濟學者巴萊多偶然注意到19世紀英中國人的財富和收益模式。在調查取樣中，發現大部分的財富流向了少數人手裡。同時，他還從早期的資料中發現，在其他的國家，都發現有這種微妙關係一再出現，而且在數學上呈現出一種穩定的關係。於是，帕累託從大量具體的事實中發現 社會上20 的人占有80...
標準正態分佈是怎麼轉換過去的？
這個課本上沒有講清楚，詳細的推導過程如下。對於正態分佈 其概率密度函式為 那麼，變數 小於 的概率為 令 則 而 再做變數替換 得到 發現，服從標準正態分佈，概率密度函式為 遠方來的豬的主 cosx.org 2013 01 story of normal distribution 1 結論是 百年研...
一系列正態分佈的最大值，max X1, ,Xn ，是什麼分布？
在independent的情況下分布可以用order statistics的性質求出來。當n很大的時候統計問題關注的是max X1.Xn 的期望有多大 如果Xi的期望是0，方差是1，那麼n個正態分佈隨機變數的最大值期望近似於sqrt 2 log n 以及tail probability衰減得有多快 ...