1樓：曹佳鑫
先來看張圖
乙個簡單的神經網路
如果權值初始化是相等的（這句話的意思是hidden layer的每一列上的神經元引數都一致），那麼在BackPropagation的時候，每個神經元獲得的update都是一致的，那麼更新後的神經元的權重還是一致的，就導致了網路進入了對稱狀態，所謂對稱就是相對於某層hidden layer來講，其中的所有neural都是一模一樣的，這樣我們的網路就不能學到更多的特徵了（假想我們的CNN的深層有512個hidden unit，如果這512個單元的值都是一樣的，不是白學了麼。）
當然如果加上Dropout層應該可以打破對稱性。
2樓：風翼冰舟
權值相等，那麼每個神經元輸出都一樣，反向梯度也一樣，這就沒意思了，還有乙個好玩的問題是為什麼權重不能初始化為零？和這個問題答案差不多，面試常問
3樓：Justin ho
這主要是訓練效率的問題，初始化權值全相同會導致網路不訓練，BP過程需要不斷更新權重，但如果初始狀態下權值都相同的話，同一層的神經元更新的幅度都是一樣的，這不就變成了乙個只有乙個神經元的網路？
神經網路中隱層有確切的含義嗎？
令狐arfmaof 產品渣剛好看nlp的書到這塊，有點懵，自己強行解釋130 120 250 360 110.兩者表示的意義是一樣的，但是表達的方式不太一樣。數學解釋是可以把這些數字分別換成兩組引數。看到這裡，原來真的不是演算法忽悠我，而是演算法真的是玄學啊。感覺羅博士說的最好哈。 已登出 大部分來...
現在神經網路中的每一層的啟用函式為什麼都是一樣的？
ZhH Tan 首先根據萬能逼近定理，有界的連續啟用函式 不包括Relu 是能夠任意逼近連續函式的，這個性質有時候被稱為一致性。Relu本身是分段線性函式，也具有一致性。換言之，在給定的節點足夠多的情況下用什麼啟用函式都是一樣的。但是實際使用的節點都是有限的，這個時候我們考慮免費午餐的問題。由於不知...
卷積神經網路中，那個卷積輸出層的通道數 深度 的計算？
小心心 Fig.1影象卷積過程gif 關於這個問題，可能剛接觸卷積神經網路對這個都會有很多誤解。今天就來大體一說，根據從 笑可結緣https 那裡得到的圖 侵刪 一般我們的影象在輸入的時候是有通道的，例如黑白影象是單通道的 input channel 1 rgb是3通道的 如Fig.1所示，inpu...