1樓：Monstarxtt
理論上講深度學習是通過稀疏自編碼求得有用特徵向量之後輸入網路中的。但目前這種非監督學習方法效能不夠好，所以像cnn這種深度學習方法其實也是通過分類監督學習的，優化方法跟普通神經網路差不多。無非網路比較大而已。
資料充足的情況下網路越大最終結果越好這一點也沒啥辯駁的。網路雖然很大但用bp後發現結果還不錯，所以也就這樣優化了。至於梯度擴散之類的問題肯定仍然存在的，解決方法主要通過四種途徑，增加資料量，，drop out(hilton真的是厲害)，L1，L2等
都在路上，繼續前進！
2樓：
梯度會衰減，誤差強度會乘上權重向後傳播，權重有的會越來越小，導致強度衰減，同是不是CNN沒關係。
實際上，最終效果好壞不單純由優化好壞，梯度強弱決定，還有模型表示能力，特徵提取等因素有關。另外資料+標籤多後，梯度導向性強，以至於你說到的深度學習方法（我猜是指基於無監督概率最大化那套初始化方案），那種早期的深度學習計算方法代價有點太大，提公升有限。
3樓：
1. 好的啟用函式 relu 一類
2. 進化版本的sgd
3. bn
4. dropout
5. 想起來了再補充
---這個世界在進步啊。
卷積神經網路和BP神經網路的關係？
乙個維度的BP神經網路就相當於CNN中的全連線了，無非是多幾個全連線，CNN是二維，二維如果搞成全連線就導致運算量巨大，所以有了權重共享，大大減少了運算量，CNN卷積的思想肯定也源於BP神經網路就，在影象上做二維卷積的CNN發出炫目的光芒下，BP神經網路就已經快被人們遺忘了，但是不管CNN再怎麼發展...
什麼是卷積神經網路？
弗拉基公尺爾 神經網路可以理解為多元線性回歸。卷積神經網路可以理解為矩陣形式的多元線性回歸。不知道這樣理解對不對。那就這樣說應該不會有錯 卷積是乙個提取特徵的函式. 憤怒的葡萄 不請自來 首先artificial NNs的目的就是他們能夠被用作乙個任意函式逼近的方式，CNN也是一樣。CNN就是在原有...
卷積神經網路訓練影象的時候，畫素值都是大於0的，那麼啟用函式relu還有什麼作用呢？
小布丁 大家的問答真的寫的挺好的，讓人看了很清晰 總結如下 雖然畫素點的值全為正，但是要經過卷積，卷積核的值可能有負的，最終卷積得到乙個小於0的結果 卷積之後的值要經過BatchNorm層，這個層在歸一化的選擇上也可能會導致出現負值 所以需要做ReLu的線性變換。 Woolsey Relu是 啟用函...