1樓：金宇
因為有個恒等對映。在訓練的時候，如果梯度變化會讓誤差變大，那麼就不會傳播梯度了。
到最後，其實真正在傳播梯度的也就那麼幾層，和淺層網路一樣。
2樓：童明
增加了層數，其實引數增加並不多，像最早的alexnet，由於有兩個full connected層，引數比googlenet還多
3樓：xingyi
"因為residual networks實際上沒有那麼多層，其實residual networks 並沒有通過儲存梯度資訊流在整個深層次（100多層）的網路中來解決梯度瀰散的問題，而是通過對一些相對短小的網路做了ensemble，所以光看深寬度還沒用，還有個新的維度，multiplicity－the size of the implicity ensemble。"
為什麼深度學習不使用牛頓法或擬牛頓法優化？
荀令留香 牛頓法和擬牛頓法還是太理想化了，基本上停留在理論層面。每次都要算乙個Hessian陣再做乙個矩陣乘法，計算複雜度太高。實際上目前深度神經網路演算法的收斂性本身就是沒有很好的理論保證的，用深度神經網路只是因為它在實際應用上有較好的效果，但在深度神經網路上用梯度下降法是不是能收斂，收斂到的是不...
為什麼要用深度學習deep learning做自然語言處理NLP？
已登出 順便一說什麼資訊檢索和圖表式學習都是可以用深度學習的那些才是真的離散 大部分這種離散資料最後都有embedding的過程embedding的方式很多有用矩陣分解的 也有用word2vec node2vec還有很多很多blabla2vec的方法 之後再deeplearning 表示學習了解一下...
為什麼目前的深度學習 Deep Learning 只是比較成功運用到影象 語音上？
尋常巷陌 在振動訊號上也是比較成功的。深度殘差收縮網路就能夠很好地從含噪振動資料中提取有用特徵，用於機械故障診斷。其實，在很大程度上，問題在於大部分企業不公開裝置監測資料。Minghang Zhao,Shisheng Zhong,Xuyun Fu,Baoping Tang,and Michael P...