1樓：
拿LeNet試一下, 發現亂改對結果影響不大.
摘抄:淺層的寬度很重要, 一般不少於24. (但早期的LeNet只有6)
模型加深還可能出現的一些問題是, 導致某些淺層的學習能力下降，限制了深層網路的學習，這也是跳層連線等結構能夠發揮作用的很重要的因素。
2樓：
讀了 @柯均堂 的回答深有感觸剛好晚上閒著立刻動手做了個小實驗實驗很簡單擬合一維方程乙個double exp 的形式第乙個網路一層 5個hidden
第二個網路四層 2 2 2 2
第三個網路 5 5 5 5
實驗結果第乙個網路 RMSE 穩定0.1
第二個網路初始化的不同 RMSE 90%概率 0.3 10% 0.06
第三個網路初始化的不同 RMSE 90%概率 0.06 10% 0.3
驗證了深度決定擬合的能力寬度決定的區域性最優是全域性最優的概率深度代表了函式的表示能力，寬度關聯了優化的難易（找到全域性最優）程度。
3樓：
深度和寬度沒有絕對的意義，二者是合作競爭的關係，針對乙個目標問題，寬度和深度是要進行恰當的協調來達成最佳。
如果把深度網路看作乙個資訊處理系統，看作乙個程式，那麼無論是寬而淺，還是深而窄的網路，理論上都可以完成任務，只要其複雜度足夠高就可以，簡單說，不就是乙個並行處理乙個序列處理麼。但是，我們的目標是尋找最優化的程式或者演算法，而這個程式或演算法就必然要調整寬度和深度以達成最優。
同樣，深度學習中的深度網路也是如此，我們關心的應該是最優化組合，從這個意義上，過淺或者過深的都不是最佳網路。
如果勉強要對深度和寬度賦予物理含義，那麼大致上可以認為，深度對應演算法複雜度，寬度對應問題的充分統計量的維度，這有點靠近資訊瓶頸的思想了，但是資訊瓶頸本質上還是在考慮複雜度問題。更物理一點，寬度可以認為是面積，深度和寬度的乘積是體積，當然深度就是長度。這個影象簡單看起來很直觀，似乎沒有意義，但是這真的是和物理世界的面積和體積密切相關的，不展開了。
4樓：
這個概念最早從MLP來的，寬度是每一層的feature數，深度是feature提取階段數。總體來說增加寬度和深度效果是差不多的，都能增強模型的表達能力。但是，對於淺層網路，在增加同樣parameter數的時候，擴寬網路比加深網路更容易訓練，regulization更簡單。
而對於深層網路，加深總是比擴寬的accuracy更高。而且，GPU由於是高度並行化運算，更寬的網路比更深的網路更容易利用GPU，因此訓練速度會更快（更深的網路因為需要加入更多regulization來stabilize training，速度可能會進一步受影響）。
如何看待將開源的深度學習網路模型拿去申請專利
Ivlianvs 1，這是沒授權的，只是專利申請，不是專利。2，當然可能拿到授權，不是審查員漏過去了，就是正常授權。因為專利的保護範圍取決於權利要求，就算申請時獨權已經被現有技術公開，也可以修改後以更小的範圍授權。3，就算因為審查員沒有發現對比檔案，以很大的範圍授權了，那也無非是專利權人多花點專利維...
深度學習網路如CNN如何處理一維訊號？可以直接將訊號作為輸入嗎？還是必須得轉換為二維影象訊號才可以？
星辰大海 深度學習演算法 包括CNN 肯定可以直接處理一維訊號。舉個例子，深度殘差收縮網路，就是用於處理一維振動訊號的一種深度學習方法，可以作為參考。它的網路結構如下圖所示 深度殘差收縮網路其實是深度殘差網路 ResNet 的新型改進，將軟閾值化作為非線性層引入ResNet的網路結構之中，其目的是提...
新人，有個問題是為什麼不把深度學習網路整合起來，比如把幾個resnet整合在一起。望各位大佬指教！
RyeP 模型整合本身確實沒什麼創新點，但做預訓練模型知識融合，還是很有趣的。Amalgamating Filtered Knowledge Learning Task customized Student from Multi task Teachers 當然可以，具體原因前排幾個都說了。你甚至可...