1樓：akkaze-鄭安坤
highway在訓練深層網路上其實才是第乙個，比較失敗（當然也需要後人定奪）就兩點，沒有去imagenet上跑一把，不夠簡潔（其實lstm也不夠簡潔）。從形式上看，resnet都只能算highway的簡化版本。
更新一下，highway裡面用了sigmoid，一是來自於lstm二是作者想得到乙個0到1之間的數，可惜的是sigmiod層數一多收斂性就會很差，如果當初作者放棄執念，不需要0到1 的範圍，然後用relu去替代sigmoid會怎麼樣，很有意思的問題，可以實驗一下。
2樓：[已重置]
Highway比ResNet上更一般化，但是正是因為這種一般化，導致其結構沒有ResNet清晰，特別是在應用到具體問題上，比如影象處理上，對資料結構的適配力就會不如ResNet。直觀的看，Highway的問題解搜尋空間比ResNet更大，空間結構更複雜（實際上二者表示的空間應該是一樣的，但是Highway的表達方式過於複雜，效率不高），所以具體問題上的實用效果會不及ResNet. ResNet在結構上是很漂亮的，有很多優勢，更容易找到最優解。
3樓：軒轅十四
他們都是乙個東西哦！
殘差網路就是在「highway」或者「shortcut」理念上提出的。
highway應該是一種設計理念，除了ResNet上，LSTM上也有highway
地鐵遲遲沒有全面覆蓋穩定高速的網路服務，個中原因有哪些？
Tong 瀉藥，不太懂，個人感覺是地鐵列車執行時手機在合各訊號基站之間切換的結果，可以明顯看到手機訊號在E,H,4G之間切換，基站切換的時候訊號肯定會有中斷了。 嶺陽 地鐵wifi 不好覆蓋的 移動網用漏纜覆蓋，但是當高峰期的時候多少人擠在乙個車廂網路流量太大。運營商對於老線路不好優化 小孩 不請自...
如果5g網路出來會帶動什麼產業高速發展？
巧克力威化 隨著5G時代的到來，通訊 電子元器件 終端應用等領域的全產業鏈會進一步的公升級，並得到更多的投資機會，除參與前期驗證試驗的華為等技術龍頭外，更多的A股公司也開始紛紛布局5G帶來的產業機遇，萬億級的市場發展空間值得期待。通訊主裝置商 通訊主裝置商是5G無線網路的整合環節，也是5G投資的中心...
Polo 和飛度 那個跑高速更好？
咚咚咚 這種小排量的車子跑高速我覺得動力是最應該考慮的，噪音和避震最多是讓你不舒服一點而已，超車和爬坡才是最累人的，尤其是爬坡後面車還一直逼逼的時候，這是我跑高速的感受，開過小排量上高速的應該感受會比較深刻 DOHC 其實兩者都差不多，客觀的講只是FIT的方向盤偏賊，主觀感覺很飄而已，Polo的話主...