越深的網路泛化性越好麼

1樓：馬惹發科

ResNet這個模型的提出就是一定程度減少了深度網路在層數加深時效能下降的問題（包括訓練誤差和測試誤差），題主可以去了解一下。

2樓：wzl

這種不加限制的說法大概率是錯誤的，比如256層的highway跟128層的resnet。前者泛化性就應該比後者差。

此外，網路泛化性跟網路設計有關，網路深度只是網路設計的一部分。在合理設計情況下，網路越深，泛化性大概率會越好。

3樓：

PAC Bayes generalization bound 以及對網路的地貌的分析說，泛化能力和網路的複雜度有關，但是複雜度和網路的大小不是一回事。所以，乙個大網路也可以通過訓練變成乙個低複雜度的網路，所以其泛化效能就會更好。 ResNet為何好用？

就是因為其複雜度和其體積的耦合更弱，其複雜度可以更容易的通過訓練來降低。

定性的說，泛化能力好的網路是低複雜度的網路，但是要找到這樣的網路是困難的，只有通過對複雜網路（具有更高複雜度潛力的結構）來擴大搜尋範圍，從而在複雜網路中找到低複雜度的配置模式，來改善泛化能力。這就是為何我們一般需要使用更複雜的網路結構來尋找泛化效能更好的網路。

魚就在身邊不遠，但是你拿一把和魚大小差不多的勺子一下一下的撈，是不容易撈到魚的，你只能用大網。