1樓：李御心
目標函式跟網路是分開的兩個部分。
目標函式，是為了達成目標，給網路乙個feedback，讓它學習。
網路是達成目標的「魔法」，只要知道了最後一層目標函式的導數，扔給網路學就可以了。很多時候我們都認為網路是乙個feature extractor（backbone），跟問題本身沒有太大關係。
ResNet主要是發現了residual connection可以解決gradient vanish和gradient explode的問題，是網路自己的優化。
2樓：你眼裡藏了星星
損失函式就是你要解決問題的目標，各種網路結構是解決問題的不同途徑，這些途徑是不影響你的目標的。
根據不同的問題，需要選擇不同的目標，也就是將自然語言表達的目標轉化為數學語言，然後去優化。比如分類中可以使用交叉熵作為目標函式，回歸問題中可以用均方誤差作為損失。
3樓：誠實小郎君
用什麼backbone跟目標函式沒有關係，跟任務有關係。總得來說分為分類和回歸兩大類任務，對應這兩大類任務衍生了很多目標函式，常見比如對應分類任務：crossentropy loss，hinge loss，exponential loss；對應回歸任務MSE loss，absolute loss，還有一些為了解決特定問題而提出來的損失函式triple loss，focal loss，center loss，margin loss等(也屬於分類跟回歸)
4樓：提子很甜
ResNet只是乙個特徵提取網路，具體的目標函式根據任務的不同也是不同的，比如分類任務使用交叉熵，回歸任務會使用平方損失，檢測任務會使用不同的損失結合等等。
5樓：不像樣
不知道是不是指網路擬合的函式，如果是，假設H(x)是幾個堆疊的網路層要擬合潛在的對映，resnet不直接去擬合H(x),而是去擬合殘差F(x):=H(x)-x, 然後由網路層擬合的F(x)加上x就表示對H(x)的擬合。然而，並不是用整個網路去擬合F(x),最後加上x來擬合H(x),而是對每幾個網路層去擬合F(x)。
6樓：BBuf
目標函式不就是損失函式嗎？多分類是softmaxcrossentropy，二分類是sigmoidcrossentropy。
Resnet中殘差塊的作用是完成恒等變換，那這樣的恒等變換的意義是什麼，在網路中能起到怎樣的作用呢？
saturnman 神經網路的訓練過程似乎是收到資訊通路的影響很大，直連和間接鏈結的效果並不一樣，雖然理論上直連存在乙個殘差網路的等效網路，但是在訓練過程中很難收斂到這個等效網路，這時候殘差網路起到直接資訊傳遞的作用。因為神經網路缺乏強有力的理論支援，很多都是經驗設計，至於為什麼基本靠猜，沒人給出不...
訓練網路時為什麼會出現loss逐漸增大的情況？
吼吼 optimizer optim.SGD net.parameters lr 0.001,momentum 0.9 強烈建議換乙個Optimizer，SGD比較適合那些簡單的非常方便梯度下降的model 煉丹大師，小火慢燉。一般建議用Adam吧，我感覺你會得到乙個非常快的收斂速度和Perform...
為什麼多層的卷積神經網路訓練時不用深度學習方法訓練，難道誤差 梯度不會逐層擴散和消失？
Monstarxtt 理論上講深度學習是通過稀疏自編碼求得有用特徵向量之後輸入網路中的。但目前這種非監督學習方法效能不夠好，所以像cnn這種深度學習方法其實也是通過分類監督學習的，優化方法跟普通神經網路差不多。無非網路比較大而已。資料充足的情況下網路越大最終結果越好這一點也沒啥辯駁的。網路雖然很大但...