Pytorch如何自定義損失函式（Loss Function）？

1樓：

vector的回答已經比較詳細地介紹了自己寫pytorch 裡loss function 的方法。但是在你自己去定義loss function前需要明白pytorch的自動求導機制，從而避免很多問題。

1.你想用的loss function究竟能不能作為loss function來監督學習。很多時候我們想要讓test的結果適應與你的metric，那麼第一想法是我直接拿評價標準作為loss唄，譬如影象超分辨用MSE訓練，用PSNR測試，這是可行的，因為他們「可導」。

但是很多時候，任務的評價標準是複雜的，裡面可能有閾值設定、統計操作，你希望直接用這個評價標準做loss並不一定可行，它不可導。

2.了解torch的求導機制（autograd）。用pytorch訓練時，似乎只用加個requires_grad=True網路就什麼都給我們算了，但是往往我們自己去寫loss function時會存在loss沒有grad_fn的情況，那麼你需要了解torch裡的結構圖、張量、葉子節點等有關torch是如何完成自動求導過程的。

可以參考如下回答：

xiaopl：PyTorch 的 Autograd

這也是@vector三種寫loss function方法裡為什麼有的需要自己寫backward有的只用定義forward的原因，以及為什麼最好用torch的運算而不要轉成numpy的原因，因為要保證tensor在「管道」裡流動。

2樓：Bruce

我感覺沒必要繼承 nn.Module，因為很多時候計算 loss，中間都沒有額外的變數需要儲存或者算梯度。我有時候就直接寫個正常的函式，或者類似像這樣子 loss = torch.

sum(x - y) 就完了。

3樓：

從 code 裡面可以看到loss 函式部分繼承自_loss, 部分繼承自_WeightedLoss,而_WeightedLoss繼承自_loss， _loss繼承自nn.Module.

與定義乙個新的模型類相同，定義乙個新的loss function 你只需要繼承nn.Module就可以了。

乙個 pytorch 常見問題的 jupyter notebook 鏈結為A-Collection-of-important-tasks-in-pytorch

import

torch.nn

asnn

Class

NewLoss(nn

.Module

):def

__init__

():pass

defforward

():pass

Pytorch如何自定義損失函式（Loss Function）？

keras如何自定義triplet loss損失函式？

Swift Haskell 等可以自定義運算子的語言（不僅是過載），實現編譯器時跟其他語言有什麼區別？

自定義android studio的配置檔案目錄後，無法正常安裝和解除安裝外掛程式，是何原因？

其他用戶還看了：