1樓：zhangqi
SGD繼承了Optimizer,再看Optimizer類
net.parameters() == params快遞進去了Optimizer類，通過add_param_group新增進了self.param_groups 屬性params的字典裡。
最後看SDG裡的step
)根據gradient更新網路引數，d.grad是loss.backward()自動求導機制已計算出了引數的gradient
菜雞回答，望輕噴！！！
2樓：羅若天是真的菜
loss.backward()獲得所有parameter的gradient。
然後optimizer存了這些parameter的指標，step()根據這些parameter的gradient對parameter的值進行更新。
PyTorch 中，nn 與 nn functional 有什麼區別？
老實人 上面使用者有糖吃可好 講的已經挺好了，我再插兩句 在建圖過程中，往往有兩種層，一種含引數 有Variable，如全連線層，卷積層 Batch Normlization層等 另一種不含引數 無Variable，如Pooling層，Relu層，損失函式層等。閱讀原始碼發現 nn.裡面的是繼承自n...
pytorch中，相同的batchsize，多GPU會比單GPU快多少？雙路能是單路的兩倍嗎？
張懷文 相同的batchsize,多gpu會不會比單卡快都是個問題。我遇到過多卡時候，每個卡頻率撞牆的問題，甚至比單卡慢。就是快的時候，也不會有N張卡，提速N倍的能力。多卡並行相關程式的開銷 多卡策略的開銷都不小。 勒布朗詹姆斯哈登 不會，pytorch有很多計算都是只在第一塊卡上進行的。而且如果雙...
pytorch 中的Dataset這個類為什麼可以呼叫 getitem ？
王小山 在DataLoder的iter中，會觸發子類Dataset中的getiterm函式讀取資料，並拼接成乙個batch返回，作為模型真正的輸入 操作符過載 如果乙個類定義了名為 getitem 的方法，x為該類的乙個例項 x i 可是為x.getitem x,i Goodbye響 我覺得題主你想...