如何評價史丹福大學提出SGD動量自調節器YellowFin?

時間 2021-05-11 15:21:53

1樓:EthanLynn

我想請問那些說能用的答案的到底都是怎麼用的?

都設定torch.manual_seed(512)

普通的adam for DCGAN (lynic/notebooks)

d_optim = optim.Adam(d_model.parameters(), lr=0.0003)

g_optim = optim.Adam(g_model.parameters(), lr=0.0003)

Epoch: 4

Generator_Loss: 2347.6366441249847

Discrimitor_Loss: 485.96194341778755

用了YF的pytorch實現(https://

一直處於崩潰狀態。

Epoch: 0

Generator_Loss: 132.76503419895198

Discrimitor_Loss: 21257.063333392143

Epoch: 1

Generator_Loss: 0.0

Discrimitor_Loss: 25918.329900741577

Epoch: 2

Generator_Loss: 0.0

Discrimitor_Loss: 25918.329900741577

Epoch: 3

Generator_Loss: 0.0

Discrimitor_Loss: 25918.329900741577

Epoch: 4

Generator_Loss: 0.0

Discrimitor_Loss: 25918.329900741577

2樓:xin jin

我跑了幾個模型,有幾個結果:

1. 在cifar-10上跑resnet-18,resnet-34還有乙個簡單的cnn模型,表現優異,與adam,rmsprop, momentum相比,收斂速度穩定前2

2. 在imagenet上,4個k80 gpu跑,表現槽糕,不如普通sgd(無learning rate decay);同樣的setting換成單gpu,表現有所提公升,但是與普通sgd表現差不多,無明顯優勢。

史丹福大學 Design School 所倡導設計思維的原則和步驟是什麼?

培訓師胡一夫 典型的設計思維包括四個階段 分析事實是什麼 what is 探索當前現實設想 如果會怎樣?what if 想象新前景發現什麼讓人眼前一亮 what wows 做出一些選擇驗證什麼行之有效 what works 推向市場,讓市場測試效果 HS研究醬 最近有幸體驗了George Kembe...

我想上史丹福大學怎麼辦?

SuperFashi 還想高三不好好上學,那你標化編出來啊?Home school 想上,沒有個一流大學 prof 的爹是沒可能的。國內上個985211研究生再說吧。 Alex Wu 答主我完全可以給你寫乙份詳細的準備計畫,不過看前面的答主也寫得差不多了,就跟你著重說一些事情吧 一 留學申請,無論中...

申請史丹福大學需要什麼條件?

一天梅吹一生梅吹 GMAT基本是必須的,一般來說740分才有機會,還有TOFEL,被斯坦福MBA錄取的人托福平均分110以上,其次是大學GPA,達到3.5以上才保險,這三項是最基本的。史丹福大學的MBA排名非常高,競爭異常激烈,絲毫不亞於東部幾所名校的商學院,需要認真準備。一般需要最少2年的工作經驗...