如何train from scratch 不想用預訓練模型,但是就是怎麼都不收斂?

時間 2021-05-05 17:40:37

1樓:胡強

不用預訓練是可以的,但是得注意幾個點。

(1)、如果網路中有BN層,訓練Batch建議大於32。

(2)、資料量要大,使用資料增強(必須的)。

(3)、使用0.1的學習率,如果前期各項損失值(Object得分損失、定位回歸損失、分類損失)異常,如正樣本損失為0.0001,負樣本損失0.

999。這個時候,考慮使用簡單的優化器,比如梯度下降(無動量),為啥我也知道,我測試出來的。使用0.

1的學習率,SSD、YoloV3都可以的,親測了。效果無異。但是,訓練時間較長。

給個參考:SSD300-coco資料集-GTX2080-I7, 大約5天到7天。

(4)、隨機開始訓練,不建議使用小的學習率。DSOD: Learning Deeply Supervised Object Detectors from Scratch,作者Zhiqiang Shen, Zhuang Liu等

2樓:張大帥

如果是訓練集上不收斂,那這是不對的。

假如你資料量大,那麼初始值並不重要。

假如你資料量小,那麼怎麼都能擬合,頂多是過擬合嚴重,不會不收斂。

如何靜心 如何學習 如何專注 如何成為不平凡?

三文 在當下,你本身就是非凡之人。在當下,沒有時間,所以沒有 我 沒有 我 就沒有了我的身份和故事,也沒有了煩惱和問題。只剩下真實的自己,圓滿,完美和永恆的自己。如有不適感 外在或內在 就體會著它的波動,清醒地受苦。注意力會使它化解。這是 臣服 是最好的修行法門,也是古時的 靜心 化解不適感後,就可...

如何改變?如何提公升?

恨別鳥驚心 當然是什麼都不做,什麼都不想了,雖然這樣子看上去真的什麼都不做,什麼都不想,但其實還是有點作用的。因為這樣子就能成為乙個真正的觀察者了。只有觀察者保持的可能性才是最完美的,其他人都不能做到完美,因為他們就在其中。去評價,去分析,去判斷,去認為這一切都很美好。想得到所有人的認同,本身就是一...

如何忘記如何放下?

靜子 習慣了一年的溝通方式,當失去的那一刻才知道重要性,可是再看已經不能回頭。思念總像毒藥一樣蔓延全身,而我確還要克制住思念的情緒。學不會放下,那又何必拿起,所以還是怪自己太作。 alwaysbeta 我表哥對我說,每個人一輩子必有一件事是他一生的主題。比方說王仙客吧,他一生的主題就是尋找無雙。書的...