深度學習中學習率可以這樣手動調整麼

時間 2022-01-17 00:09:27

1樓:1.2

傳統煉丹修仙,小模型看可見範圍內可以,若無資料集和大模型下就看玄學了

2樓:逃避可恥但有用

小模型這樣做完全可以。理論依據其實就是在最後接近全域性loss最小點時,將步長降低了(學習率),然後通過檢視準確率作為乙個評估指標來確定步長方向是否準確。綜上,這是科學的。

(但對於一些複雜大模型,這樣效率過低。

3樓:冰淇淋很餓

可以啊,理解是只要學習率的調整使train和val的loss下降,應該都是可取的

4樓:馬丘比丘

從打榜和benchmark的角度

在你沒有測試集合的情況下,也就是在你把驗證集當測試集合的情況下,在上面調超參類似於「作弊」。

從在公司做實際任務的角度

隨意吧,怎麼調都可以

5樓:軒轅十四

可以的,這個在工業界很多人也這麼幹!煉丹嘛,本來就是玄學,哈哈

6樓:

根據題主所說的資訊,手動調學習率肯定是可行的,但如果僅根據驗證集上的效果來調整學習率可能會存在問題。比如,如果驗證集挑選的不好的話,模型訓練有可能不充分,最終在集外資料上的效果可能會有問題。模型訓練的過程還是需要同時參考訓練集上的指標與驗證集上的指標來綜合考量,保證獲取到訓練充分且效果最佳的模型。

一般訓練集是比較大的,但是驗證集相對會小很多,所以資料集的劃分至關重要。

機器學習可以學習調參嗎?

Machine Learning的問題在實際操作中可以看作是調參問題,那麼能不能用機器學習來代替調參是乙個很自然的想法.於是就有了Meta Learning這個研究方向 王博文 題主的問題,我也想過,然後寫了下面這篇文章 王博文 什麼時候機器學習不再需要人工調參了?雖然沒本題下面的其他回答那麼高大上...

深度網路loss除以10和學習率除以10是不是等價的?

張覺非 看你用的什麼優化演算法。最樸素的梯度下降法就是梯度乘上學習率再從引數當前值中減去。損失前面乘個 1 10 係數的話,因為求導是線性算符,這個 1 10 係數可以扔到最外面,求出來的梯度是原損失梯度的 1 10 倍,兩者就是等價的 對於那些原始梯度下降的變體,梯度出現在式子中時前面可能沒有乘學...

沒有GPU可以做深度學習嗎?

請叫我Tony老師 對於初學者來說,起步階段CPU是可以滿足基本需求的。像TensorFlow都是支援CPU的。等到後期需要使用到GPU的時候,可以選擇租賃的方式。國內外深度學習平台有很多,可以按照自己的需求選擇。以矩池雲為例,為使用者預裝了Python,Cuda,Tensorflow gpu,Ke...