在深度學習模型的訓練中,其效能不斷變化,應當將何時效能,看作為「最終的」模型效能?

時間 2021-06-07 12:41:48

1樓:hui dust

機器學習模型中都有訓練集、驗證集(測試集),訓練集資料餵給模型訓練,每輪epoch在驗證集上驗證指標,多輪訓練時取驗證集指標最好的情況作為最終的模型效能。

2樓:Fain

一般來說,當多次降低學習率,驗證集的loss依然不下降,則取最近一次下降的模型引數。損失不下降說明模型已經到達了不錯的結果。如果再繼續訓練,儲存後面的模型引數,模型的泛化能力會有所下降。

所以,使用預設的模型引數儲存策略也是相對可以的。

當然,在模型效果提公升上,還有一種辦法是模型融合。但是,訓練多個模型,訓練代價會比較高。所以,這時候,你可以選擇將不同評價指標下的模型引數各保留乙份,最終,使用這些不同指標下最優的模型引數去融合來提公升效果。

3樓:一然

如果是用的反向傳播和梯度下降訓練神經網路的話,那要看你選的誤差函式在具體模型上是啥特性了。

通常訓練一定時間以後,誤差就會趨於平緩,就差不多是停下的時候了。

當然有可能是陷入了區域性低點,也可能是逼近全域性最優了。

如果這時候結果很差,那可能模型沒設計對,也可能是設定的引數不太行,雖然很差,基於這些設定,該次訓練也只能停止了。

希望幫助到你

深度學習模型訓練好後效能就確定了嗎?

Scott 應該是說訓練之後得到的weight是固定的,沒法再更動的。用來推論或是辨識的話,precision的高低也是確定的。所以要得到較高precision的訓練權重,這在訓練時就必需不斷的對model調參,以確保最後得到的weight有高的準確率。 負十二分之一 你依然可以用pre proce...

深度學習中模型訓練的通用流程是怎樣的?

妞妞 簡單的說一下通用的流程,當然訓練不同的模型,可能會多加一些處理。第一步,資料預處理,獲取資料後,需要對資料進行篩選,分訓練集 測試集以及驗證集等 第二步,將資料輸入到神經網路 這裡可以根據資料多少構建合適的神經網路,防止出現過擬合和欠擬合 即每個神經元的輸入值加權求和再輸入到啟用函式,得到輸出...

深度學習裡面訓練模型的時候,為什麼新增正則項它的超引數都是自己調的?

走在邊沿上 一般,乙個引數之所以成為超引數,要麼是因為關於它的任何資訊都不能被訓練資料集表示,要麼是因為一旦讓它成為trainable的,我們總會得到乙個trivial的值。從第乙個角度看,正則化的本質是限制目標函式空間的大小,保證目標函式的smoothness。資料集本身顯然並不會包含關於它的任何...