驗證模型效能時,只要「驗證集效能」低於「訓練集效能」,就應認為模型搭建的失敗嗎?

時間 2021-05-07 02:16:40

1樓:一然

不能認為失敗。

這事說起來還有點麻煩:

如果訓練集表現已經很差,驗證的時候表現更差,那確實是失敗,整體失敗,可能需要換模型了。

如果訓練的時候表現的很好,驗證的時候摔了0.1%,不足以說明任何事,因為具體的情況很複雜。

如果使用準確率來評估的話,那麼對於某些問題是不公平的,有時候準確率不算太高,有的時候反而是「泛化」能力好。

要多用幾個評價標準比較一下,同時有條件的話多換幾個資料集合,這都是對於提高模型有幫助的。

2樓:王璐

過擬合:給定乙個假設空間,乙個假設 f 屬於,如果存在其他的假設 f′ 也屬於,使得在訓練集上f 的損失比f′ 小,但在整個樣本空間上f′ 比f 的損失小,那麼就說該假設 f 過度擬合訓練資料(Mitchell T M. Machine learning[M].

McGraw-Hill, 1997.)

過擬合是由於訓練樣本有限並對真實分布表示不佳,易導致模型訓練錯誤率低而未知資料錯誤率較高。顯然過擬合幾乎無法避免,只能減小其程度以減小影響。

可以認為,過擬合越顯著則模型泛化能力越弱,反之模型泛化能力越強。

當訓練90.1%、驗證90%時,過擬合是微弱的、可忽略的,顯然無法推出「模型失敗」這一結論。當過擬合較輕微時,結論應當是「泛化能力較強」。

此外,不應對模型下二元定論,應該是「已取得一定成果,仍有進一步改進空間……」(滑稽.jpg)。

LSTM訓練集和驗證集的loss曲線為什麼會是這樣?

醉笑陪公看落花 前面回答已經很好了,再補充一點.題主提出這樣的問題說明對機器學習的一些基本知識還沒有乙個系統的學習.但與此同時能訓練出乙個不錯的LSTM網路,說明題主的應用實踐能力很強.那我們可以從應用上手,改變訓練集大小 改變模型複雜度,然後再看loss曲線的變化,這樣更有助於理解val loss...

分類演算法中,訓練集和驗證集有什麼區別?

武宗海山 一般來說,訓練集佔據了資料集的majority 例如百分之80 訓練集用於確定模型的basic引數。而驗證集 假設佔據10 則是在訓練模型的過程中不斷調整basic引數,也就是常說的 調參 當模型的引數最終確定後,停止訓練,採用測試集 10 來評估模型的泛化效能。 和煦 for each ...

測試集效果比驗證集差很多說明了什麼?

flowera 原因可能有4個,可逐一檢查 1.交叉驗證次數是否足夠?2.檢查訓練集和驗證集是否有重合,即是否有資料窺探問題。3.對訓練集 驗證集以及測試集做的資料預處理是否一致。4.排除以上3個可能,可以基本確定是訓練集和驗證集來自同一資料分布,但是測試集卻是另外乙個分布。 Scchy 首先從數學...