如何判斷自己的網路是欠擬合還是過擬合？

1樓：Chuang

首先題主你要保證你的資料集是沒有問題的，對於訓練集和測試集的劃分也是合理的。

一般來說，對於網路擬合程度的判斷主要還是使用檢視訓練集誤差和驗證集誤差的方法。

欠擬合乙個網路是欠擬合的，那必然在開發集和驗證集上的誤差是很大的。假定訓練集誤差是20%，驗證集誤差是 22%，在這裡對於訓練集而言，誤差都比較高的情況下，說明網路對於資料集的擬合是不夠的。大概率是因為網路還沒訓練好，應該繼續訓練。

（高偏差）

2. 適度擬合

如果訓練集和測試集誤差都處在乙個比較小，且較為相近的階段時候，這個網路對於資料的擬合程度是比較適中的。

3. 過擬合

當繼續對適度擬合的網路進行訓練時候，就會造成過擬合。首先，因為對於訓練集的不斷學習，訓練集的誤差肯定會繼續減小。但是於此同時訓練集test loss趨於不變，或者誤差不再變化或者反而增大，訓練誤差和測試誤差相差很大（例如訓練集誤差是1%，驗證集誤差是 18%），這個情況就要考慮是不是過擬合了。

（高方差）

還有一種最壞的情況，就是偏差高，方差也大。大概率就是資料集的問題了。我覺得這個題主的描述很像。

以下是解決高偏差和高方差的一些常用方法：

高偏差:

增加特徵

獲得更多的特徵

增加多項式特徵

減少正則化程度

高方差:

增加訓練資料

減少特徵數量

增加正則化程度

2樓：帶資料算命喵

以經驗來說多半是過擬合，但不能完全確定。把你的訓練集生成兩份，訓練+驗證集。然後訓練過程中輸出兩個集合上的loss，如果驗證集上loss上公升了但訓練集的一直在下降，多半是過擬合。

另外要確定你的訓練集分布和測試集分布是一樣的。