深度學習中,如何判斷網路過擬合還是網路沒學習到深層特徵?

時間 2021-05-06 20:35:14

1樓:好命

訓練集百分之一百指的loss嗎

這種情況就是過擬合了

要不就是網路效能太強引數太多

要不就是資料過於簡單或者訓練集容量太小

只能說參考一下資料增強或者更換網路來做了

不大理解前面說的權重初始化調整對這個有什麼影響不是為了加快訓練速度嗎應該不影響訓練最終結果吧

2樓:墨雨蕭軒

可以用TensorBoard看訓練集和測試集的loss的變化曲線。訓練集上達到100%的準確率肯定是過擬合了。我估計應該是資料量太小…

3樓:劉冬煜

引數越少越不容易過擬合,但表示能力會有所下降。

如果你的CNN只有三層結構,明顯是特徵提取不足,我很好奇你的訓練集為什麼表現這麼好……

推薦加深卷積層,精簡全連線層,再試一試。

4樓:mpcv

1. 資料增強,整體增加訓練樣本量。至少做到幾十倍的樣本擴充。

2. 對樣本較少的類別,多做一些增強,多的少一些,消除樣本不均衡。

3. 如果網路是自己搭建的乙個比較淺層的卷積網路,注意全連線層的節點數不要太多,訓練時一定要用dropout

4. 注意權重的初始化方式。可以用乙個稍大的初始學習率,1e-2甚至1e-1

5. 可以適當再加幾層卷積層。

6. 訓練集和驗證集的比例應當保持在8:2或9:1,驗證集資料不宜超過30%,看你的回答裡貌似比例達到了1:1。另外可以採用k折交叉驗證。

5樓:Sanqi

訓練集準確率: 99 %

訓練集的混淆矩陣:

[[47207 1]

[ 0 3786]]

測試集準確率: 98 %

測試集的混淆矩陣:

[[46217 247]

[ 539 2680]]

因為正負樣本不均衡,所以我還想再提高下測試集的[0,1]類的準確率,下一步該怎麼做?

如何判斷自己的網路是欠擬合還是過擬合?

Chuang 首先題主你要保證你的資料集是沒有問題的,對於訓練集和測試集的劃分也是合理的。一般來說,對於網路擬合程度的判斷主要還是使用檢視訓練集誤差和驗證集誤差的方法。欠擬合乙個網路是欠擬合的,那必然在開發集和驗證集上的誤差是很大的。假定訓練集誤差是20 驗證集誤差是 22 在這裡對於訓練集而言,誤...

深度學習獲得模型,一般都是過擬合的 但在深度學習中,過擬合不是貶義的 why

勤而勉之 你這問題內容有問題。對於一般的深度學習問題,我們希望時的loss能夠越小越好。但是由於資料中包含有雜訊,所以不能夠完全擬合,否則就會使得學到的模型不能很好的用於測試集。但是對於一些特殊資料,資料中不包含雜訊,比如從微分方程中獲取到的資料,這個時候可以想辦法讓訓練loss降低至0 1 這時沒...

深度學習中,小樣本會出現過擬合的問題,那麼小樣本過擬合的準確率是否是必然高於大樣本非過擬合的準確率呢?

雨落晨曦 如果小樣本和大樣本屬於完全同樣的分布,那麼 如果小樣本上都達不到好的結果,是不是說其在大樣本上也必然達不到好的結果 是乙個正確的結論。並且小樣本過擬合大樣本同樣會過擬合。然而在一般問題中,即便小樣本是大樣本的均勻抽樣,也不能在有限抽取次數內達到完全一致的分布,這就意味著小樣本的訓練結果並不...