1樓：seaning
訓練開始時，訓練資料集和驗證資料集的loss都比較大，隨著迭代次數的增加，訓練資料集和驗證資料集的loss都開始下降，最終訓練結束時如果訓練資料集的loss低於驗證資料集很有可能發生了過擬合現象。
2樓：不知道起啥名字
這個情況是正常的.首先說明一點,訓練集的loss跟驗證集的loss沒有說誰肯定大誰肯定小,因為訓練集和驗證集都不是同乙個資料集,沒有可比性,雖然分布可能一致,但是具體樣本會導致結果的不一樣,所以我們不比較兩者loss的關係.正確率也同樣如此.
我們通常觀察的是他們變化的趨勢,比如訓練集loss下降了,驗證集loss下降了,這就是很正常的訓練過程,但是訓練集loss下降了,而驗證集loss反而上公升了,這就是熟知的過擬合.
3樓：李春雨earlee
抱歉，沒了解過這個網路。正常來講訓練集和驗證集loss相差比較大，一般是兩個集合的分布不一致。如果差異不大，只要趨勢是一致的，就是正常的。
至於你說的這種，如果你說的大於都是略大，但是都在收斂，那就是沒問題的。
使用卷積神經網路處理影象時，使用資料增強和不使用（最終影象數量一樣），理論上哪個效果會更好？
Alex Sun 其他回答的答主都自己跑過實驗嗎?笑死我了 Data Augmentation在絕大多數情況下帶來的在test set上的提公升是顯著的。一般來說，在classification,detection，segmentation等task上。樓主可以嘗試運用 Mirror Flip,Ra...
用TensorFlow訓練CNN網路時，測試的loss一直不變且測試準確率也很低，這是咋回事？
白色科比 我認為是batch size設定的有問題，或者說這是應該首先考慮的問題，因為你的這個準確率一直在波動，我之前遇見的大部分模型準確率出現了波動都是調整batch size最後成功收斂的， 張帆 提供幾個思路，直覺是你的訓練集太少了，因為就算模型有問題只要引數多overfit就很有可能做到 d...
為什麼在部分機器學習中訓練模型時使用GPU的效果比CPU更好？
千佛山彭于晏 哈哈哈，看完樓上的答案簡單總結一下。GPU是為渲染操作設計的，渲染的過程就是一些圖形點 幾何點位置和顏色值的計算。這些計算的形式就是一些四維向量和矩陣的運算。而我們在訓練模型引數的時候，進行的就是這樣的計算。所以GPU很適合加速我們的訓練過程。 shulang lei 假如是3x4的陣...