pytorch分類損失 二分類 ,穩定的損失值在10的負一次方量級正常嗎?

時間 2021-05-11 23:43:58

1樓:清風笑煙雨

個人感覺你的標籤有問題,要麼就是類別數沒設定對。你應該看一看損失曲線在降低沒有,二分類這個這個量級,測試結果應該不好看吧

2樓:學無止境

模型沒有使用預訓練模型嗎,使用的話是自己寫的loss函式嗎,如果以上都存在,那麼loss高很正常。如果使用預訓練,使用torch自帶bceloss,那麼資料應該有問題 。

3樓:fanw

1、從邏輯回歸的損失來看,loss =-( y*log(p)+(1-y)*log(1-p)),訓練初期,模型沒有擬合能力,假設p=0.5,那麼損失值為log2,大於0.1

2、從log2下降到0.1,說明模型在擬合的過程中,學到了一些pattern,可能擁有一定的分類能力。

3、為什麼不能降到更低?可以從模型的角度或者從資料的角度來考慮,使用主流的分類網路,擬合能力都還ok,假如是自己搭建的網路,那就有必要再檢查一下搭建的網路了,但我認為,更可能是資料的原因,可以抽一部分驗證分類錯誤的驗證資料,做一些視覺化操作,檢查標籤是否有問題。

4樓:乙隻正在爬的蟲

首先得明確下你是什麼損失。對於二分類的交叉熵損失來說這個不大正常。但是要根據具體問題來分析,比如是否資料有標註錯誤或者雜訊,是網路結構問題還是訓練策略問題。

總體上從資料,模型,損失角度入手。

pytorch訓練二分類器,訓練集loss下降的很慢或者剛開始較快然後越來越慢,大佬們這是什麼原因呢?

披著狼皮的羊 模擬考試 作為差生的時候,隨便努力一點就可以取得很大進步,差生的進步空間很大 變成學習好點的學生後,同樣努力的條件下,進步沒那麼明顯 當達到這個學生的最大潛力時,即使再努力也沒有進步。訓練model也是如此。 首先得看valid和test資料集一起看。現在假設valid和test資料集...

二分類問題,應該選擇sigmoid還是softmax?

讓cpu飛一會兒 看大部分回答都是根據主觀經驗和直覺直接得出兩者沒什麼區別的結論,我就從公式推導層面來嚴格推導一下吧。softmax交叉熵損失 log exp sp exp sp exp sn log 1 exp sn sp logsumexp 0,sn sp max 0,sn sp sigmoid...

內傾型深覆合加下牙不齊,診斷是二類二分類。側面如下圖,我想知道我下巴是怎麼回事?

我和你一模一樣,深覆合但是下巴骨頭前突,但我更慘,我下頜骨超級方,90 深覆合嚴重,上牙完全包裹下牙。感覺下頜的地方沒有向下生長,完全是向前發育。我一直覺得是由於小時候誤拔了中間一顆下牙,才導致我下巴向前發育。反應到臉上就超級奇怪,因為臉的走勢別人都是向下,我是走著走著詭異的向上。感覺哪怕是沒下巴也...