深度學習尤其是語義分割,Loss個數是不是設定的越多越好?

時間 2021-05-29 22:23:01

1樓:MrJ

多loss要根據網路的設計來弄的。比如加了邊緣檢測的loss輔助,加不同解析度輸出loss輔助。如果是相同原理的loss,效果應該差距不大。

比如用L1 Loss和cross entropy一起去做二類分割,效果跟使用單loss去調權重是差不多的。

2樓:yan

我認為,神經網路的設計要遵守奧卡姆剃刀的規律,簡潔即美,loss函式的本意是告訴神經網路什麼是錯的,並如何糾錯。

乙個神經網路往往只對應一種任務,使用一項針對任務的loss就可以了,其餘的所有項其實都是做正則化用的,而正則化也是乙個單一任務,故整個loss其實就只應該存在兩項,即任務指標和正則化指標,並以最簡形式實現。

現在任務指標上沒法做太多文章了,都在玩正則化,但正則化這個事情做的太狠了,就會矯枉過正,阻礙網路權重的發展,使整個網路陷入「權重向零收斂」的情況。

所以,loss函式尤其是正則化函式,要盡量設計的簡潔有效,一切要以網路的任務為出發點,而不是一味追求所謂的創新。

如何學習商務英語,尤其是英語口語?

JingH 我覺得可以從兩個方面積累 常用的商務英語表達 跟你所在的行業和職位有關的詞彙和表達 第2點就跟你所在的行業和職位有關。我本人是做UX design的,那麼我會看全英文的有關UX的書,聽全英文的Podcasts。 平和英語村 全日制商務英語學習,為職場晉公升添磚加瓦。英語口語的練習最重要的...

有什麼可以提高學習的方法?尤其是數學?

這樣講啊,我不想多談各種學習方法,原因很簡單,這世界上只有一種學習方法,那就是,適合你的學習方法。特別是數學,我喜歡刷題,有人就喜歡摳概念,我認為題做的多了,就能會,但就有人認為,知識點要好好記,乙個字都不能錯,那我也木辦法,因為他的成績和我的一樣好。你也一樣,如果你翻翻我的回答,你可以找到很多的方...

如何看待身邊人尤其是好朋友總是偷著學習?

小人,不必理會,這種人走出社會心裡也是不健康的。做人就是要光明磊落,學就是在學,不學就是不學,你藏著掖著生怕別人搶走你的 獨門秘籍 揹著你偷學然後超過你。我還遇到過更神的,我問乙個學霸週末報了什麼興趣班,她有意岔開話題,閉口不談,我怕她沒聽到問了他第二回還是以同樣的套路來敷衍我,所以我乾脆不問了,她...