1樓：星辰大海
殘差網路 + Squeeze-and-Excitation Network (SENet) + 軟閾值化 =深度殘差收縮網路。
首先，殘差網路（又稱深度殘差網路、深度殘差學習）是一種卷積神經網路。相較於普通的卷積神經網路，殘差網路採用了跨層恒等路徑，以減輕卷積神經網路的訓練難度。殘差網路的一種基本模組如圖所示：
殘差網路
然後，Squeeze-and-Excitation Network是一種非常經典的注意力機制下的深度學習方法。它可以通過乙個小型的子網路，自動學習得到一組權重，對特徵圖的各個通道進行加權。其含義在於，某些特徵通道是比較重要的，而另一些特徵通道是資訊冗餘的；那麼，我們就可以通過這種方式增強有用特徵通道、削弱冗餘特徵通道。
Squeeze-and-Excitation Network的一種基本模組如下圖所示：
Squeeze-and-Excitation Network
第三，軟閾值化是許多訊號降噪方法的核心步驟。它的用處是將絕對值低於某個閾值的特徵置為零，將其他的特徵也朝著零進行調整，也就是「收縮」。在這裡，閾值是乙個需要預先設定的引數，其取值大小對於降噪的結果有著直接的影響。
軟閾值化的輸入與輸出之間的關係如下圖所示：
軟閾值化
最後，深度殘差收縮網路的結構如下圖所示：
綜上，在軟閾值化的作用下，深度殘差收縮網路更適合強雜訊資料的特徵學習。同時，其閾值是借助Squeeze-and-Excitation Network自動設定的，不需要人工進行設定。
10分鐘看懂深度殘差收縮網路 - 翼下之峰 - 部落格園
2樓：curry
說乙個我自己了解的吧 ICLR2020的一篇融合了MixMatch GMM和傳統的神經網路，搭建兩個對等網路來處理雜訊標籤問題，效果挺好，應該算不上很優秀的，只是我覺得這個想法值得我自己做的方向借鑑～ 還有就是谷歌17年的工作了，MentorNet網路，也是做雜訊標籤的，借鑑課程學習的思想，融合了LSTM CNN等來訓練兩個子網路模組
深度學習或強化學習在組合優化方面有哪些應用？
苦中作樂tttt 其實很多基本組合問題用trick加很好的heuristic,可以優化很好了。當然實際應用中的組合優化問題，可能結構或者限制更複雜，許多漂亮的trick用不了或者對數學要求太高了。退而求其次，如果想稍微通用或者懶一點，可以考慮上神經網路。整數優化求解器的樹搜尋模組，比較重要的是pri...
使用深度學習做目標檢測，哪些方法對提公升模型的泛化能力有效？
藏雲閣主 主要從兩個方面來提公升 資料增強和模型結構。資料增強 一定要根據資料的特點和實際應用環境來增強，比如你的資料是由手持攝像機拍攝的，那麼很大概率會有運動模糊的存在，那麼你加上運動模糊 比如你的實際應用環境光照變化比較大，較暗和較亮的情況都有，那你可以增加對比度和亮度增強。如果你的增強策略和實...
貪心學院 深度學習是很多模型的疊加，這種深度模型跟淺層模型相比有什麼優勢呢？
Hanamaki 有一種說法 在自然語言領域，淺層模型解析的是語法結構，深層模型解析的是語義結構，例如 我愛北京和北京愛我 從語法上來說兩個都是對的，都是主謂賓，但是從意義上來說，第二句不對因為北京是個地點無法有愛這種動作。語義建模 或語義語法 通常與語言建模 或語言語法 相比較，我們現在從二者的定...