半監督學習近幾年有哪些突破性的進展?尤其是在與深度學習方面

時間 2021-05-11 11:46:56

1樓:BESTASU

如果單純說半監督分類問題的話,總體上兩線比較活躍:

1、從經典圖模型上的manifold representation擴充套件到NN on graph。很早之前的乙份工作EmbedNN,結合半監督上的圖正則項對分類任務做端到端訓練。

而這裡又可以細分為兩種,一種是通過有效的圖上取樣來模擬有監督資訊傳導,用Embedding直接引數化投影後的各個樣本,來達到半監督分類的目標。如node2vec、planetoid等等。難點在於如何設計取樣資料對(不平衡,類內類外差異,難例挖掘)

另一種則選擇用NN擬合圖訊號上的濾波運算元。影象上的卷積操作就是其中一種特例。

早期有將針對Grid訊號的CNN模擬推廣到圖訊號上的工作:CNN on graphs with fast localized spectral filtering。

這兩年的GCN則結合adjacency matrix和網路,做了端到端的設計。作者自己的部落格解釋的非常清楚。現在看下來,這類NN的設計目標在於利用網路的深度,擬合出對應圖上的不同階成分(但一般分類任務1-2階足矣)。

因此最近也有用attention機制來解決,如Graph Attention Networks

2、做最本質的生成模型,刻畫資料的完整分布。這幾年的典型代表:LadderNetwork、VAE、GAN。

而光講GAN就可以寫乙個專欄都不為過,方便理解的可以看看Improved techniques on GANs,專門有一節介紹。

PS:一切用pretrained model(imagenet等上訓練外推其他資料集)來做半監督的,應該改成叫transfer learning,求解使用的資料其實被無形擴充了。

2樓:

怎麼可能沒有進展!從DGN到Improved GAN,哪乙個的效果不是驚豔一時?特別是Improved GAN這篇文章中用GAN做分類( @龐龍剛 說過),優雅且效果好。

還有一些後續的工作效果更好一點。

我最近寫的pytorch的乙個簡單實現Sleepychord/ImprovedGAN-pytorch

3樓:盧卡斯

感覺跟GAN的結合是乙個很好的發展方向。使用深度學習作半監督應該要突破傳統的使用監督學習的思路,GAN在無監督方面做得很好,那麼用來做半監督應該也有比較大的發展空間。

4樓:龐龍剛

進展還是蠻大的吧,OpenAI使用GAN,以及100張有標籤的資料,做半監督學習,就把手寫數字識別的精度做到了跟用65000張有標籤資料訓練得到的精度一致。這個技術已經被史丹福大學用在探測非洲饑荒分布情況,訓練資料所用的衛星地圖只有5%是有標註的監督學習資料,其餘95%衛星地圖資料無標籤。

5樓:zzzz

在影象方面,大題思路可以參考古代hinton的rbm,近代bengio的ladder network,現代lekun的stacked what where autoencoder (SWWAE)。後者更是被honglak lee和yuting zhang在imagenet上大規模驗證了,請參考augmenting supervised NN with unsupervised objectives

6樓:陳默

這些年沒突破沒進展。要想半監督有突破,必須generative有突破。現在是discriminant統治天下,沿著這條路也不會有進展。

別說深度學習了,linear regression都沒研究明白呢。

近幾年有哪些不錯的詩歌?

當然是李子體了。這恐怕是這一時期未來唯一能留在詩史上的痕跡。其他這些優秀詩歌,只能說當時讀著還算優秀。但經過時間淘洗,恐怕一首也留不下來。未來的歷史,也不會提一句。李子體因其特殊性,創新性。應該會青史留名。 已登出 蓴客,錢之江。湖山四首用亭林 海上 韻 漸老秋光暮色侵,湖山如待我登臨。雨連天海人如...

近幾年有哪些國產電影堪稱大師水準?

蒂姆德普 說實話這幾年大師水準的作品幾乎沒有,倒是有一些年輕人的作品還是蠻不錯的,比如 鋼的琴 這樣的小成本製作時常給人驚喜。應該多關注小製作了! 推薦台灣的賽德克.巴萊,講述台灣土著人對抗外來侵略者展現的野蠻的驕傲。在我眼裡簡直就是中國台灣人拍的史詩級大片勇敢的心? 馬川 最近幾年中國產電影的水平...

借勢營銷 是什麼?近幾年有哪些成功案例?

鬱靈 提到借勢營銷,大多數人可能都會第一時間想到杜蕾斯,杜蕾斯這種假期 熱點營銷模式很快就被其他品牌複製,模仿。其實幾年前剛開始接觸杜蕾斯的設計與文案,是真的蠻驚喜的,但直到現在,杜蕾斯還是一點也不改往日風格。說起借勢,最早一批品牌應該算是麥當勞跟可口可口吧。那最近最火的借勢個人覺得應該是華帝借法國...