1樓：林錦堅
分享乙個綜述。
這項工作中，作者提出了乙個關於在圖結構資料上的自我監督學習主題的調查。首先詳盡地介紹了相關的初步定義，回顧了近年來的研究成果，並對其進行了系統的分類。更重要的是，作者深入研究課題，揭示關鍵的挑戰，並分析未來可能的方向。
圖形SSL具有廣泛的應用潛力，將成為乙個活躍和有前途的研究領域。
近年來，由於圖結構資料的普遍存在，基於圖的深度學習在人工智慧領域引越來越受到研究者的關注和重視。然而，大多數關於圖的深度學習工作都專注於(半)監督學習場景，在這種場景中，模型是基於人工標註資訊從而進行下游任務訓練。
2樓：Qp啥都不知道
隔壁NLP其實有挺多自監督的方法，比如BERT，通過自監督提取到通用的語義特徵，進而應用到下層任務。
cv中其實也有不少類似的工作，早期有上色任務，近期有Bigbigan和Kaiming的MoCo。主要難點還是在於藉口任務的設計，太強了就會導致模型學習的特徵不夠泛化(比如自編碼器)，太弱了就會導致很難學習到底層語義特徵(比如上色任務，或者早期bigan)。
3樓：Xiaohang Zhan
更新乙個我們在CVPR2019的自監督學習新工作Self-Supervised Learning via Conditional Motion Propagation。具體見之前發的一篇文章。
4樓：Naiyan Wang
這個問題叫做Self-Supervised Learning，去年的時候做過乙個簡單的Survey: http://
winsty.net/talks/self_supervised.pptx
@將門創投 應該還有talk的錄影。
另外還有一些補充在：
Naiyan Wang：自監督學習近期進展
什麼是無監督學習？
王佳馳 我想先提出乙個問題 監督學習 無監督學習 這兩個名詞的翻譯恰當嗎？在我的理解中，supervised可以有指導的含義，而中文的監督，更傾向與管理和監視。比如，古代的督軍 監軍行使的職責。在我學習supervised和unsupervised兩種learning之後，我感覺它們的最主要區別在於...
CIKM2020 S3 基於自監督學習的序列推薦模型
包一帆 是不是你有一陣子每天早上8點起床喂它？或者在之前的環境裡每天早上有人喂它？荷蘭豬記時間的本事很厲害，我家那只甚至分的清週末和工作日。在保證草足夠的情況下，要是想調整時間，最簡單的方法是不理他，他自己叫半天沒用就會放棄了，然後適應新時間 如果在宿舍裡不能不理，就把他籠子的環境徹底換乙個，東西什...
如何看待無監督學習在vision transformer上的應用前景？
安靜的太陽 我對transformer不是很了解，但感覺大量資料的自監督預訓練是對的路子。產生這個想法的原因有二 但並不嚴謹 1 人類實際上從出生開始就在持續接收大量資料，幾乎每分每秒我們都在看 聽 讀。直觀上先用大量資料預訓練得到乙個general model，再在具體下游任務上fine tune...