關於對比學習(Contrastive Learning)的一些困惑?

時間 2021-06-05 21:57:39

1樓:李韶華

至少對於imagenet來說,因為類別很多,隨機採到的負樣本b和a屬於一類的概率是很小的,所以可以忽略。就像你把乙個training data set裡10%的標籤翻轉,最後訓練的模型精度也不會太差一樣。如果類別少,比如training set裡只有兩類資料,負樣本b和a屬於一類的概率就很大了。

2樓:光某人

確實是有可能的,為了解決這個問題,Google研究院好像提出了解決辦法。但是,由於SimCLR的batchsize很大,在向量空間內達到動態平衡其實已經使他們幾乎接近了。【不過我猜的話,batchsize不夠不可能做到SimCLR的效果,還是在其他模型基礎上再進行對比學習,使隨機資料增強的負面效應降低比較靠譜】

監督式對比學習https://

arxiv.org/abs/2004.11362

3樓:kkkk

Debiased Contrastive Learning

SELF-SUPERVISED REPRESENTATION LEARNING VIA ADAPTIVE HARD-POSITIVE MINING

關於英語學習?

醉裡挑燈看劍2018 這兩個水平之間,跨度太大,如果這是由於學習脫節造成的,幾乎不可彌補。其實很多事情,是沒辦法再重頭再來一次的,隨遇而安,尋找真正擅長的方向,也許更好。 佳果園 初一水平到大學4級是很大的跨越。多少時間 怎麼學習需要具體到每個學習物件的投入和消化而論。如果你真的只有初一水平,建議先...

關於學習鋼琴 ?

北極熊 作為乙個業餘的鋼琴專業學生,其實鋼琴沒有捷徑,你想練的好就要一直練,首先你要定義什麼是入門,如果說彈一下諸如石進的 夜的鋼琴曲 系列的話,你只需要鍛鍊最基本的識譜能力就可以了。要是想彈一些古典的入門樂曲還是需要大量練習的,而且基本功佔大多數時間。個人認為。一天一兩個小時差不多了,抽出你在宿舍...

關於CMA學習?

立信財會CMA 2019管理會計CMA考試通關,你需要學會這三招 為了讓管理會計CMA新手考生更加有把握地通過考試,立信CMA為小夥伴們送上3招,快來看看吧 1 搬救兵能讓你事半功倍 部分管理會計CMA新手認為管理會計CMA備考就是背誦管理會計CMA教材,其實不然。教材 真題都是考生們必備的複習資料...