1樓：kkkk
我自己復現的simclrv1，batchsize開到4096(上了apex fp16)的情況下100和200個epoch結果都比原文高1200個epoch結果還比mocov2好那麼一丟丟（67.8）.....
2樓：
Dear Hinton:
I reached sota in this self-supervised learning task, please allow me to cooperate with you to further enhance this result.
Sincerely, Ting
3樓：肖春陽
說個題外話。感覺文章投到了icml。
不管文章好壞，我覺得大佬們這樣做真的不太厚道，審稿現在還沒結束。放出來帶一波流量無非就是給審稿人壓力讓他收你的文章。
4樓：akkaze-鄭安坤
感覺利用dataaug生成不同view的方法然後在latent space裡相互吸引和遠離確實是乙個好點子，很像triplet，用影象對比來做自監督，思想也早已有之，只不過中繼監督用到了特徵圖上，而這又和蒸餾很像。
換乙個思路，加正則化，在保持有效寬度和深度的同時減少有效參數量會不會也是乙個好的方法。這讓我想起來tridentnet，以及流形上的卷積網路（試圖建模卷積網路的各種不變性），發現cnn在影象上的內在不變性也許也是個好方向，能讓cnn收斂的更好更快。
我做過類似的工作，稀疏化乙個cnn的kernel，完成後把這些稀疏化的mask記錄下來。然後重新訓練，但是mask依然存在，收斂速度能提公升不少（這意味著保留深度寬度，但是有效引數更少的網路收斂更快）。我相信發現內在對稱性的工作一定更有意義。
但確實不是一件好做的工作。
5樓：王越
調實驗不work的間隙來簡單回答一波。科研意義不大，實際(工程)意義非常大。
過去一年來，相繼有cpc, cmc, moco出來，想要解決的共同乙個問題就是，如何提高softmax中negatives的數量。其中cpc用了patch based方法，cmc用了乙個memory buffer，moco用了momentum update去keep乙個negative sample queue。這篇文章告訴大家，只要機子夠多，batch size夠大，每個batch中除了positive以外的都當negatives就已經足夠了。
基本就是暴力出奇蹟的典範，不看作者列表以為是quoc le做的 (手動狗頭)
如何看待華晨宇新工作室成立以來的表現？
2020.2.12 華晨宇工作室發博，搬運了9個微博樂評人的評價，包括乙個黑子我只想說 這個工作室真的處處透露著業餘的氣息 稍微了解微博的人，都知道微博上亂七八糟什麼人都有。讓9個來路不明的路人，評價乙個專業歌手，還是通過歌手工作室官方賬號發的，你細品. 等貓的魚 普普通通 希望未來可以更好一點 最...
如何快速適應新工作，消除自身自卑感，找到自身價值？
題主所謂的文職工作，估計大概範圍在行政類，部門助理類，文案管理類，以及部分的人事管理方向上。在這些方面上，除了人事方面相對模組清晰些，發展方向也比其他幾類清楚些以外，其他的幾個型別都屬於需要自我激勵並且時刻記得給自己豎立乙個小目標的型別，否則很容易陷入無所事事，沒有目標沒有反饋沒有成就感的迷茫圈子裡...
如何評價櫻花漢化組？
晴凝 就 問題主要有以下幾個 1.內容比較敏感 BL漫畫你們都懂。換言之，這種站在特定讀者圈是鋼需。2.形式違規 看的都是內容，這種形式肯定是損害了一批出版商的商業利益。以上兩點決定了，這個圈比較混亂。你又不能搞太大，又得在道上的人中間混出名聲 說個形象點的比喻，就是前面有虎，後面有狼。還有一堆追漫...