1樓：鐵心核桃
再說我的觀點，分為兩個層面：
第一，如果從科研的角度看，SwinT V2無疑是想走GPT大模型的路，這個戲碼已經上演了幾次了，所以我覺得這種做法說實話挺沒勁的，一方面，在技術創新層面顯得沒什麼營養，二一方面，大模型是大廠的玩具，不再「親民」了；再一方面，進一步加深了某些人心中「大模型」和「效果好」之間的等號；
第二，如果從工程的角度看，SwinT V2幹的一點毛病沒有，SwinT V2那篇文章看做技術報告或者實驗報告那的確可以算作乙份好報告。畢竟工程關心的是效果，畢竟「能用堆樣本解決的問題都不叫問題」，「能漲點就是王道」。再說人家SwinT V2去探索一下「量變引起質變」的天花板也沒啥問題。
話說我老闆總是問我「你看看人家NLP裡的大模型GPT效果多好，你做目標檢測的為啥不能弄個大模型，把效果提上去？」，我諸如「模型大小和效果關係不大」的解釋了一大堆。但是現在看來SwinT V2算是出來打臉了。
真心希望老闆別看見，否則又有話說了。
2樓：不懂語言學的NLP
不了解CV，但是看了些回答，好像是說CV想follow NLP搞大模型。
個人感覺，大模型只有NLP有條件可以做，其他的都別想這個心思。
理由：大模型要基於大規模的標註資料，而NLP有個任務天然的不用花人力就有無窮無盡的標註資料：語言模型。
我們說的每一句話，寫的每一篇文章其實都是標註資料，是每個人經過至少9年義務教育訓練出來的怎麼說話怎麼寫文章怎麼表達思想的能力，然後用於了我們日常的生活。所以語言模型有取之不盡用之不竭的標註資料，而且是免費的。
而CV有可能有麼?說實話我不了解。但是必須要考慮怎麼不花錢或者少花錢把標註資料量搞上來，再說大模型。
3樓：Android
感覺大家就技術方面都講了很多了，我就說點個人看法吧。這種大規模的預訓練模型是有意義的，但確實是很沒有什麼意思。比起學術創新，我感覺這更多的是乙個工程問題。
其次，普通的研究機構基本不可能有這種財力去做這種事情，只有谷歌微軟臉書這類大公司能做。很難不讓人擔心，日後這類大模型被他們所壟斷。
雖說這類科研成果，能夠催生出很多對下游任務進行優化的研究，但始終都是為他們的研究做免費的應用拓展，讓人不是很爽。希望是我杞人憂天，格局不夠大，還望各位指點迷津。
4樓：蘇劍林
CV領域我不了解，就我經常在arxiv刷到的微軟的NLP預訓練文章來說，我隱約感覺對於NLP預訓練模型的每一種可能的排列組合，微軟都有團隊在做實驗。
所以，如果我的猜測成立，那麼在這種背景之下，偶爾出個大改進是可能的，但多數結果都是小改小鬧也是必然的。
5樓：sqrt-1
粗略看了一眼，一眼看上去好像創新有限...
但其還是極具工程價值的，展示了大模型的力量。
imagenet 打破了Google 九十以上的壟斷（以四十分之一的資料）
ade20k 等又推向了乙個新高度... 大模型威力真的大
用到的一些zero optimizer對大模型優化確實有效（deepspeed真香）
期待開源應該是對torch使用者的福音（fb kaiming mae也用上了tf tpu）
其資料集具體實現包括pretrain 下游任務工作量感覺相當大
這篇文章中的工程價值還是挺豐富的。包括具體實驗，trick（cos / layernorm）等
u1s1 之前kaiming的mocov3 也有點暴力美學但大家只會覺得 fix一開始的linear層很巧妙
如何評價微軟亞洲研究院（MSRA）？
zhebaoer 個人看法吧，這是李開復對中國做的最有益的事。造謠事件之後李沒啥事，估計也和這個有關哈哈。90年代，外企是什麼概念呢？那陣的外企是努力工作，實現個人價值，堅決沒有鐵飯碗。那陣做生意是要一口廣東話的。那陣初中甚至小學畢業就出去闖蕩是被人敬佩的。996那陣還叫事麼？遲到了直接fire也很...
如何成為微軟亞洲研究院的實習生？
乙個有學術追求的研究生應該在學校的圖書館裡研究高深的學問，解決基本的科學問題，而不是去msra這種商業機構刷簡歷，在微軟的末流的商業技術研發問題上浪費寶貴的時間。研究生做實習生十分不推薦，何況還是msra這種二三流的商業研發機構。 不建議到msra去實習。msra名氣很大，很能騙一些低年級的本研同學...
如何評價廣汽研究院
智車實施方案聯盟 當然還的研究院對汽車發展有好處，關鍵汽車發展已到末路，再研究研究沒有必要，必須改變，有所突破，才可以改變現在交通的所有問題。 peanut 我接觸的OEM廠還是較多的，從接觸情況看，廣汽研究院還是很不錯的。工程師做事態度很認真，一般都是就事論事。對於他們不懂的地方，都是深糾下去，直...