1樓：本馬
BERT的思想與其說是無監督，更確切說是自監督。自監督的概念是起源於CV領域，NLP領域剛剛興起，BERT算是乙個成功範例。不過這東西除了概念外，其實往下能挖的會比想象中的少。
多做做實驗就知道了
2樓：論智
目前來看確實有偏向無監督學習的趨勢。
就拿深度NLP最基礎的部分詞嵌入來說好了。2023年Pilehvar等的研究表明，當輸入文字足夠龐大的時候，基於知識的含義嵌入（利用WordNet、WikiPedia、DBpedia等外部知識資源改進詞向量）能夠提公升文字分類的效果，但在大多數資料集上，預訓練的含義嵌入，相比詞嵌入，表現沒有明顯的提公升。
2023年5月，Glockner等提出了乙個領域外NLI測試集，這是乙個比SNLI更簡單的新測試集，但是多個NLI模型在上面的表現反而差很多，說明這些模型的概括性很成問題。
從上表可以看出，這些模型中只有KIM的概括性還可以。KIM在ESIM模型的基礎上加入了詞對向量，這些詞對向量是基於WordNet手工編碼得到的。這似乎說明在無監督模型中加入語言學的知識是有益的。
但是，5個月後（2023年10月），Joshi等提出了pair2vec，使用無監督學習方法學習詞對嵌入。加入現有模型後，在領域外NLI測試集上的表現超過了KIM：
目前而言，古老的笑話「NLP模型表現不好就開掉乙個語言學家」還沒有過時。:-(
3樓：渣渣學渣
是的。NLP，無論是做任何任務，標註資料都是稀疏的，而理解自然語言很多時候僅僅依靠少量的監督資料很難達到。
人理解語言其實也是因為有大量的先驗知識，才能去揣測理解一些新面臨的語境和語言。其實在BERT出現之前，應該有很多人（我們工作中就是如此）就是使用大量無監督文字預訓練語義表達，再結合任務去調整。
對於設計作品的深度這個詞該怎麼理解？
安靜的聘特 初心 贊同！本質上是解決需求。深度也是解決需求。深度在於除了解決表面的剛性需求。是否繼續深層次的解決消費上的，視覺上的，文化上的 不是建築專業的！觸類旁通吧！設計的深度和廣度應該都是為需求服務的吧！如果不是解決需求而設計的東西總感覺畫蛇添足。 嫣然 深度，應該是要與時代聯絡在一起的，即我...
深度理解T S 艾略特的《荒原》對於東亞文化圈裡的普通人算不算極難？如果是，有什麼解決方法？
我在英國讀高中，這學期英文文學課現代文學部分讀的就是這首詩，知道背景後沒有什麼壓力。主要就是Elliot這首詩裡面用了很多典故，很多引用還是各種其他語言的，第一遍理解肯定有難度。這首詩裡面用了太多典故了，從古希臘羅馬神話，聖經，佛經，一直到再後來的莎士比亞，Chaucer還有當代ragtime音樂，...
深度學習中的深度一詞怎麼理解？
按照 Bengio 的說法，3 層以下為淺層。反之你可以理解為深。Bengio,Y.Learning deep architectures for AI.Foundations and Trends in Machine Learning,2009.2 1 從字面意思理解，深度 是指一種空間關係。後...