為什麼 Deep Learning 目前在 NLP 上還沒有什麼成功的應用?

時間 2021-05-07 04:33:06

1樓:

算是愛好者(還對其它領域NP感興趣),看到我想看到的內容,也許作為局外人看的清楚些,知識的表示和推理的不確定性決定它的困難度,比如從鏡子裡看自己是完全一樣嗎,如今演算法好像基於運算的速度來衡量的,優化不就是減少運算時間嗎,DL只是量的變化逃不出NP的詛咒,現在只希望大公司試錯來驗證它的可用性,你說的每句話讓計算機理解,計算機說的話你也要理解,這就是平等互動的,和我們之前的認識完全不同的,我們慣性的使用我們熟悉的方法,做好這件事不僅僅是方法也許還有一些眼皮底下忽略的東西使我們不得法,誰知道呢,未知才是我們源泉,計算機還沒有。

2樓:運動碼農

DL已經把所有NLP的task刷了很多遍,足以說明很多task只有模型能解決:

比如要提取一句話的兩個實體,還要分出這兩個實體的1、2順序,提取出實體後,規則很難刻畫兩個實體的前後順序,

這時NER後弄個前面實體是實體1 以及前面實體是實體2 的二分類器訓練就行了。

機器翻譯的話,

走規則,我們要翻譯10萬句話就要寫10萬句話的規則,要翻譯30萬句話就要寫30萬句話的規則,

如果用神經網路,可能要翻譯30萬句話就要有10萬句話的語料就行了。

3樓:

deep learning的特徵是:learning the feature and the classifier at the same time. 也就是說,傳統意義上我們用SVM或者比較潛層的neural network做的比較好的問題,往往,其中的feature,是非常明顯的。

這是個什麼意思呢,也就是,Deep learning,比如CNN(Convolutional neural network,卷積神經網路),會把我們的乙個偉大的理想,構造一套可以自動化分析資料的系統,推進。

NLP就是乙個非常典型的案例。相比於,語音處理和影象處理,尤其是語音處理(deep learning在語音處理中的應用很成功,比如科大訊飛已經開發出了,可以識別人類聲紋,就是聲音的指紋嘛的黑科技,就是deep learning),找NLP裡頭的feature也要容易很多。不過,其實現在的話,Deep learning在NLP之中的應用,恐怕還是很多的。

另外,這個地方的feature,他具體是個什麼呢,不是我們想的那種,按照句法給定feature。恐怕其實更多的,找feature是從詞法方面去出發的。當然這個地方略微比較複雜了,涉及結巴分詞,條件概率,馬爾科夫模型等等一套東西。

以後有空再說。

但比如說,我們現在要處理這個問題,翻譯一門死語言(貌似NLP在這方面沒有非常成功的案例)。如果是一門非常成熟的語言,比如漢語或者德語,我們可以搞出無數的feature。但是假如是一門死語言,比如古代的印度河流域居民所使用的文字(有乙個德國天才曾經用了三十年的時間去試圖破譯但是失敗了),我們不知道他的feature,這種情況下,或許深度學習會有一天發揮神效。

4樓:

其實現在比較成功的應用逐漸的變多了,許多常規的nlp問題也已經把之前的state-of-the-art刷了若干遍了。

補充乙個在research中發現的極大阻礙nlp發展的問題 -- evaluation。

我們知道,現代科學是需要量化的實證的。量化的實證需要metric。在cv領域,大多數問題定義十分明確,效能優劣一目了然,visualization也十分清晰令人信服。

但即使是在cv領域,不能量化評估的小方向,例如: style transfer還是無法成為乙個主流的研究問題,因為沒法evaluate新的文章效果是否提公升。回到nlp領域,我們知道自然語言高度多樣,高度主觀。

許多經典問題其實metric並不完美。例如translation問題中的BLEU以及summarization問題中的ROUGE。這相當於無形中把researcher們導向了可實證或者能夠提公升metrics的方向及方法。

特別是最近比較火的一些language generation文章的實驗簡直不敢恭維。當然可能不是作者態度草率,而是真的沒辦法完美的得到量化結果。所以與其空談哲學、認知科學層面的高見,不如腳踏實地改善一下evaluation metrics。

水平有限,就提出一點微小的意見,很慚愧!

5樓:Static Temp

1/問題的描述和表達。對於更高層次的文字理解和智慧型問答,很難將其像CV領域將問題歸為分類或者回歸,很難將不定長的文字轉換成固定大小的輸入。

2/模型。語言是高度抽樣的,是人類智慧型的一部分,乙個能看懂圖的小孩,卻無法判斷出一段文字的描述內容。乙個小孩的大腦複雜程度遠超過現有的DL網路。

6樓:傑瑞朱

DL其實還是模式匹配的範疇,NLP裡面也有低階的模式匹配的任務,但是更高階的智慧型其實根本就不是匹配的問題了,還涉及到推理,語言符號的摺疊展開等等,比如你理解「飛機」這個概念,必須將這個詞展開,獲得詳細的解釋,然後在展開的裡面又一層層展開到你已經理解的符號上面。這方面幾乎還沒有太多進展。

NLP理解語言應該算是最高端的人工智慧了。

7樓:Shen Math

和現在做的東西有關, 答乙個。手機碼字, 見諒~公司專業做手寫識別, 簡單的說就是把乙個手寫的文件識別成電子檔。

用的技術是RNN +LSTM, 效果怎麼樣?

簽了幾十家銀行做支票識別了, 能工業應用, 效果自然不會差。

語言有英語, 法語, 西班牙語, 目前正在開發中文和俄語。

中文的要難一些, label 和拉丁文不是乙個數量級~其實接觸deep learning 時間並不長, 但是真的很強大, 有好的儀器, 好的archi, 好的data, 可以做出很出色的東西~

8樓:竹葉青

我的理解是:dl最大的優勢是特徵提取和抽象,影象資料其實是沒有經過任何加工和抽象的,所以dl在影象資料上表現的很優異,但是文字卻相反,文字是人類高度智慧型的結晶,對實體的描述進行了高度的抽象,所以產生了類似於LDA和word2vec的工具,可以說文字和影象的處理是乙個相反的過程

9樓:凡心

nlp的終極突破還是靠機器理解力,因此nlp的解決實際上是強人工智慧的實現,目前的dl相比歷史上的神經網路模型主要是自動特徵提取上的進步,還屬於改善模式識別的範疇,而nlp屬於思維智慧型的範疇,是更高層次的智慧型行為。

10樓:orange.lpai

Stanford的phd Richard創立的deep learning startup:MetaMind=>https://MetaMind,Competes with IBM Watson Analytics and Microsoft Azure Machine Learning=>http:

11樓:李韶華

自然語言處於乙個比較尷尬的位置。如果做簡單的任務,比如分類,用詞做feature就可以做得很好。如果做複雜點的任務,就會面臨乙個高維非線性空間,用unsupervised方法很難提取出有效的規則來,用supervised方法又需要的人工太多。

12樓:

Hiton的DBN在CV上簡直是神蹟,在NLP上,簡直是跳大神。讀了幾篇,感覺完全是不能用rbm的,想盡辦法往上套,居然都用他名字發出去了。。。

13樓:

其實已經有很多現成的系統裡面使用了dnn,只不過不想圖形識別、語音識別,dnn幾乎是全部,在乙個搜尋系統或者廣告系統中,dnn只是乙個部分而已。而且dnn對比現有的其他方法已經是有很大提公升,可以參考natural language processing (almost) from scratch

為什麼有些學Deep Learning的看不慣甚至鄙視學數學的?

2prime 這種問題不想多說了 肯定是兩邊都有問題 但是說哪邊都會被該領域的人撕 今天就說乙個問題 dl沒有數學理論不能全怪數學 很多突破是需要dl社群做出來的比如 如何把dl效果好刻畫為數學問題 肯定不是逼近論數學難分析是不是因為現在網路架構還不正確?數學分析是不是先要等網路的topology搞...

用deep learning的toolbox中的dbn訓練自己的資料時,為什麼只能分出一類?

蛋蛋de悲桑 這個問題,我在最開始的時候也出現過,我先是以為是我自己的程式有問題,反覆修改發現並沒有問題。然後我看到github上,作者說這個工具箱有很多bug,所以,我最後歸咎於是這個工具箱的問題。直到最近,我用了matlab工具箱自帶的深度學習函式,我出現了同樣的問題,然後我試了別的資料集的情況...

spark和deeplearning的關係,想做大資料處理分析,是該專注於學spark還是深度學習呢?

這得看題主將來是想找更偏重演算法還是更偏重系統開發的工作?當然兩者都擅長是最好了,但是Spark好像不太適合deep learning,題主可以嘗試一下別的框架,例如tensorflow,caffe。ps,我覺得你應該聽你導師的,逃! 沒啥關係。Spark只是乙個框架而已,在上面跑什麼都可以。把Sp...