1樓：knnay
很多資料集中大部分都是冗餘資訊。有用資訊只佔整個資料集的很小一部分。
如果能夠在深度學習進行特徵學習的過程中，把冗餘資訊自動地剔除掉，就有可能提高深度學習的效果。
（面向強噪、高冗餘資料的）深度殘差收縮網路
2樓：小文
這個問題下的高質量回答已經很多了，我從工程師的角度談一談深度學習應用的瓶頸。尤其是深度學習對比傳統機器學習應用的瓶頸。
這不是說傳統機器學習就不用資料，而是深度學習在資料方面存在這麼幾大劣勢：
要求的資料量太大了，和傳統機器學習完全不在乙個量級；
傳統機器學習很能夠利用結構化資料，這樣一來資料的獲取和處理都相對規矩方便一些，而深度學習的主要應用領域——語音和影象，導致深度學習面對的主要是非結構化資料，這就比較費事兒；
當前應用中最能出效果的還是監督學習，直接導致了對標註資料的依賴，所以才說有多少人工就有多少智慧型。
當然，半監督學習和無監督學習，雖然應用上還欠點火候，但畢竟是個美好的方向。
深度學習的黑箱特質，在不可解釋、沒有真正實現推理、不代表因果這方面已經被人吐槽的很多了。
說實話，作為工作者，我是不介意的，但是使用者們介意！
深度學習的可解釋性太差。一方面，我們難以知道網路具體在做些什麼；另一方面，我們很難解釋神經網路在解決問題的時候，為什麼要這麼做，為什麼有效果。
你敢說你開發了一輛車，這輛車能自己開自己，但是咱不知道它是怎麼開車的嗎？？？
而傳統的機器學習，因為模型本身的結構相對明確，也因為有著設計特徵這一必不可少的工作流程，恰好有著解釋性良好的優點。乙個極致的例子是簡潔明瞭的決策樹，如下圖：
所以，當面對以下兩種方案：
準確率85%，附上ppt，前因後果邏輯推理一目了然
準確率95%，但就這乙個數字
你覺得哪一項被應用起來的可能性更大？
演算法的落地需要硬體。別的不談，深度學習在無人駕駛中的應用，最後一定會落到嵌入式上，也就是說，你最後需要一塊「板子」，在上面跑你的深度學習模型。
對於工程師，把模型從計算平台放上去「板子」，工作量不亞於訓練乙個模型，其中涉及到模型的裁剪、量化和對某些特定的網路層做再訓練。
總而言之就是很費工夫。
這是業界的乙個通病，所以你會看到行業內的各方會把這件事當成一件事情來對待。比如英偉達 @NVIDIA英偉達 會提供和自己平台匹配的模型壓縮工具TensorRT，專注做自動駕駛演算法的Momenta @Momenta 也會提供嵌入式解決方案，而地平線 @地平線HorizonRobotics 從一開始就把軟硬體當成一體化處理了。
3樓：鹽選推薦
一些目前最熱的神經網路，例如卷積神經網路、迴圈神經網路、強化學習、生成對抗網路等，它們有很多神奇的地方，在實際中也得到了相當廣泛的應用。但神經網路也好，深度學習也好，都不是萬能的，它們有其自身的侷限性。
神經網路的乙個侷限性是，需要依賴特定領域的先驗知識，也就是需要特定場景下的訓練，說白了就是神經網路只會教什麼學什麼，不會舉一反三。神經網路的這個侷限性，是因為神經網路的學習本質上就是對相關性的記憶，也就是說神經網路將訓練資料中相關性最高的因素作為判斷標準。打比方說，如果一直用各個品種的白色狗來訓練神經網路，讓它學會「這是狗」的判斷，神經網路會發現這些狗最大的相關性就是白色，從而得出結論：
白色 = 狗。在這種情況下，讓這個神經網路看見乙隻白貓，甚至乙隻白兔子，它仍然會判斷為狗。機器學習的這種呆板行為，用專業術語描述叫「過度擬合」。
如果想讓神經網路變得更聰明，就必須用各種顏色、各個品種、是否穿衣服等各種場景下的狗來訓練神經網路，如此它才有可能發現不同的狗之間更多的相關性，從而識別出更多的狗。人類則不同，乙個兩三歲智力發育正常的孩子，在看過幾隻狗之後，就能認出這世上幾乎所有的狗了。無須大量標註資料和特殊場景的訓練，只需要少量的資料，人腦就可以自己想清楚這個過程。
在這方面，目前的神經網路和人腦相比，還有很大的差距。
再如前面提到的汽車和貓的例子，如果一直用正常的汽車來訓練這個神經網路，那麼當神經網路突然看到圖 3.14 的時候，很有可能無法把它認作汽車，而覺得它更像貓。
這個問題在自動駕駛領域顯得尤為突出，由於道路交通狀況的複雜性，各種交通指示標誌的多樣性，想把所有的道路交通場景都訓練到顯然是不可能的。2016 年特斯拉第一起自動駕駛致死的事故也和這個原因有關。
4樓：起啥名字呢
nlp最大的瓶頸是缺乏知識，如何把語言中的資訊（知識）用數字表示，知識圖譜一定程度就是個詞表。
深度模型無非就是y=f(x)中的函式f，怎麼更好的表達x呢，詞向量遠遠夠不到我們的需求，這也是為什麼bert效果好的原因。
次要的瓶頸才是缺乏推理，這就是f的問題，即模型的擬合能力。
5樓：黃唐延
深度學習領域現在所面臨的乙個核心是：由數百萬神經元組成的神經網路能否從隨機權重引數開始，從訓練資料中獲取執行特定任務需要的所有知識，並學會執行一項特定的任務 ，如影象識別或機器翻譯。
6樓：風翼冰舟
感覺除了影象領域，在nlp和3D領域表現不是特別出眾，不過近年來siggraph上出現一些深度強化學習做角色控制的效果不錯，但是僅限於簡單的週期性行為，比如走跑跳，但是在舞蹈之類的角色生成中效果不咋滴。
7樓：趙夕
在醫療領域，深度學習既不能保證陽性結果都正確，也不能保證陰影結果都正確。那麼他很難在醫院廣泛使用。出了醫療事故，誰都不願意負責。
8樓：趙英俊
瓶頸之一是因果關係的表示和推導，現在我們拿海量標註好的資料或者用強化學習的方式來訓練神經網路，雖然能夠得到我們想要的結果，但是往往知其然而不知其所以然。因果關係的推導涉及很多層面，包括邏輯、知識、決策等。這是當前深度學習所缺少的，現在的深度學習其實是將實際問題和數值用概率化的表示，從而得到一種內在的聯絡，進而使神經網路能夠work 而已。
9樓：張子恆
1.結果普遍缺乏可解釋性。這也是為什麼深度學習始終難以用於觀念領域的原因之一。
簡單來講，就是，他work你不知道他是怎麼work的，他fail了，你同樣不知道他為什麼fail. 另外，誰也不知道深度模型generalization能力靠什麼保證。答主是搞視覺的，個人表示只要聽說乙個自動駕駛方案是用深度學習做出來的，是絕對不敢用的。。。
2.難於利用先驗知識。現在大部分深度學習的工作是對特定任務，利用海量資料從頭訓練得到結果。
然而很多任務本身是有許多我們已知的知識的，我們卻很難把這些知識告訴深度模型。舉個例子來說，人類知道世界是三維的，所以我們觀察在乙個角度乙個物體基本就可以知道他在其他角度觀察會是什麼樣子。但這類知識目前我們只能借助variance的data訓練這種暴力方法告訴網路。
這也是訓練trick裡data augmentation如此關鍵的原因之一。
3. 結構缺乏涉及準則。前面也有答主提到理論缺失的問題。
目前深度結構的設計基本靠經驗和實驗，缺乏理論指導。所以深度模型一般是很task specific的，基本上是一類任務有一類大家過去經驗比較work的一些結構。另外，深度模型應該設計的多深多胖也是個問題。
不同的任務難度顯然有差異，那麼模型大小是不是應該也隨之變化？當然，我們現在也並不清楚對於深度模型，什麼任務算「更困難」或是「更簡單」。。。
4.訓練困難。深度模型本身引數數量巨大，訓練時為了利用鏈式法則求導，需要儲存的中間變數又太多，非常低效，資源占用過多。
另外是全域性最優無解，目前只能使用各類基於SGD的方法迭代求解，且並不能總是得到較好的結果(這裡只講優化結果，最終效能又是乙個玄學故事了。。)，這你看網上各類奇葩的loss曲線就懂了。。。
暫時就想到這麼多。
10樓：我愛小魔仙
同意大牛Yann LeCun的說法，深度學習的基石是概率論，而不是因果論。他認為概率理論只是乙個工具，而非現實或智慧型系統的基本特徵。
我也覺得，弄懂因果、為什麼才是真正的智慧型，只從統計領域的概率去看待問題，就像為了應付考試背題一樣，換個花樣考一道類似原理的題就不會了。你想一下，小孩子的成長過程是不是一直在問為什麼，如果你告訴他就是這樣的，這個問題40%的概率選A，20%的概率選B，40%的概率選C。那麼這個孩子長大了可能能解決一點問題，但是一定會是不動腦子的傻孩子。
這個問題我覺得是深度學習基石層面的隱憂。
11樓：三腳插頭
簡短的羅列下我的理解，重要性遞減：
１．人工神經網路沒有完全模擬神經網路。
２．模型從嚴謹的設計＋論證＋實驗，逐漸走向【大力出奇蹟】的畫風。
３．硬體瓶頸。
具體的解釋：
１．目前沒有清晰的生物學現象可以證明，人腦中存在如CNN、LSTM這樣的結構。目標識別、語音識別、邏輯推理這些智慧型行為究竟如何產生和運作，仍然是個謎。也正因如此，不少學界大佬一直在探索DNN以外的模擬人腦的計算模型，比如Hinton近期提出的Capsule Network，推薦收藏夾乙個capsule network。
２．簡單的模型，如Logistic Regression, Support Vector Machine, Random Forest等，都可以很容易的用平白的語言解釋清楚，但這些模型難以應對機器視覺、NLP等複雜任務。DNN雖然更強大，但是近幾年讓人驚喜的工作越來越少，多數工作侷限於增加深度、增加神經元數量、改變網路結構的三板斧，而且這些改動的可解釋性越來越差。很多頂會文章，其實驗部分透露著【其實我真的不知道為什麼要這樣設計，只是你看，我這麼做了效果就好多了，所以我很厲害呀】的文風。
【怕得罪大佬，所以我不舉例了
３．硬體的瓶頸在於如何提高運算效率、降低儲存損耗。當今炙手可熱的網路，如ResNet系列、DenseNet系列，動輒上百層，資料集動輒幾十GB，有的能到TB量級，訓練速度又慢，50 Epoch已經算很少了。如果沒有高效能的GPU集群，帶動這麼大的工程基本是痴人說夢。
但很多實際應用，如自動駕駛，若是在一輛家庭轎車裡裝乙個GPU集群，這輛車就坐不下什麼人了。
小結：重要性的排序主要考慮，瓶頸1一旦被解決，等同於人類完全認清了大腦的工作機制，其影響將上公升到哲學層面，而非單純的電腦科學、生物學或數學層面。瓶頸2和瓶頸1類似，目前人類就是通過不斷突破瓶頸2的方式，去衝擊瓶頸1。
至於瓶頸3，則是最現實的瓶頸，畢竟只要硬體能hold住，我們可以繼續嘗試一萬層、一百萬層的神經網路到底能做哪些事情。
深度學習在工業工程領域有哪些典型的應用？
不立危牆Amon 主要是機器視覺 缺陷檢測吧？有2d 有3d的。3d壁壘略高。3d手機 汽車精密製造 高鐵製造 飛機葉片製造等。深度學習目前創業公司很多，小程式 智慧型寫作 金 融服務 醫療影像 測序診斷 食品質檢 機器視覺 工業檢測等等，都接觸過一些。純演算法公司能落地的不多，總是測算不到正向現金...
視覺 自然語言 語音等AI領域，有哪些深度學習暫時處理不好 或者不如傳統方法的方向？
多智百科 我對自然語言處理有一定的了解，我簡單介紹一下深度學習在自然語言處理中的應用，近幾年，深度學習在影象和語音處理領域已經取得顯著進展，但是在同屬人類認知範疇的自然語言處理任務中，研究還未取得重大突破。深度學習在影象的語音領域取得了突出成果，但是在自然語言處理上還未取得重大突破，與語音和影象不同...
深度學習的研究領域是否有被過度誇大？
Nature有DL文章，TOG也有很多DL文章，到生物學 醫學期刊，也有很多DL文章，DL滲透各個研究領域，等待它落地，為行業附能。肯定會存在過度誇大。 Michael Jackson 自己試試就知道了 機器學習是什麼?是要讓機器讀懂客觀資訊。然而需要人類智慧型的輔助，機器有的是資料製造和運算能力，...