Deep Learning 的專家如此急缺,它難在何處?

時間 2021-05-06 17:56:24

1樓:

針對某一問題選擇什麼樣的模型,引數如何選擇,如何加速訓練。

評估時模型表現不好時,分析問題出在哪,應該從哪個方向解決,例如資料集?引數選擇?Batch Size?構建新的模型?

感覺類似於解決這種實際問題的深度學習專家比較少。這種東西感覺只能憑經驗了。至少目前對於我來說是這樣的。

2樓:任皓

想到那個講傅利葉變換的文章裡提到的,工程類專業課堂上,數學專業的教授來念念有詞的把各種公式反覆演繹,來回推導,像海底撈裡拉麵的師傅,炫酷;而下面坐著工科狗們只乙個念頭,你到底要幹嘛。

3樓:Bayes

牛頓三定律從數學角度看,其實是沒有什麼難度的。但是,不能否認,能發現這個定律,是人類認知的重大飛躍,也是人類歷史上少有的奇蹟年。

所以,我覺得以結果論來衡量乙個學科的價值比較好,難度可以做個參考。

4樓:Yingwei Zhou

我覺得跟其他行業一樣,基礎部分的東西,能夠被輕易取代替換的總不會是緊缺的,我覺得最緊缺的是能夠琢磨透,靈活應用的人才。工業界對問題有很多limitation,如何克服或者轉化這種限制並應用到建模和訓練上,這個是最重要的。很佩服祖師爺Hinton,Lecun他們,最艱難的時候仍然對神經網路希望不減,經常被搞SVM的同事吐槽,我覺得現在需要的就是這樣的人,祖師爺那時候是理論建模之類的問題,現在需要的可能是跟工業界進行combination,adoption工作之類的人吧。

競賽winner的模型們總會給一些新想法。

5樓:甄景賢

這深度網路的學習演算法應該是什麼? 即能夠有效率地學習複雜結構,例如自然語言,但不只是自然語言,而是 universal 的智慧型。

說到 universal 這概念,Turing machine 的特點就是它有可以讀/寫的記憶。 這暫存記憶讓它有 universal 計算的能力。 簡單的前饋式神經網路是沒有記憶的; 所以現在發展的乙個前沿就是一些有 memory 的網路。

6樓:terry

機器學習涵蓋了計算機,工程學,物理,數學,統計的學科,單一工種或者單一能力學者無法從全域性出發對問題提出與實施一整套行之有效的方案。未來這類問題解決需要的是乙個團隊來處理。但團隊需要乙個可以handle 整個架構的人,這樣乙個新的工種將出現,名曰 」機器學習架構師」

7樓:某大政

缺嗎……

題主是不知道現在Deep learning 有多熱門吧。。

且看每年ICML,NIPS等會議上的投稿數和參會人數……張袂成陰,揮汗成雨。

8樓:我以為自己是誰

之前看了回答,覺得有些人戾氣太重,看了問題,大概也能理解了。本人英文不好,很多英文單詞不認識,誤解了問的或者答的意思,請不要見怪。

首先是DL難不難,反正以我的水平是覺得難,因為整個內部感覺就是黑匣子。我覺得,很多時候我們跑資料要不停調參,就是因為理論支援不夠。如果有理論大牛告訴我們,如何從資料中快速算出最優引數,那我們肯定很開心的。

另外,個人感覺做DL理論其實就那幾個,大多數人在用而已,所以你覺得好像沒什麼理論吧。不過國內貌似做應用數學也是會被鄙視的。

另外看到有說缺少解決問題的人,我很贊同,你說LR,RF更簡單,真正用好的也不多吧。

至於成本什麼的就不說了,有人說了。

最後是提下自己的看法,如果你是研究純粹數學,其實這個跟你沒什麼關係。如果你是統計或者應用數學,其實很多搞ML的人數學功底不比你差。如果你是計算機方面的,那還是有很多數學對你有幫助的。

這本來就是綜合性的方向,不要誰看不起誰,多學學別人的東西,拿來解決自己的問題才是王道。

9樓:

我猜是因為人類試了下發現臥槽,deep learning能用。然而並不知道為什麼能用。於是就有五行八卦精氣神老中醫即視感了。。。所以專家比較少吧。

10樓:上天海津

dl真的很難很廣,首先宣告我不是專家,只是做過一些NLP和神經元網路

我親身體會,dl要一下幾點:

1.相當好的演算法功底,對各種演算法都要通,對一些關鍵算要熟悉非常的熟悉,因為dl的資料量都很大,資料的預處理清洗都很麻煩,而且要快,因為每次訓練測試都要很長時間,所以有時並不是主要的演算法耗時間,而是一些邊邊角角的演算法費時費力。有興趣的碼農可以寫乙個1億條記錄的查詢演算法,看看沒秒能到多少次,我寫的單執行緒查詢可以到500萬次/秒,用的是2015版rbm。

2.對平行計算相當熟悉,現在大量資料量都很大,一般都要用雲計算hadoop、spark這類演算法,還有顯示卡CUDA框架,這些都要需要大量費用和時間熟悉的

3.對資料的感覺要好,同樣的人群不同的時間都有不同的行為,更何況超大量的資料,這就要求開發人員看著各類的原始資料要有感覺,自動匹配到合適的演算法

4.良好的數學功底,至少圖論、統計概率、線性代數要過關,相對開發能力,這方面略微要求低一點。

5.實際專案積累,實際開發時候總要碰到各種個樣的特例和問題,如nlp開發的時候,零概率、平滑這類的小問題,這些調優都要時間磨得,一次一次的,乙個小數點乙個小數點的弄,費時費力。

6.勤奮有耐心,上面幾條都通過了,至少也要幾年的經歷,差不多都要博士,您還想幹dl碼,你同學都創業CEO,身價千萬了

不說了,我要看書去了

11樓:

GitHub - rhiever/tpot: A Python tool that automatically creates and optimizes machine learning pipelines using genetic programming.

覺得機器學習都是在調參的:)

12樓:polossk

恰恰相反,我認為稀缺的不是某乙個學科的人才,稀缺的是,有能力去歸納總結並能用在應用上的那些少數精英人才。而這些人才,不只是單單dl方面稀缺,往往任何乙個當代學科都會碰到這個人才瓶頸。

常言道隔行如隔山。形式化下隔行看問題,如果把問題看作乙個高維向量x,在學科A的理解下,可以得到這個問題的一種描述方式,其實就是x在空間A的乙個投影。同樣可以得到同乙個問題在不同學科(空間)下的描述(投影)。

如果我們在隔行看問題的時候,能夠正確地處理兩個不同學科AB(空間AB)的差異,自然就不會出現誤差了。然而實際上,大家只會尋找兩個學科的交集來去做所謂的認知。自然而然就有了誤差了。

誠然,機器學習中,很多模型,很多演算法的底層思維,思路,很簡單。有一些東西,比如正則項,比如平滑,感覺上不那麼科學靠譜。但是一旦從別的角度去看待這些問題,可能就會嘲諷「你看這些門外漢」了。

我其實是個很嚴重的實用主義者,我並不在乎,這個演算法的數學原理多高超,我也不在乎這個演算法的實(tiao)現(can)難度有多大。只要有效,我覺得工作量再大也是值得的。有些東西,比如神經網路,我真的說不清楚,為什麼學習之後這傢伙能夠那麼強,我有時甚至都不敢保證他學習的收斂性。

但是如果大家的實驗結果都是收斂的,或者說如果按照乙個一定步驟來操作幾乎會得到乙個熟練的模型,那我認為,如果有人能夠告訴我們,滿足這些條件收斂,或者告訴我們滿足這些條件不收斂,那他必然是這個學科的乙個小救星了。而成為救星並不容易,可想而知他的知識水平和應用能力達到了何等的水平。

13樓:

深度學習需要的數學基礎(凸優化,數值分析,矩陣分析,統計推斷,概率圖)把99%的程式設計師學生擋在了門外;

C/C++,CUDA/OpenCL,計算機網路和體系結構,,而資料量不到100G深度不到五六層維度沒有十萬根本感受不到深度學習的可怕威力。

所以兩個知識的交叉領域還剩多少人?我估計全中國具有可實用深度學習知識的人應該只有300個左右。

14樓:Belleve

難點在於,Deep learning 就是靠自身的複雜度砸開複雜的問題的,而人們最擅長的,分層抽象降低複雜度,對它毫無辦法。而電腦科學最厲害的地方就是可以直接蠻力砸開複雜的問題。

再舉兩個例子:

在有量子力學計算之前,沒有人相信 HArF、這種物質可以合成出來在有了計算機輔助設計之前,像大褲衩這種建築沒人敢去修

15樓:黃國明

樓主可能只是看到簡單的東西,很多時候,需要去做,然後再解釋一下,反正我覺得不容易,深度學習應該是理工結合的科學,如果你是純理科的,可能你永遠不能體會深度學習的工程難度和它的微妙。我覺得缺人的主要原因是:國內對深度學習的研究才開始,而市場發展迅速,導致嚴重的供不應求,而且似乎國內搞深度學習的人,沒有聽說幾個成為大牛,可能是沉澱不夠或是配置沒有跟上吧。

16樓:

1. 沒有理論支撐。關於深度神經網路為什麼收斂,怎麼收斂,如何控制等等內容,都沒有成熟的理論證明,所有的結果都是停留在實驗階段,儘管有時候結果很好,然而糟糕的時候是真糟糕。

2. 計算資源。個人(土豪除外)很難負擔DL硬體的所有費用,至少需要乙個配置不太差的workstation吧,如果做大一點,至少需要十台吧,然而並買不起。

說白了就是沒錢。信科有錢,然而他們數學不好。。。

3. 時間成本。伺服器上訓練乙個簡單的網路時間以天為單位,然後再調引數,結果沒出來,先把自己急死了。

4. 資料集。很難有能夠填充乙個DNN資訊量的資料集。

不管從資料集質量還是規模來看,能用的資料集太少了,同時很少有人願意做這方面的工作。很多號稱是大資料、深度學習的東西其實都是炒作,好騙投資人的錢。

17樓:

就我感覺。

1、神經網路裡對於經驗的要求太高。很多不傳之秘。如何抽象現實問題,如何挑選模型,如何配置網路,如何調整模型間引數。

前面兩點可以有公開發表的文章出來。二後面兩點基本上不去動手做不會知道。而且動手單個專案還不行。

這就使得基本上需要乙個很長時間的訓練才能學會這些。

2、要求外界環境高,高效能計算機群,海量資料,靠譜的工程師團隊使得演算法設計者能夠更專心於演算法實現和不是工程設計。這些要求基本上使得只有大廠才有這樣的條件。

這兩點使得近幾年學術界培養出的人才遠低於工業界的需求。

18樓:Watson

綜合素質要求比較高吧?交叉學科要做強,乙個必要條件是創造力。但現行教育體制並不太培養創造力。

從我心理學專業角度來講,數理分析商(大眾理解的IQ)在很多情況下並不足夠有效提公升人對環境的適應性。那麼這時就需要創造商高的人來想辦法了。當然,雙高最佳。

=與問題無關的備註:最新的IQ測算理論包含創造力(繪畫等),身體控制能力(運動等)等等。但我昨天在國內一線城市最有名的精神科醫院剛測了一次,發現居然還在把國外20年前的數理分析商等同於智商來算。

這行業自己真是太不爭氣了。

用deep learning的toolbox中的dbn訓練自己的資料時,為什麼只能分出一類?

蛋蛋de悲桑 這個問題,我在最開始的時候也出現過,我先是以為是我自己的程式有問題,反覆修改發現並沒有問題。然後我看到github上,作者說這個工具箱有很多bug,所以,我最後歸咎於是這個工具箱的問題。直到最近,我用了matlab工具箱自帶的深度學習函式,我出現了同樣的問題,然後我試了別的資料集的情況...

spark和deeplearning的關係,想做大資料處理分析,是該專注於學spark還是深度學習呢?

這得看題主將來是想找更偏重演算法還是更偏重系統開發的工作?當然兩者都擅長是最好了,但是Spark好像不太適合deep learning,題主可以嘗試一下別的框架,例如tensorflow,caffe。ps,我覺得你應該聽你導師的,逃! 沒啥關係。Spark只是乙個框架而已,在上面跑什麼都可以。把Sp...

詳述Deep Learning中的各種卷積(三)

今年放棄了廣東某985的保研資格在準備考研本來信心滿滿覺得自己頭鐵一定要去想去的專業和學校 現在突然有點難過不知道選擇的到底對不對自己是不是傻 千尋 武大華科能比這兩所學校好的985 也就那些考研競爭激烈能保就保吧很多人考研本校都考不起 再者一戰基本自己也清楚可能性很低二戰還想著邊工作邊考研我不否認...