1樓：Hanamaki
有一種說法：在自然語言領域，淺層模型解析的是語法結構，深層模型解析的是語義結構，例如：我愛北京和北京愛我 ，從語法上來說兩個都是對的，都是主謂賓，但是從意義上來說，第二句不對因為北京是個地點無法有愛這種動作。
語義建模(或語義語法)通常與語言建模(或語言語法)相比較，我們現在從二者的定義和對比來理解語義建模。
語義語法和語言語法都定義了理解自然語言句子的形式。語言語法涉及名詞、動詞等語言範疇。另一方面，語義語法是這樣一種語法，它的非終端不是名詞或動詞等一般結構或語言類別，而是人或公司等語義類別。
語言和語義兩種方法在20世紀70年代幾乎同時出現。作為計算語言運動的一部分，語言建模一直備受關注，並且是整個自然語言處理開發的基礎。
理解語義語法和語言語法之間區別的最簡單方法是看下面的插圖:
在上圖中，上下句子相同，但處理方式不同。下面的部分使用傳統的語言語法進行分析，其中每個單詞都用PoS (語音點)標記，如名詞的NN，形容詞的JJ，等等。但是，上面的部分使用語義語法進行解析，乙個或多個單詞形成高階語義類別，如日期或地理，而不是對單個單詞進行PoS標記。
這當然是語言方法的高度簡化的定義，因為我們忽略了共同參照分析、命名實體解析等。
這種將單個單詞組合成高階語義實體的能力被引入來幫助解決困擾早期NLP系統的乙個關鍵問題——語言歧義。
2樓：木鐸之心
首先你學習麼有乙個底層邏輯，它可以指導著你進行其他模型的轉換和相互利用。
深度模型它能夠讓你認識到失誤的底層邏輯，也能夠幫助你延伸去聯絡其他的知識點，有了深度思考的模型，想其他的問題，他只用去套上去，能夠節省時間，能夠高效地回答問題。
淺層模型呢，它最大的乙個特點就是回答的很快是呢回答很淺顯，不能夠一語中的的，去找到深層次的問題的根本的真正的原因。
3樓：Qien ZHANG
淺層模型相對深度學習而言，簡單很多。 就像是決策樹與隨機森林模型的關係，單層與多層的關係。淺層模型一般只有一層隱層，而深度學習則有多層，可以是四五層，也可以是上百層的。
一般而言，隱層越多，模型越複雜，也可以說，越能滿足解決複雜資料的需求。深度學習在提取特徵上十分高效，節省人力，包括對結構化的資料與非結構化的資料。而且，深度學習強調端到端的學習，從資料輸入到輸出，中間存在著乙個黑盒子，其能進行自動學習，對於處理海量的資料而言，非常方便。
4樓：Mr.喵
相比淺層模型，深度模型的優勢是：
用更少的引數可以把更複雜的對映關係表示出來。
讓模型更容易防止過擬合現象。深度模型所用到的引數更少了，所以越不容易過擬合。
可以表示層次的關係。淺層模型通常只有一層，而深度模型通常具有多層，可以表達特徵之間的層次關係，以及更複雜的x與y的對映關係。
可以提取高階的特徵。對於傳統的機器學習的淺層模型，我們通常對資料集做更多的預處理以及特徵提取並且配合技巧選取合適的模型才能取得更好的結果。而深度模型則同過神經網路的方式自動提取複雜的高階的特徵。
具備一定的引數共享性質。
具備一定的全域性泛化能力。
5樓：喵喵喵
與淺層模型相比，深度模型的優勢是：
深度模型能夠節省引數的數量，它通過使用更多的層數，能用更少的引數來表示淺層模型想要達到的效果。舉乙個不算嚴謹的例子，比如有乙個一層的淺層模型，這一層一共有64的引數，若用深度模型來表示的話，可以使用乙個三層的深度模型，其中每層有4個引數，這樣和淺層模型擁有同樣的表達能力。但深度模型只需要12個引數就能達到這個效果。
也正是因為這樣，深度模型能夠有效地防止過擬合的現象，使得模型的泛化能力更強。同時，深度模型更容易去表達乙個複雜的關係，能夠通過一層層的歸納抽象把資料隱藏的複雜規律體現出來，其實也更貼近人腦的邏輯。不僅如此，深度模型還擁有一定的容錯性，對於部分過於敏感的資料，其結果不會受到太大的影響。
6樓：2fight41love
深度學習相較於傳統機器學習（淺層學習）優勢主要在幾方面：
1.特徵提取，對於傳統的機器學習模型比如LR，SVM，決策樹來說，我們需要對資料集做更多的預處理以及特徵提取並且配合技巧選取合適的模型才能取得更好的結果。深度學習則有自動提取特徵的效果，每層神經網路都是對乙個特徵的學習與擬合。
2.表達資料的能力，模型其實是對資料規律函式的乙個擬合。深度學習隨著深度提公升，神經元個數增加，它的擬合能力會遠超過傳統的機器學習方法。
在資料量足夠大的情況下，深度學習往往能獲得更好的擬合結果
3.容錯性，傳統機器學習根據演算法的差異或多或少會被敏感資料影響最終的結果，而深度學習對於資料的容錯相當大，部分敏感資料不會對結果產生影響。
4.遷移能力，深度學習可以通過遷移學習將模型直接應用到新的資料集上，而傳統的機器學習得從零開始重新訓練模型。
7樓：Rachel Yao
相對淺層模型，深度模型有其過人的優勢，但也因情況而異。
深度模型是基礎淺層模型的疊加，因此深度越深，模型會約複雜，所以提取的特徵會增加。如CNN包含很多隱含層，因為每個隱含層所能提取的特徵會不一樣，隱含層越多，所能概括的特徵也會增加。下圖[1]是用CNN進行貓狗分類任務中每乙個hidden layer的visualization。
有下圖可以看出沒一層在特徵的提取上是有偏向的。因此層數越多，所能提取的特徵的類別就越多，模型的表達能力就越強。
但是由於深層模型非常複雜，提取的特徵非常多，因此也越容易過擬合。對於一些比較簡單的任務，如對一堆點進行擬合，就不需要用到深層模型，提取的特徵過多，過擬合的風險就會更高，如下圖[2]。紅色虛線模型就是過擬合的典型例子，如果將該模型放到用unlearned data進行測試，準確性將會非常低。
這就影響了模型的泛化能力了。
[1]J. Lemley, S. Bazrafkan, and P.
Corcoran, "Deep Learning for Consumer Devices and Services: Pushing the limits for machine learning, artificial intelligence, and computer vision," IEEE Consumer Electronics Magazine, vol. 6, no.
2, pp. 48-56, 2017.
[2] B. Liu, Y. Liu, and K.
Zhou, "Image classification for dogs and cats," TechReport, University of Alberta, 2014.
8樓：敵人就在本能寺
1、首先深度學習是機器學習的一種。機器學習包括簡單一些的模型包括KNN,LR，樸素貝葉斯、甚至包括單層感知器。而深度學習主要是多層感知器疊加複雜模型並且擁有更多的隱匿層，能夠處理更加複雜的特徵與標籤之間的關係。
2、大概在80年代的時候，提出來了神經網路，後面LeCun幾個大佬發現可以把影象卷積和神經網路整在一起，就出來了CNN。這其實也就是乙個將神經網路內建複雜模型的例子。
3、淺層演算法比較注重特徵工程，比如歸一化、複雜一點的像正則化。但是深度學習更注重對架構的計算和對超引數的優化，並且對模型回歸分類的準確率更高。
9樓：
主要來說的話，想要達到機器學習一定的準確率以及精度，淺度模型難免會選擇過多的引數，這樣不可避免造成過擬合的現象。深度模型通過多個模型的疊加，可以使每一層的引數數量大大減少，從而達到避免過擬合。
再者 ，當運用淺層模型的時候，很多的時候是需要運用特徵工程對於輸入的資料進行規範的，因為淺層模型，比如隨機森林，svm 通常對於資料只是進行直接的計算和分類。這個時候，結果的好壞，很大取決特徵工程的效果。但是深度學習可以將特徵工程的步驟自動化，這樣更加方便，結果更為準確。
還有就是深度模型在計算和優化過程中，能夠很好的實現模型分散以及平行計算，這樣在擁有平行計算能力硬體條件的基礎上，優化效率高。
10樓：Deplorable Eric
理論上來說，每層由無限個神經元組成的兩層感知機具備擬合一切函式的能力。但是現實中我們卻往往傾向於使用更多層的感知機和每層更少的神經元來做模型擬合。這其實就是深度學習和淺層模型的乙個取捨問題。
深度模型往往是用深度來取代廣度。原因是更容易訓練。理論上來講，所有深度模型所能達到的訓練精度淺層模型（兩層感知機）都可以達到，但需要極高的模型複雜度（每層趨近於無限的神經元）可想而知由此帶來的訓練和調參難度是極其巨大的。
因此我們加深模型的深度，來取代每層的無限神經元，使得每層只用少數的神經元但是通過累加層數，每層經過非線性的擬合和線性的啟用函式來達到擬合的精度。
11樓：逆流而上的你
淺層模型（傳統機器學習模型，如：邏輯回歸、knn、svm等）只有少量或者沒有hidden layer,結構比較簡單，需要人工提取特徵，構建特徵工程，對於低維少量資料的訓練比較理想。
深度學習模型是很多模型的疊加，可以構建十幾層甚至幾十層hidden layer,結構比較複雜，可以自動學習資料特徵，並且由於結構比較複雜，可以學習出人工無法提取的高維特徵，使模型具備更加抽象的表達能力，對於海量高維資料的訓練具有明顯優勢。由於深度學習模型是多層模型的疊加，可以使用更少量的引數表示更複雜的函式關係，具備引數共享的性質，具備全域性泛化的能力。深度學習模型的訓練需要更大量的資料和更強的算力。
12樓：衝鴨
淺層學習模型一般是只有一層的線性或非線性的擬合模型，而深度學習可以綜合線性模型和非線性啟用函式，通過很多次的疊加實現更為複雜的變換能力，理論上講只要層數足夠多，就可以實現任何變換空間的轉換過程。
而正是由於深度學習的這種轉換能力，可以把之前需要人工觀察思考來構建的特徵工程交給深度學習中的前幾層神經網路來解決，比如一般認為Bert模型在淺層網路中學習基礎的字詞特徵，而在更深層學習語義句法特徵。
深度學習可以實現端到端的資料學習和訓練，是個人覺得最具有優勢和吸引力的地方。但是，深度學習需要大量標註語料，則是目前比較難解決的問題，可能還需要腦科學和計算科學相互融合，類腦計算能夠從根本上模擬出人腦處理問題的方法。
貪心學院 通過學習語言模型這節課程後，簡單描述下你對於語言模型的理解是什麼樣的呢？
張慶宇 語言模型是一種概率統計方法，用來判斷一句話從語法上是否通順。在機器翻譯，文字生成，拼寫糾錯等領域均依賴於語言模型。語言模型的實現主要依賴概率統計中的聯合概率，條件概率和邊緣概率。語言模型的本質就是根據條件概率和邊緣概率計算聯合概率，通過聯合概率判斷句子的合理性。語言模型的訓練是概率估計的過程...
深度學習獲得模型，一般都是過擬合的 但在深度學習中，過擬合不是貶義的 why
勤而勉之 你這問題內容有問題。對於一般的深度學習問題，我們希望時的loss能夠越小越好。但是由於資料中包含有雜訊，所以不能夠完全擬合，否則就會使得學到的模型不能很好的用於測試集。但是對於一些特殊資料，資料中不包含雜訊，比如從微分方程中獲取到的資料，這個時候可以想辦法讓訓練loss降低至0 1 這時沒...
深度學習模型有哪些優秀的組合應用？
星辰大海 殘差網路 Squeeze and Excitation Network SENet 軟閾值化 深度殘差收縮網路。首先，殘差網路 又稱深度殘差網路 深度殘差學習 是一種卷積神經網路。相較於普通的卷積神經網路，殘差網路採用了跨層恒等路徑，以減輕卷積神經網路的訓練難度。殘差網路的一種基本模組如圖...