深度學習中的深度一詞怎麼理解?

時間 2021-05-06 18:24:04

1樓:

按照 Bengio 的說法,3 層以下為淺層。反之你可以理解為深。

Bengio, Y., Learning deep architectures for AI. Foundations and Trends in Machine Learning, 2009.

2(1).

2樓:

從字面意思理解,「深度」是指一種空間關係。

後來研究人員擴充套件神經網路中間的「淺」隱藏層,將其變為多層結構,並且使節點更複雜,新研究的網路稱為「深度神經網路」(DNNs),或是「深度置信網路」(DBNs)。

淺層神經網路可以模擬任何函式,但資料量的代價是無法接受的。深層解決了這個問題。相比淺層神經網路,深層神經網路可以用更少的資料量來學到更好的擬合。

深度學習就是通過學習一種深層非線性網路結構,只需簡單的網路結構即可實現複雜函式的逼近,並展現了強大的從大量無標註樣本集中學習資料集本質特徵的能力。深度學習能夠獲得可更好地表示資料的特徵,同時由於模型的層次深(通常有5層、6層,甚至10多層的隱層節點,「深」的好處是可以控制隱層節點的數目為輸入節點數目的多項式倍而非多達指數倍)、表達能力強,因此有能力表示大規模資料。

對於影象、語音這種特徵不明顯(需要手工設計且很多沒有直觀的物理含義)的問題,深度模型能夠在大規模訓練資料上取得更好的效果。尤其是在語音識別方面,深度學習使得錯誤率下降了大約30%,取得了顯著的進步。相比於傳統的神經網路,深度神經網路作出了重大的改進,在訓練上的難度(如梯度瀰散問題)可以通過「逐層預訓練」來有效降低。

注意,深度學習不是萬金油,像很多其他方法一樣,它需要結合特定領域的先驗知識,需要和其他模型結合才能得到最好的結果。當然,還少不了需要針對自己的專案去仔細地調引數,這也往往令人詬病。此外,類似於神經網路,深度學習的另一侷限性是可解釋性不強,像個「黑箱子」一樣不知為什麼能取得好的效果,以及不知如何有針對性地去具體改進,而這有可能成為產品公升級過程中的阻礙。

3樓:[已重置]

好問題。

深的對立面是淺,為何要用深而不是淺?竊以為其核心差異在於深比淺更加結構化,淺網路是通用而無結構且低效的,深網路是結構化的高效的有針對性的。淺網路不對問題進行分類建模,深網路會針對問題設計結構,淺網路對問題的分辨力不如深網路。

深度網路和淺網路對於問題的解空間所構造的Riemannian metric不同,深度網路的更精細,淺網路更粗疏。

深度學習網路的寬度和深度怎麼理解,增加寬度和深度對網路模型有什麼影響?

拿LeNet試一下,發現亂改對結果影響不大.摘抄 淺層的寬度很重要,一般不少於24.但早期的LeNet只有6 模型加深還可能出現的一些問題是,導致某些淺層的學習能力下降,限制了深層網路的學習,這也是跳層連線等結構能夠發揮作用的很重要的因素。 讀了 柯均堂 的回答深有感觸剛好晚上閒著立刻動手做了個小實...

對於設計作品的深度這個詞該怎麼理解?

安靜的聘特 初心 贊同!本質上是解決需求。深度也是解決需求。深度在於除了解決表面的剛性需求。是否繼續深層次的解決消費上的,視覺上的,文化上的 不是建築專業的!觸類旁通吧!設計的深度和廣度應該都是為需求服務的吧!如果不是解決需求而設計的東西總感覺畫蛇添足。 嫣然 深度,應該是要與時代聯絡在一起的,即我...

英語中 guide 一詞的讀音應如何理解?

口紅豬小白 英語拼寫和發音不是一一對應,所以有IPA國際音標。而拼音和國際音標也並不對應。導致大家發guide gad 的時候,g 與 d 的濁化程度往往不足。按照語言學家趙元任的觀點,中文裡並沒有真正的濁子音,而只有送氣和不送氣的區別。注意下面的國際音標裡的小h是送氣的標記,在字典中往往不會寫出。...