壓縮感知和深度學習的關係

時間 2021-05-29 22:55:01

1樓:

這個問題需要這麼糾結麼? 簡單說壓縮感知可以做深度網路的乙個特例。

深度網路的有效性的根本原因或者說其根本目標就是尋求對問題的有效表達,或者說其能有效解決的問題其實都是簡單(具有低複雜度的有效表示的)問題。這個概念在多體量子系統中也早有表述,一般的多體量子系統的複雜度是指數的,能夠有效表達的多體量子系統態是個零測集(The corner of physical states)。同樣,深度學習系統也是在用乙個低複雜度的模型(深度網路)來表述本質上的低複雜度的問題(The corner of physical objects),因為如果問題本身的複雜度就是指數的,我們是無法用深度網路對其進行有效描述的,複雜度這東西不能跳過去。

這也是深度網路和淺網路的本質差異,淺網路本質是乙個高複雜度的對問題的表示,所以雖然理論上其具有通用表達能力,但是實際中其效率是低的,其問題就在於不區分不同複雜度的問題,無論問題簡單還是複雜,淺網路都採用一種表述。

壓縮感知也是追求對問題的低複雜度表示,從這一點看,其核心思想和深度網路表示是一致的。但是二者又有區別,壓縮感知中有效描述的尋找用的是簡單模型,比如假定線性或者是實用簡單的非線性變換,而深度網路使用了更複雜更靈活的模型(深度網路)。簡單的說,就是壓縮感知在乙個很小的可能解空間中尋找目標,深度學習在乙個更大的解空間中尋找目標。

2樓:

雖然hinton大神做了好多年的無監督、稀疏性學習(或者預訓練),但不是整個deep learning學界都在做這個。而且深度學習不一定要降維,很多都是在公升維來換更強的模型表達力。

如果說和壓縮感知有什麼關係的話,就是DL界很多人有乙個神經科學的夢,認為好的模型一定是能算出資訊的有效表示的(efficient coding),這麼看來DL可以作為壓縮感知的乙個工具(非監督學習),但其能力遠不止於此(很多都用於有監督學習,而且並不一定個個都壓縮了輸入資料的編碼長度)。

3樓:Stephen Wang

深度學習是一種學習理論的framework, 並不只侷限於俠義的神經網路, 而是一種廣義神經網路的構架, 它包括卷積神經網路, autoencoder, sparse coding, strict boltzmann machine在內的不同網路層結構, 優勢是結合了無監督學習feature learning, 和有監督的引數 fine-tune, 多層結構能夠表達複雜和抽象的概念.

壓縮感知是一種稀疏表達方式, 主要貢獻是顛覆了Nyquist取樣率的限制, 和深度學習沒有乙個必然聯絡, 當然已經有文章將二者結合起來做community detection(doi:10.2991/ccis-13.

2013.3).

深度學習與機器學習的關係是什麼?

瘋貓子 沒有一種技術的發展是孤立的。開局一張圖 深度學習是機器學習的乙個重要分支,深度學習和機器學習的關係屬於繼承和發展的關係,其實不單單是這一分支如此,幾乎所有的演算法分支都是早期技術的重組 繼承 發展而來。如上圖所示,我大致把這些技術的繼承發展關係用導圖的方式進行展示,圖中沒有標註顏色的都是發展...

人眼和時間感知的關係?

無畏光明精舍主人 應邀佛法認為,人生的一切感知與境遇,皆與往昔今生的業緣密切相關。時間,也是與往昔今生的業緣密切相關。而且是相對的。例如,佛經中說,六道眾生的時間概念是不同的。有些餓鬼的乙個月,相當於人的十二個小時。而人的五十年,相當於四天王天的一天。即使同為人,因為業緣的不同,眼睛對時間的感知也是...

如何和朋友養成深度關係?

小艾 一 能力是建立了深度關係的結果 二 建立深度關係需要持續的投入 三 建立深度關係的關鍵,不是將你的自戀強加於事物之上,而是放下你的自戀想象,尊重事物本身的真實規律 四 一件外部事物能否被我控制,取決於那一刻我的內部狀態 這是嬰兒式全能自戀心理的殘留。最後補充一句 你是人,不是神。 小佛狸 當你...