深度學習中為什麼可以通過疊加的RBM提取出高度抽象的特徵？

1樓：賣糰子的小喵吉

修改之前的答案，之前說的也對，但是不全對。深層的dbn的w無法直接視覺化，但其實也是保留有特徵的，具體可以參考文獻 visualizing higher-layer features of a deep network 爪機沒法給鏈結，抱歉。其實ng的課程也講過相關東西，之前理解不到位，抱歉

新手自答，不知題主所說的疊加RBM是指DBN還是DBM，這兩者是有區別的。然後我想說明的是，其實可以把RBM看成是乙個降維器，PCA可以提取資料特徵 RBM自然可以。而題主想問我覺得可能是RBM疊加後（DBN）為何能抽取不同層次特徵？

抱歉，其實DBN只會將資料特徵保留在第一層的w，而深層w只是高度抽象的特徵的特徵，可能有點繞，不夠做個試驗可以很好看出來這個圖是乙個三層DBN第w1所繪製的，可以看出還是很好的保留了資料的一些特點，

而此圖是w2繪製的，可以看出只是反映了抽象的資訊而已。

2樓：

可以看一下這篇文章http://arxiv.org/abs/1302.3931,

這篇文章提出了乙個資訊抽象原則，從資訊幾何角度，解釋RBM模型對資料的抽象，進而解釋DBN的資訊抽象原理

3樓：

簡單的說：RBM就像你見到文章所說的，是基於統計力學發展出來機器學習技術，統計力學能夠用來描述我們所在的現實世界，而RBM所模仿的是這個世界中生物的神經系統，RBM展現出來的功能，正是人類向自然和和自身(大腦)學習的結果，RBM能夠得到抽象特徵就是很自然的事情。

最後乙個分類器可以使用Logistic Regression、Bayes's、SVM等有監督分類器。