1樓：JohnJim
只看神經元(感知機)，類似的問題還有感知機與線性回歸，SVM的區別，感知機包含乙個輸入輸出層，再包含乙個隱層就是MLP了，比較「純淨」的MLP基本沒有學習率優化，引數初始化以及正則化優化方法。MLP可以說是DNN的前身，原理上沒有多大區別，只不過隱層變多了，優化方法豐富了，而廣義概念的DNN包括CNN，RNN等深度神經網路。在程式設計上，tensorflow新手入門的第乙個mnist識別就可以大概可以看作乙個MLP(去掉畫圈的部分)
2樓：
是有的。現在流行的DNN和MLP是乙個發展繼承與發展的關係。兩者在很多方面都極其相似，比如都有隱藏層、啟用函式、反向傳播等，但是早期的MLP其實是很淺層的，其網路的更新方法（感知準則函式）也和目前DNN的更新方法有區別的。
而DNN在繼承了MLP的架構之外，還發展了自身，堪稱第二代神經網路，其發展的地方有：網路的層數可以新增得很深了，啟用函式的種類變多了，對資料的擬合效果更好了，功能或應用的領域更加多了等等
在使用深度學習方法進行分類時，使用非線性方法對訓練資料進行預處理，是否會破壞原始特徵導致無法識別？
Ethanycx 從理論上來說，無論是線性變換還是非線性變換，其實都可以在網路訓練的過程中由某幾層網路來實現 非線性的啟用函式賦予了網路非線性的描述能力 因此只要資料的量和多元性滿足訓練的需求，並不需要對原始資料手動進行變換。但有些情況下，針對不同的任務，對原始資料進行合理的 經過驗證的非線性變換，...
深度學習中的優化演算法 NAdam 和 Nesterov Adam 有區別麼 區別在哪？
溪亭日暮 Ruder,S.2016 An overview of gradient descent optimization algorithms.arXiv preprint arXiv 1609.04747.Dozat,T.2016 Incorporating nesterov momentum...
在深度學習中，如果訓練集和測試集的範圍不一致，該如何進行歸一化或者標準化處理？
王華 如果你的測試集和訓練集不能動。那就乾脆縮放吧，都縮放到0 1之間。雖說，前面有說訓練集和測試集要同分布，說的很堅決，必須要。我是不同意這種說法的，分布這種本身概念就很模糊。打過各種比賽，神經網路需要效果優先的，你可以試試縮放法。 華矩數診台 你可以使用歸一化，訓練集0 10，歸一化不就是X X...