1樓：Mr.Bruins
1/卷積是線性的本質就是 kx
2/線性運算就是乘加運算，就是kx+b，在二維的表現就是一條直線非線性參考各種形狀的線，二次，三次，log，exp，啟用函式帶來的就是這種非線性，
通過一段段的線性截斷去模擬非線性形狀，可以理解成積分，所有的線性線段的積分可以構成乙個非線性函式。所以本質上DNN可以模擬任何函式。
另外，pooling雖然帶來的效果也是這種截斷效應，但是，pooling的作用更傾向於簡化模型，去除無用資訊，讓模型將data抽象到高維保留更有用的資訊。
2樓：Dr.Shiki
這裡說的線性和非線性其實就是線性代數裡面的一樣的，如前面知友說的就是f(x+y) = f(x) + f(y)而已，那麼具體到你的問題為什麼relu和maxpool可以產生非線性？
例如有input,有乙個1x1 convolution layer f，然後maxpool(relu(input x f))中
input x f這個是convolute，是線性的，relu和maxpool結合著用可以實現非線性的效果，所以沒有後面兩種運算你有更多的convolution layer也是徒勞
3樓：wangyang
一般線性就是指代數裡的線性，就是f(x+y) = f(x) + f(y)。但是不那麼嚴格的話，現在人們總是把仿射也包含進來。因為把x和y變成擴充向量的話，仿射也還是線性的。
把兩幅圖分別卷積再加起來，和先把兩幅圖加起來再卷積，結果是一樣的; 如果要乘以乙個常標量，在卷積前和卷積後做也都是一樣的。所以卷積是線性的。
4樓：阿斑
線性一般是 ，有些資料並不是線性分布的，用直線不能很好的擬合。
我覺得卷積是線性的，因為滿足 ， 看作是卷積核權重， 為輸入；但Relu啟用函式是非線性的，它的整體不是一條直線.
在深度學習中，DNN分類器和MLP分類器有區別嗎？
JohnJim 只看神經元 感知機 類似的問題還有感知機與線性回歸，SVM的區別，感知機包含乙個輸入輸出層，再包含乙個隱層就是MLP了，比較 純淨 的MLP基本沒有學習率優化，引數初始化以及正則化優化方法。MLP可以說是DNN的前身，原理上沒有多大區別，只不過隱層變多了，優化方法豐富了，而廣義概念的...
深度學習中的優化演算法 NAdam 和 Nesterov Adam 有區別麼 區別在哪？
溪亭日暮 Ruder,S.2016 An overview of gradient descent optimization algorithms.arXiv preprint arXiv 1609.04747.Dozat,T.2016 Incorporating nesterov momentum...
在深度學習中，如果訓練集和測試集的範圍不一致，該如何進行歸一化或者標準化處理？
王華 如果你的測試集和訓練集不能動。那就乾脆縮放吧，都縮放到0 1之間。雖說，前面有說訓練集和測試集要同分布，說的很堅決，必須要。我是不同意這種說法的，分布這種本身概念就很模糊。打過各種比賽，神經網路需要效果優先的，你可以試試縮放法。 華矩數診台 你可以使用歸一化，訓練集0 10，歸一化不就是X X...