1樓：
如果採用線性啟用函式，那麼其實每一層的權值矩陣都可以直接相乘，到最後你會發覺自己在拿神經網路作多元線性回歸。模型缺少非線性錶出的能力。
2樓：魏秀參
非線性是神經網路或深度學習的「精氣神」，正是由於網路中強大且無法形式化的非線性，才在當下大資料時代成為明日之星 (http://www.
)。另外，當初人工神經網路（Artificial Neural Networks）的提出就是為了模擬人的神經元，假若網路中全部是線性部件，那麼線性的組合還是線性，與單獨乙個線性分類器無異。這樣就根本做不到用非線性來逼近任意函式。
3樓：
乙個神經元的主要工作就是對2種狀態分類，線性啟用函式對分類能力增強作用不大...直觀的了解神經元的分類過程，請看http://
cs.stanford.edu/people/
karpathy/convnetjs//demo/classify2d.html
4樓：
最早的神經網路其實用的就是線性啟用函式的。但是線性啟用函式的學習能力非常有限。引入sigmoid實際上是為了引入非線性，實際上就是增強了學習能力。
這裡是非常容易理解的一篇文章，你可以讀一讀： Continuous Output
你可以用相同的方式去分析一下使用tanh，ReLu等啟用函式在擬合能力上是否跟sigmoid保持數量級上的一致。
5樓：快樂領讀
也有用線性函式的。線性主要的問題是可能輸出會變的無限大或者無限小不好控制。Adaline網路好像就是線性的。
像bp這種，如果用線性的，求導以後就乙個常數，也不太好吧！但是最後一層有時候還是會用線性的。不然只能定在0和1之間了
現在神經網路中的每一層的啟用函式為什麼都是一樣的？
ZhH Tan 首先根據萬能逼近定理，有界的連續啟用函式 不包括Relu 是能夠任意逼近連續函式的，這個性質有時候被稱為一致性。Relu本身是分段線性函式，也具有一致性。換言之，在給定的節點足夠多的情況下用什麼啟用函式都是一樣的。但是實際使用的節點都是有限的，這個時候我們考慮免費午餐的問題。由於不知...
神經網路中的SIGMOID函式的意義？
胡免 根據最大熵模型得來。具體推導可以看 統計學習方法 83 85頁。參考 https blog.csdn.net zynash2 article details 79261039 張揚 舉個例子 有個唱歌比賽，評委們有些是歌手的親戚，有些是歌手的仇人。遇到親人，狂打高分 遇到仇人，狂打低分。咋辦？...
神經網路中的能量函式是如何定義的？
雖說這模型有從物理跟生物的啟發,但往這方向說到底,也只是提到跟某公式很像罷了,還是不知道如此定義的原因及作用 知識點 資訊理論,線性內積空間 機率及能量 同時是訊息量 函式定義成那樣的原因是,如此才能使得所有狀態的訊息量都嵌進乙個線性內積空間裡,因為線性實在是太好用,即便最困難的非線性狀態變換,在新...