1樓：豆豆很逗
是的，模型引數就是函式，函式逼近的是使loss盡可能小。
只是目前計算力的進步可以讓函式的候選集盡可能的大、找到合適函式盡可能的快。
沒啥神奇的，人工智慧還有很長的路要走
2樓：oxilys
求導只是神經網路的基礎，如同積分運算中的加法一樣。
神經網路是訊號處理的重要概念，要理解神經網路先要理解線性代數和復變函式，建議先看一看最簡單的泰勒級數和傅利葉變換，任何線性概念都可以通過類似泰勒級數展開在無限頻域分解成某一種函式形式。但是智慧型運算的問題不僅僅是線性運算，其中還有非線性的部分（比如tensflow著名的學習例程，a+b>0.5?
1,0 a is [0,1], b is [0,1]）,因此在此基礎上，插入非線性函式。
有了形式，就要確定級數+非線性函式的展開引數，但是與解方程或者求導解方程不同，神經網路的表層概念構建的方程是不夠的（理論展開維度是無限維，這是高數極限的內容），也就是沒有唯一解，也不確定準確的起始激勵和終結（時域原點和時域終點，這兩個也是無限）。因此，就採用了通過導數和卷積遞迴的過程，任取起始激勵，然後進行試熵，得到架設的引數一種解答後驗證，然後將參與驗證的引數作為入參迴圈輸入再次試熵，最終形成誤差最小的答案。
所以，神經網路不僅僅是函式逼近，也不是簡單的求導能涵蓋的。
3樓：
Yes and no.
說是是因為在數學上，神經網路確實是在近似某個未知函式將乙個樣本對映成乙個具有明確意義的數值、類別。
說不是是因為這樣的說法沒有提供任何洞見。神經網路是一類特殊的函式族，包括層次結構，element-wise 的非線性，以及各種各樣的訓練和regularization方面的trick等等。把它等同一般的函式近似，實際上沒有提供任何新東西。
「只不過因為這個函式引數太tm多了！而且是一層一層堆積起來的，所以導致幾乎任何原函式都能夠逼近。」
其實乙個隱含層的網路照樣能近似任何連續函式，並不需要一層層疊加。但是從這個簡單的說法能提供任何有意義的洞見嗎？為什麼深度網路就比淺而寬的網路效果好？
神經網路為什麼不是越深越好，上億層的網路為什麼沒有人用？大而化之的說法只會模糊了它的特性，對於深入它的性質是不利的。
4樓：Esparami
我覺的不是，即便有個逼近的辦法，也不知道該逼近什麼函式，甚至不知道這函式存不存在。
f('right')='對'也能等於'右'，那這樣的f只是一種對應關係，而不是函式。也就是說有可能不存在這樣乙個函式，滿足乙個確定性的對映關係。
另外別神經網路了，就線性回歸也得先假設變數是線性關係，可誰知道f('2333')='笑'是要幾層，即便知道了，也不知道f('4666')應該是啥。所有這些模型，如果不知道樣本真實分布，對沒見過的樣本，都不會保證正確性。
答主提到的反向傳播啥的，要解決的問題是對乙個給定的的神經網路，去找一些合適的權重，使得這個神經網路的輸出和真實目標之間的距離對所有樣本在平均意義下最小。是度量，而不是直接去找乙個函式，再者這個最小的度量很可能不是0，也就是說，即便對已有的樣本，也可能找不到乙個完美的對映。更多參看Emperical Risk Minimization.
5樓：七海的風
學習的時候你可以這麼理解，但又不是乙個"函式"就可以概括的。因為僅僅是乙個調參，到目前都沒有合理的數學解釋。總得來說還是在尋找某種向量空間上的關係。
6樓：Tianle
個人理解，說神經網路是函式逼近貌似沒有錯，但並不只是函式逼近。
先回答題目某些問題
神經網路的學習確實是求導，但是簡單求導兩個字卻涵蓋了大量的數學優化理論。權值相乘後為什麼要使用啟用函式，啟用函式是為了資料不至於過大，將資料壓縮至乙個可控的區間內；relu為什麼比sigmoid好用，sigmoid在接近0或1的時候導數幾乎為零，網路就很難訓練下去。
交叉損失函式和二次均方誤差損失函式對於優化求導來說又是孰優孰劣
求到完成之後更新權值的時候的學習率又該怎麼定義，什麼時候要學的快，什麼時候要學的慢
陷入區域性最優值怎麼辦，有什麼辦法讓函式從區域性最優中爬出來；
現在最深resnet已經一千層了，誤差反向傳播的時候傳到前面幾乎已經為零了，這時候又該怎麼求導。
總之神經網路的優化蘊含了很多的偉大思想，上面任何乙個非常基礎的問題都需要大量的實驗和嚴謹的數學推理，任何一點有效的貢獻就都足夠奠定江湖地位了。
這個可以參考感知機演算法，而且理論上已經被證明可以求得全域性最優解
拿最簡答的全連線神經網路分類任務來說，假設輸入是一副影象，輸入影象的每乙個畫素都表示乙個輸入節點，拿單個畫素來說並沒有什麼意義，而神經網路就是通過一些列的非線性變換將淺層次無意義的畫素值轉換為高層次的具有實際意義的特徵，例如，邊緣，紋理，和更深層次的類別或者等某些更高層次的概念，比如貓，狗之類的。從這種意義上來說，神經網路又叫做表徵學習，進一步，深層次的特徵還可以應用到其他視覺任務上，比如語義分割，目標檢測等。顯然神經網路自己學習到的特徵要遠遠好於人為自己指定的特徵，這也是為什麼深度學習在這些任務上這麼出色的原因。
卷積神經網路和BP神經網路的關係？
乙個維度的BP神經網路就相當於CNN中的全連線了，無非是多幾個全連線，CNN是二維，二維如果搞成全連線就導致運算量巨大，所以有了權重共享，大大減少了運算量，CNN卷積的思想肯定也源於BP神經網路就，在影象上做二維卷積的CNN發出炫目的光芒下，BP神經網路就已經快被人們遺忘了，但是不管CNN再怎麼發展...
卷積神經網路（CNN）和迴圈神經網路 RNN 有什麼區別？
不存在的1990 從字面區分 cnn 裡面的 c指 convolutional operation，是一種提取影象特徵方法。把這一operation加入到layer裡面構成了convolutional layer。rnn裡的r 指recurrent，中文是重複的意思。rnn構造的結構也是recurr...
如何看待人工神經網路ANN和脈衝神經網路SNN的發展？
十萬個為什麼 SNN起源於人類對生物神經網路的解剖，是一種機理模型 ANN是一種工程模型，架構上源於生物學基礎，但是又採用了數值優化的方法進行求解。當前的科技發展水平下，ANN更實用，可以解決很多實際問題，而SNN在功能性角度方面遠遠弱於ANN。從發展前景方面，ANN顯然不及SNN，因為生物神經網路...