1樓：謝玉強
前面兩位也說到了，神經網路並不是構建任何函式，而是擬合任何函式。題主所說的肯定就是啟用函式是非線性變換的函式，理論上可以擬合任何函式。
下面是邱錫鵬老師對這個問題在他《神經網路與深度學習講義》中的描述。
人工神經網路(Artificial Neural Network，即ANN)，是20世紀80年代以來人工智慧領域興起的研究熱點。它從資訊處理角度對人腦神經元網路進行抽象，建立某種簡單模型，按不同的連線方式組成不同的網路。在工程與學術界也常直接簡稱為神經網路或類神經網路。
神經網路是一種運算模型，由大量的節點(或稱神經元)之間相互聯接構成。每個節點代表一種特定的輸出函式，稱為激勵函式(activation function)。每兩個節點間的連線都代表乙個對於通過該連線訊號的加權值，稱之為權重，這相當於人工神經網路的記憶。
網路的輸出則依網路的連線方式，權重值和激勵函式的不同而不同。而網路自身通常都是對自然界某種演算法或者函式的逼近，也可能是對一種邏輯策略的表達。 from http:
//nlp.fudan.edu.cn/dl-book/ 第五章。
神經網路為什麼可以（理論上）擬合任何函式？ - 想飛的貓的回答 - 知乎
神經網路為什麼可以（理論上）擬合任何函式？
2樓：RAINWOOD
相當於用現有資料去擬合函式。只要你有資料，當然可以擬合出來。資料越多擬合度也會更高，但有些資料是誤差項，就會產生過擬合。
神經網路演算法可以求最優解嘛？
王璐 神經網路可以擬合任意函式。神經網路可以做優化問題，但不一定能找到最優解。解釋 神經網路的擬合能力由通用近似定理 Haykin,2009 保證，兩層的前饋神經網路可以近似任意有界閉集上的任意連續函式。由於使用了非線性啟用函式，模型的損失函式通常是非凸的，無法使用凸優化演算法。因此，經常使用梯度下...
機器學習 優化理論 統計分析 資料探勘 神經網路 人工智慧 模式識別之間的關係是什麼？
騫騫狗 一文告訴你 統計學 資料探勘與機器學習的區別 騫騫狗的文章 知乎 https zhuanlan p 61824761 感覺寫的很好，從根本上區分了統計學 資料探勘與機器學習的區別，適合對資料處理這門學問一點不了解的人看。相信你會有所收穫 Mellisacat 只有統計是理論科學 scienc...
關於使用HLS在FPGA上做卷積神經網路（CNN）加速的疑問？
楊軼凡 如果以純軟體角度寫出的HLS在硬體上肯定能跑，但是只是效能非常差。如果想要優化到乙個比較好的效能，就需要硬體的背景了，本人從verilog過渡到HLS就比較自然，把HLS當成一種更加高層次的HDL會比較合適。如果一定想實現，Xilinx現在的PYNQ做的已經挺成熟的了，甚至一些比較普遍的NN...