1樓：程式碼律動
首先糾正，是連續函式。線性函式的話，實際上單個神經元就可以了不是嗎？
實際上完整的陳述應該是：
神經網路可以在乙個緊緻集（compact set）上逼近任意連續函式。
劃重點，首先是緊緻集，這是集合論中的知識，你可以把它想象為在乙個確切的閉區間 [a, b] 內，可以用神經網路接近任何函式。這個邊界必須要明確，實際上你是不可能使用神經網路對輸入 x 在 區間上逼近 。
當然，其實你理解一下就能明白了，那麼多節點組合起來，總能拼成乙個類似的圖形的不是麼？所以你可以看看這一篇：
A visual proof that neural nets can compute any function
實際上能逼近任何連續函式的特性也並不是神經網路獨有的，像多項式函式，樣條曲線，徑向基函式都可以實現逼近任意連續函式，所以這也不神奇嘛 \手動斜眼。
2樓：
不是逼近線性函式，是逼近任意連續函式。
北京師範大學現代數學叢書 《函式逼近論》
本質上與柯爾莫哥洛夫在2023年解決了希爾伯特第13問題的定理，關聯在一起。
Kolmogorov-Arnold representation theorem
所以結果是很深刻的，我們仰望一下就好。
迴圈神經網路初始的狀態怎麼確定？
李鵬宇 一般來說，人為規定初始狀態是0，即一個與後面狀態同形狀的矩陣。可以這樣理解 在我們還沒有開始思考的時候，大腦空空如也 也許有一丟丟噪聲 張鑫 隱藏層隨機初始化。根據順序資料採集和隨機資料採集的區別，需要在epoch開始和batch開始的時候初始化。可以參考李沐的動手學深度學習的迴圈神經網路一...
卷積神經網路的特徵是如何學習的？
Mario 你好，剛剛答辯完。老師也提了同樣的問題，卷積是如何提取特徵的？答 從傳統影象特徵提取方法來看，卷積核其實就是很多個不同的濾波器，傳統的濾波器是人工設定的，用來提取指定的特徵，比如gabor，canny等。而卷積神經網路中的卷積核是網路隨機初始化之後再通過梯度下降演算法來進行更新，根據你指...
神經網路的規模必須是固定的嗎？
Momodel 對於乙個前饋神經網路 Forward Neural Networks 它的規模肯定是需要的固定的。但是，我們可以通過某種處理，對不同的資料維度進行處理，從而得到統一的固定的資料維度。例如，在影象檢測領域中R CNN系列演算法，在最早的R CNN中，作者將不同的候選區域 proposa...