1樓：snow
從聯結主義看，任何神經網路都是在研究怎麼組裝和堆疊神經元，其中包括神經元之間的變換函式以及神經元之間的拓撲結構。
不同之處在於，網路元件研究的物件是神經元個體，而網路結構研究的物件是網路元件。
以網路元件中的卷積層為例，其無非是一種具有稀疏性、共享性和等變性的一種神經元連線模式。進一步來說，數學中的任何函式或者組合函式都可以看出一些運算子和輸入的組合。
好的組合可能造就人類這樣的智慧型生物，差的組合可能只能產生像如今深度網路一樣的玩意。
那麼如何製作好的組合或者是聯結模式呢？個人認為，參考經典視覺、統計甚至物理模型，能一定程度上減少假設空間的大小，有助於創造更優秀的網路元件以及網路。以經典的的網路元件為例，卷積層可模擬於影象濾波器，池化層模擬於特徵聚集，全連線層可模擬於廣義線性模型，注意力機制可模擬於加權區域性回歸以及均值漂移等。
2樓：DLing
組裝和堆疊也不是完全沒有技術含量啊，乙個方法從零到一的提出來，給人的感覺確實是煥然一新，讓人驚呼：啊！還可以這樣，厲害了，厲害了。
但是基本開山製作在後面看來，效果都是待優化的，這就需要一波又一波這樣搞組裝和堆疊的研究者不斷的改進創新，然後才能達到更好的，學術和工業界認可的演算法模型。
從最早的lenet出來，cnn網路驚豔學術界，但是它的效果和效能是有限的，後面有前仆後繼的人去研究，去優化創新，AlexNet，VGG，一直到各種EfficientNet，每一次改動都不是天翻地覆，但是每一次都是穩步前進。
我也寫過一篇關於語義分割中Deeplab系列的演進，從中我們可以看到，每次創新都不多，但是效果卻越來越好，能解決的問題也越來越多。我在文中雖然也吐槽創新少，但是確實還是佩服人家深耕難題的勇氣和毅力的。有興趣大家可以看一下
3樓：new colour
題主提到的幾個工作並不是橫空出世的創新科研大多數都是站在巨人肩膀上再前進一小步一小步多了就有了一大步
但是畢竟深度學習還是歐美先提出來的他們的工作在演算法上當然就會有更多創新有更多基礎性的開創性的工作。乙個文章當發表的時候就已經不是最新的了從有想法到實現到發表是有週期的所以我們現在還更多是在follow別人的工作當然創新性就會相對來說小一些
4樓：NN陳
你是想說國內提出的基礎理論太少吧。實際國情就是我們擅長應用，不太重視基礎理論的投入。帶來的後果就是容易被卡脖子；帶來的好處也是顯而易見，短期見效快。
某些企業以抄襲起家，不是一樣做得很強大？
目前的深度學習，已經到了瓶頸期。能組裝出花樣也算是你有能耐。在正真的認知智慧型理論出來之前，這些都只能算是預熱。我們要從新的方向去突破，希望下乙個AI理論爆發的中心出現在中國。
5樓：笙簫
我只能說，組裝和堆疊也大有學問，不可否認一些大的創新上CNN,LSTM等等這一類的東西出自於外國，但是除了這些之外就不存在創新空間了嗎？ 倒也不見得，這裡面有太多東西可以做，例如某一領域應用的端到端輸出，如何「堆疊」能夠更有效？為什麼分支輸出加上Sigmoid函式突然搖身一變成了Attention機制，何凱明大神一手Faster RCNN 至今傳唱，要說對比題主描述的幾種網路創新確實差了一點，如果說不到CNN,LSTM,Transformer這種層次就不算新穎，那祝題主發ICLR
深度學習獲得模型，一般都是過擬合的 但在深度學習中，過擬合不是貶義的 why
勤而勉之 你這問題內容有問題。對於一般的深度學習問題，我們希望時的loss能夠越小越好。但是由於資料中包含有雜訊，所以不能夠完全擬合，否則就會使得學到的模型不能很好的用於測試集。但是對於一些特殊資料，資料中不包含雜訊，比如從微分方程中獲取到的資料，這個時候可以想辦法讓訓練loss降低至0 1 這時沒...
深度學習現在坑還多嗎？
星辰大海 經典訊號處理 和 深度學習 的結合還有很多事情可以做。來點乾貨，注意力機制 是近年來的大熱門。Squeeze and Excitation Network是其中的乙個典型，對不同的特徵通道進行 加權 Squeeze and Excitation Network除了Squeeze and E...
壓縮感知和深度學習的關係
這個問題需要這麼糾結麼？簡單說壓縮感知可以做深度網路的乙個特例。深度網路的有效性的根本原因或者說其根本目標就是尋求對問題的有效表達，或者說其能有效解決的問題其實都是簡單 具有低複雜度的有效表示的 問題。這個概念在多體量子系統中也早有表述，一般的多體量子系統的複雜度是指數的，能夠有效表達的多體量子系統...