1樓：
創新的方法很多，深度學習演算法創新研究兩個主要方向：網路效能，演算法應用。
網路效能
基於深度神經網路的演算法，主要研究兩個重要問題：一是演算法的精度或準確率，二是演算法的效率。如果在前人的基礎上進行演算法改進研究，精度無法有效提公升，那麼可以考慮從演算法的效率上去研究，畢竟深度學習主要應用於工業領域，演算法的實時性十分重要，可以考慮網路的輕量化研究、模型壓縮、知識蒸餾等等方向，同等精度，更快的檢測精度，依然是很大的創新。
2. 演算法應用
實踐是檢驗真理的唯一標準。演算法的工業化應用比理論研究更加重要，畢竟只有買產品才能賺錢，實現價值。可以考慮演算法的工業化應用，例如：
醫療應用、工業園區應用、人臉識別、人體異常行為識別等等，應用比演算法創新更加出彩。
綜上所述，推陳出新，與時俱進，深度學習只有結合實際的工業應用才能實現價值，發出光芒。
2樓：CC查理
自己在一直想同樣的問題，也跟幾個教授聊過，現在趁機整理一下。
我自己能理解的最高形式的創新是建立乙個新的任務。往大了說叫做開創乙個新的領域，往小了說是建立乙個新的設定。這種情況下不用關心之前的方法的精度如何因為設定不同了，而只需要和自己新創立的基準方法（baseline）相比較即可。
大概就是這麼個意思，我認為想做這種工作需要非常強的學術能力和對於某幾個方向的很深刻的理解才可能成功，一般交叉學科比容容易出現。但是現在很多瞎提研究方向都挺扯淡的以次充好。我自己也是在摸索，希望未來幾年能做出來乙個。
我認為的稍次一些但是依然非常好的創新形式是開發乙個通用的方法。這種情況下不在乎也無需在乙個流行的巨大的資料庫上展示出很高的精度，而只是需要在一些很簡單的資料庫上顯出其獨特的優勢和特性即可，精度不是重點。之前有一些很有啟發性的方法就是這樣提出來的，雖然很多方法後來被證明無法推廣但是依然是有借鑑意義的。
當然也有些很牛的通用性方法直接就在大型資料庫上幹翻所有人。我認為想做這種工作需要學術能力工程能力都很強才行，而且想出來的點子也很精妙。偶然見過一些被拒的文章也想走這個思路但是功力不夠反而弄巧成拙。
希望自己以後能做一些這種的工作。
再次的話就是觀察現有的公開資料集的缺點，然後自己提出並採集乙個新的資料集。新的資料集一定要戳中本領域現有資料集的乙個或者幾個痛點，並且完美補上這個痛點，這樣開放資料集之後才會有很多人去使用。想做這種工作需要對乙個小領域非常了解並且有能力有錢去做資料集。
我看到過一些資料集沒有切中痛點即使發表也不會有很多人使用，更多的是費力做資料集之後到處被拒。我之前做過一些工作就是資料集，覺得這個方向如果摸索到方式方法並且有資金還是很容易出成果的，而且對於目前科研推動意義也很大。
再再次就是提出一些模型的改進了並且一般都會在流行的大型資料庫上刷一下分數，這裡就有很多很多不同的方法來做，一般可以嘗試用現在比較火的一些方法結構用在另外乙個領域上，或者做一些各種方法的組合，或者專注於輕量化而不注重提高精度等等。只要創新性上做得夠，即使精度沒有提高甚至有那麼一點下降也是可以接受的。這裡的方法和形式就太多了，做的人最多競爭也是最激烈的。
我自己的工作大都是這種型別畢竟自己還是處於初級階段，希望自己以後能儘量減少這方面的工作。
以上是我自己的總結想法，當然也會有別人不認同的地方。比如大佬說：
3樓：李中梁
找reseaech gap，看到別人的reseaech中沒有看到的問題。
一般小樣本的話精度不會很高，可以從loss函式涉及，模型結構設計，多模態融合角度做。
深度學習中 number of training epochs 中的 epoch到底指什麼？
小島上的黑桃六 1 epoch batch size step sample size 1 batch size samplesize batch num 1次 epoch 計算 1次Loss 為後續迭代進行引數修正 1次 step 更新一次 params 對應計算 optimize functio...
深度學習中 Batch Normalization為什麼效果好？
用相對座標取代絕對座標。使在單一神經元輸出產生群體性的平移 放縮後，網路還可以接近0成本地適應新分布。由於不同神經元有功能性分工的差異，這種分工又無法在初始化的時候預知，所以好的初始化只能保證同層的多神經元混合的分布和目標分布 解的分布 一致，不能保證單一神經元的輸出分布和目標分布一致。所以單一神經...
如何深度學習呢？
XYTMR 第一步 先從Coursera 上面 Andrew Ng的課程開始 如果不熟悉python的話同時要惡補一下python的基礎知識 第二步 目前DL 主要的方向是Computer Vision 計算機視覺 和 Natural Language Processing 自然語言處理 可以學習斯...