深度學習現在坑還多嗎?

時間 2021-05-06 19:57:17

1樓:星辰大海

「經典訊號處理」和「深度學習」的結合還有很多事情可以做。

來點乾貨,「注意力機制」是近年來的大熱門。Squeeze-and-Excitation Network是其中的乙個典型,對不同的特徵通道進行「加權」:

Squeeze-and-Excitation Network除了Squeeze-and-Excitation Network,還有各種各樣的注意力機制演算法,一般都是「特徵加權」的形式。

(敲黑板)在資料雜訊較強時,可以考慮將「特徵加權」替換成「軟閾值化」,就是深度殘差收縮網路[1]

[2]中的做法:

深度殘差收縮網路

2樓:taokongcn

很多,說說我知道的周圍人在做的(2023年8月1日)。

1. 深度網路壓縮:目的是將權值引數進行量化或者壓縮儲存,進而減少引數規模。

2. 模型加速:現在出現了更深的網路,但帶來的問題是計算效率的下降。這個方向主要從網路架構和實現的角度對模型的計算效率進行提公升。

3. 優化:現在在ICML上邊關於DL優化的文章很多,如何避免overfiting? 如何加速訓練?產生初始引數?這些都是比較熱門的研究點。

4. 應用。包括檢測、分割、人臉、NLP等,乙個好的工作會綜合考慮各種各樣的因素。

5. 遷移。在CV領域work的模型是否可以應用到其他領域?在乙個新領域中基本想法有了,但具體做起來需要解決各種各樣的實際問題。

說實話,在每乙個子領域,當你深入進去就會發現,坑有很多。

3樓:BugCreater

理論性的東西,我就不說了

關於機器方面,你可以使用IBM 的supervessel Open Power Lab,做做小實驗還是可以的,caffe,tensorflow都可以一鍵安裝。

4樓:劉dl

最近從我關注的大牛的微博上發的內容來看,深度學習的坑主要是理論上無法證明它為何有效,但是在實際問題上它的確有效。

另外,深度學習開始在NLP上發力了(一開始是在CV方面出來的)。

現在高中認真學習的人還多嗎?

桴棽 高中認真學習真的非常重要!不然到了大學,真的會後悔的。而且你會看到人與人之間的差距,雖然大學又是乙個開始,但其實你高中的學習習慣很大程度上影響了大學。 涵哥 先給個確定的答案 多到數不清。為什麼題主沒看到,首先還是格局的問題,在的學校如何,比如說如果在衡水中學 黃岡中學這種重點高中學習,我想乙...

現在DNF人還多嗎?現在值不值得入坑?

雪國 感覺官方一直迴避遊戲體驗的問題,卻不斷的出圈錢活動,每年出七八套新時裝,裝備附魔更新換代頻率過快,落後的玩家不充錢不打造根本趕不上新團本,不知道還有多少人能繼續玩下去。作為乙個老玩家,由衷的希望DNF能越辦越好而不是像現在這樣,時裝美如畫,活動多如牛毛,遊戲體驗卻極差。不推薦入坑了 暴躁的大力...

深度學習編譯器坑位多嗎?

熊勒個貓 據我了解,除了一直在知乎上輸出文章的楊軍大佬他們團隊 阿里 PAI 之外,還有華為也是在招的。華為和阿里算是參與研究tvm比較早的企業,實力積澱特別深厚而且內部應用應該比較成熟了,這兩家算是比較好的選擇。除此之外,其實大廠和ai公司都在研究。比如之前看到過位元組開源的lightseq就用了...