研一,在學機器學習和深度學習,為什麼感覺越學越不會,怎麼解決這個問題?

時間 2021-05-05 20:11:06

1樓:hauneam

我也是剛入門的小白,我感覺新手入門還是建議找一些課看吧,書上那些推導真的勸退。b站上或者youtube上吳恩達老師的機器學習,深度學習,還有李毅巨集老師的機器學習課程都超級棒。

2樓:Y.Huang

建議還是找個有經驗的人好好請教一下吧。PRML第三章是Linear Regression,第四章是Classification,好好看了應該會有收穫的。PRML這本書是從貝葉斯學派來講機器學習的。

和頻率學派的相比起來,本來就會更加繞或者麻煩一點,你可能都被繞進去了。頻率學派可以看ESL II, 或者Introduction to Statistical Learning。但還有幾個問題你需要弄清楚:

你覺得什麼都沒有學到?但是你想要學到什麼東西?

看了書裡面的方法,你有沒有去拿一些資料集嘗試用那些方法分析?

更進一步,能不能自己推一遍公式?(反正我不能,但是記得模型大概思想和推導思路。)

更進一步,能不能夠自己把裡面的模型演算法實現一邊?(你就會發現更多的細節。對比其他人的實現,能夠學習到更多的東西。很多演算法寫的是一套,實現起來細節是不同的。)

3樓:麗台科技

建議可以通過理論與實踐操作相結合的方式來入門,NVIDIA有個DLI(深度學習學院),開設了很多與深度學習有關的課程,有自主學習和講師指導等方式,可以根據你的需要參考學習。

4樓:啥是看山

PRML太細節了,我也是讀研才開始認真看這本書的。建議初學的時候看一些簡單的書,學習一些最簡單的模型,比如線性回歸、決策樹、SVM、K-Means之類的。之後你再去接觸神經網路類的模型、貝葉斯類的方法等等知識。

接下來,我說說我對PRML的看法。剛開始確實會很吃力,因為公式太多了,推導過程太長了,比如核方法這種推導起來直接想吐。這種很古老的方法建議了解個大概就行了,最關鍵的是它們的idea,而不是具體方法,等你用到的時候再學這些方法也不遲。

5樓:

我本科靠前985電子類專業至少前10%吧。現在在國外讀研。上學期選了一門高階機器學習課程,設計了大量的數學和演算法推導。

雖然最後基本學懂了,但也對自己的能力有了進一步了解,那就是自己真的不適合搞這方面的研究。

這裡我想說,不是科班數學或者理論計算機專業的,還是謹慎入坑吧。演算法這個東西,學術門檻極高,實用門檻極低。意思就是搞機器學習演算法研究的話作出理論突破很難,但是在實際工業界的應用其實就是調包罷了。

這樣的專業未來肯定是一片紅海。你想一想,深度學習出來之前,svm就是最好最通用的演算法。那前幾年會svm演算法的工資高嗎?

深度學習出來之後之前的「演算法研究員」是不是被革了命呢?

6樓:花葉飄香

主要是本末倒置了,很多人上來就是框架,如TensorFlow,pytorch,caffe等,只會越學越迷糊,雖然很多演算法並不涉及非常複雜的數學知識,但從數學入手,層層遞進,有種削魚片的感覺,層次感很清晰,不至於弄成漿糊

7樓:Cindy

8樓:陽光下的微笑

欲速則不達,你想半年時間把所有東西學完,這是不可能的。內功很重要,數學能力,定理證明,公式推導,數學直覺,這些都不是短期能學到的; 程式設計能力,演算法,系統設計能力,也是日積月累,這些東西都需要每天堅持積累的;科研能力,也是每天要讀文獻琢磨以前的人是怎麼解決問題的。這些都是慢功,每天花四五個小時去培養,主要是要堅持。

內功深厚的基礎上,學那些機器學習的演算法,程式設計實現,幾周就搞定了,這些都是知識,知識了解了就行了,主要是能力的培養。

9樓:宮水諸葉

經過摸爬滾打

過了一遍經典調包後,我決定暫時停止機器學習的演算法學習如果想要借用現代的概統思想進行研究,那麼需要以實變和測度作為基礎,而實變和測度的基礎又是數學分析,這其中還需要復變,往上走還要牽扯到泛函

這其中的學習,例如涉及到高維情況,必然會涉及到矩陣和代數,那麼矩陣分析和高代又是必不可少的

當你想搞優化的時候,凸分析,凸優化,數值分析等內容又在向你招手總之,從數分和高代開始好好學。立個flag寒假搞完數分,下學期去數院蹭復變和實變!

10樓:ITBoy

In mathematics, you never understand things; you just get used to them

11樓:棒棒糖

花書,承上啟下,有深度學習,也介紹了基本的機器學習概念。

最重要的是行文嚴謹,goodfellow本身做了很多不著名但是很有意思的工作,這些工作被用來輔助證明或者證偽一些「學界常識」,很適合科研初學者。

12樓:knnay

建議從簡單又實用的深度學習方法開始學起。

沒必要一開始就上高難度,打擊自己的信心。

一些簡單的深度學習方法有卷積神經網路、深度殘差網路、深度殘差收縮網路等。

卷積神經網路在2023年以前被用於手寫數字的影象識別,現在也被用於實際物體的影象識別。

卷積神經網路

殘差網路是卷積神經網路的改進,新增了跨層連線,更容易訓練。

深度殘差網路

殘差收縮網路[1]

[2]又是殘差網路的改進,引入了自適應軟閾值化,更適合強噪、高冗餘資料。

(面向強噪、高冗餘資料的)深度殘差收縮網路

13樓:哈哈哈

我明明還是個本科生,為什麼就要開始魔改模型了…還天天幹特別蠢的事情

比如說試圖把tensorflow 的原始碼魔改到keras框架,還認真學習了placeholder. session…一堆亂七八糟的

然後拿著搭了一半的keras模型,想了好幾天為啥融不進去…今天才反應過來

太蠢了,都把爺都整笑了

14樓:

看什麼PRML。老實說,我一點也不知道這本書的經典性體現在什麼地方。至少對於數學系的來說,書裡的數學一點閃光點也沒有,還囉囉嗦嗦一大堆...

我做機器學習課程助教的時候,碰到完全學不懂MIT版機器學習教材的華人,我都是直接推薦李航的統計學習方法。篇幅短,數學上簡單明瞭。非常適合入門機器學習。

深度學習的話,讀一下https://www.

deeplearningbook.org/這本書裡邊的相關章節就夠了吧。不過兩三年前讀的時候,數學上是有不少錯誤的,不知道更正了沒有。

15樓:

帶著問題去學習會比較好,比如說你可以假設你現在的目標是編碼實現演算法xx,這時候你去看書裡面關於演算法xx的描述,你會比較專注。或者你可以假設你看完之後要立刻向別人講解這個演算法xx,你會怎麼一步一步講。不過個人不是特別建議直接看PRML,ML可以從李航的《統計學習》入手,DL可以看看邱錫鵬老師寫的《神經網路與深度學習》。

16樓:哈啾路亞

我也是prml入門的,經歷了以下幾個階段:

1:這麼多公式好麻煩硬著頭皮上,一行一行推還是ok的但是太慢而且沒有吃透的感覺。

2:公式都是浮雲,啃細節的公式還不如用黎曼幾何和流形的角度看待深度學習,有了幾何解釋就好能理解了。

3:統計機器學習都是渣渣,深度學習天下第一!等等,還有資訊瓶頸這玩意?研究下好了。

4:臥槽資訊理論直接降維打擊啊,統計和深度這兩其實是親兄弟。

5:我悟了,色即是空空即是色,我永遠喜歡crf(劃掉)vae(劃掉)gan(劃掉)膠囊網路。你說BERT?

這不就是個self attention的疊羅漢嗎?毫無美感。你看隔壁策略梯度那個黑絲,賽高啊。

6:仔細看看self attention這裡面好像水還有點深啊。互動作用、平均場、複雜系統……唉唉,別這樣要失控了啊。臨界狀態、沙堆模型、認知科學,總算是看見幕後boss了。

7:找了一些資料之後san值見底,被對未知領域的超出常人理解範圍的不可名狀的疑惑和無力感包圍。我是誰我在哪?

我只想回地球當個快樂又無知的碼農。認識到即使已經能輕鬆應付工作上用到的模型了,在真正的研究面前自己也依舊和什麼都不會一樣,這件事情太痛苦了。

所以還是放寬心吧,越學越覺得不會才是常態。

17樓:乙隻被雷射照瞎的鯤

我在想這樣乙個問題,周圍但凡跟電還有數學沾邊的學科幾乎一半人都圍著這個什麼深度學習神經網路天天繞。

如果說乙個工科學校計算機研究生能有300個,那這個學校人工智慧的專案的研究生就有1000個。

但是實際上各個公司不都是碼農為主麼!

奇怪的現象。

18樓:Wendy

最近看了新哪吒電影,裡面不知道為啥把這個敖丙搞成了同志。哪吒的光輝形象,讓我重新考慮,是當電影明星更重要,還是下冷雨更重要呢?好吧,讓好好想想。畢竟這是乙個三觀問題。

19樓:oo主宰oo

首先不要強迫自己全都懂,在腦海中有個印象就行然後可以在天池kaggle找找簡單的比賽做做研一就這樣就可以了

就輕鬆的多

20樓:笑傲菌

可以多了解了解一些模型本身的思想,而不是立馬去做一些實際的專案,了解svm為什麼要軟間隔,為什麼要設定正則項。明白這些可能對於你的學習會有很大的幫助。另外可以上b站看一些教授們的課程,諸如李巨集毅就是我很喜歡的乙個老師。

通俗易懂還幽默風趣

21樓:LinK

首先,遇到這個問題,有這種感覺很正常,舉個最簡單的例子:深度學習的可解釋性理論到現在都不完備,你要是一下子就能理解那些晦澀深奧的概念(比如交叉熵)或結構(比如Bert),那才叫奇怪。

機器學習,尤其是深度學習,不像一般的計算機學科,是需要一定的門檻與積累的,並且這個門檻還不低:需要一定體系的數學功底(線性代數,概率論,優化方法),注意這裡是一定體系的數學,不是零零散散的知道某個章節中的乙個公式。除了理論外,工程的積累更是重中之重,所謂:

實踐出真知,在這裡不待多言。

解決困惑的方法也很簡單:堅持。這條路上沒有捷徑,唯有不斷的學習思考與工程實踐。

另外,當你感覺某些方法的思想在另乙個些方法中有體現的時候,那麼恭喜你,差不多你對這些方法有個總體的認識了,所謂「瓜熟蒂落」,功到自然成。

22樓:千千

如果是單純的機器學習和深度學習,可能你沒有看過寶可夢大師通俗易懂的講解。

李巨集毅機器學習(2017)_嗶哩嗶哩 (゜-゜)つロ 乾杯~-bilibili

李巨集毅深度學習(2017)

Hung-yi Lee

23樓:空字元

不請自來。越學越不會是因為沒有得到有效的正反饋。就像小時候我們不知道為什麼要學習的時候,往往老師的鼓勵或者父母的鼓勵可能就是我們最好的學習動力,因為這就像是我們在學習過程中所獲得的獎勵。

當得到這個正向反饋後,上一階段短暫的學習可能就算完了,我們又會進行小一小階段的學習。為什麼?因為我們想繼續謀求下乙個正向反饋。

說白了這個正向反饋其實就是一種獎勵機制,能夠引起我們大腦的興奮,進而促使我們為了能夠繼續獲得這個獎禮而持續努力。那怎麼才能持續的獲得這種獎勵呢?

每個人對於這種接受這種獎勵的等候時間不同,或者說被一次正反饋後所持續的時間週期不同。可能有的人在獲得一次滿足感後,能有十天八天都有幹勁兒。同時,在這個時間段中又獲得了新的獎勵,那麼他就能夠持續的進行下去,形成良性迴圈。

而另外一部分人則需要每隔兩三天就得有一次獎勵機制才能使自己有足夠的動力努力。總結起來就是,只要將這個獎勵的等待時間變短,我們就有足夠的動力持續努力下去!

那在如題主所提到的學習過程中我們應該怎麼將這個等待時間變短呢?答那就是調整學習的順序與設定學習階段。在機器學習這個問題中,可以參見我之前寫的一篇文章。

空字元:如何入門機器學習?

能否將深度學習和傳統機器學習相結合,先用標籤訓練深度神經網路,將最後一層輸出特徵作為如svm的輸入?

李東坡 當然可以。參考大家的回答,這裡總結一下。神經網路可以看做乙個特徵抽取器,至於得到的特徵後續如何處理,需要看自己的業務需求。如果資料量充足,完全可以使用端到端的方式,利用矩陣運算的優勢,神經網路可以取得令人滿意的效果。如果資料量不足,特徵提取後使用機器學習方法,一般不會得到太差的結果,而深度學...

機器學習(包括但不限於深度學習)和優化演算法中有哪些 fundamental trade off?

Ning Lee 最基本的兩個 exploration exploitation trade off 探索與守成 計算複雜度 vs 模型效能 舉例來說 增強學習中的典型問題,是探索新領域還是在舊的領域裡面取最好的 多臂賭博機問題 LSTM中sample word的數量,顯然考慮更多的word能提公升...

求問模式識別和機器學習,以及深度學習的最基礎的前置課程有什麼?

泰克尼客 Python幾天就ok了,好好複習本科的幾門數學課,高數,線代,概率,千萬別丟。這是基礎中的基礎。讀研階段,矩陣泛函也要學紮實。 WILL 先說下我和題主理解的稍有不同的吧,這三個概念其實相關性很大,模式識別約等於機器學習,深度學習是在機器學習基礎之上發展而來的,尤其是神經網路,是需要機器...