學習大資料需要學習機器學習嗎

時間 2021-05-06 12:57:34

1樓:Hong

個人經驗:如果你的職業規劃明確~想做big data engineer, 那大概率你用不上機器學習的知識,就是遇上了扔給Data Scientist就好~

而相反的如果你想做大資料分析(Data Scientist/big data analysts), 機器學習就是必須的了~而且你首先應該是個及格的big data engineer,因為實際情況下,你不能等big data engineer 把資料處理好,你再進行下一步,你的資料解決方案不需要是最優的, 但應該是足夠好足夠快,等大後期要deploy的時候再找big data engineer做優化~

2樓:RD.T

可以不學。人的精力是有限的。打遊戲還有個策略叫Min-maxing (比如,把乙個技能樹分支點到極致,其他只要基礎或者完全不點)

這個技能樹完全可以往純工程上點。

以後同組有厲害的專職機器學習就直接問好了。

Machine Learning 基礎不多也不難,而基礎往上的東西細分領域龐雜,難度陡然上公升。

搞大資料更需要的是Data Engineering,去解決「大」帶來的問題。

任何小問題乘以乙個大體量都可以變成乙個大問題。

老闆如果跟你說,這有一千萬條資料,今晚能跑完不?天天搞ML的Data scientists應該是沒底氣接這個話的。Data Engineer這個時候就可以拍胸脯上了。

0到1要的是科學家,演算法,ML的理論,從1到100要用到很多任務程師。

3樓:尋鶩

學習大資料很有必要重點學習機器學習的知識。想從資料中分析出有價值的內容,需要挖掘資料之間的關鍵,而這裡面的知識就涉及到機器學習的基礎知識,比如關聯規則。對於從事資料分析崗位的人員,掌握機器學習的內容就非常有必要了。

4樓:CDA資料分析師

大資料的核心是利用資料的價值,機器學習是利用資料價值的關鍵技術,對於大資料而言,機器學習是不可或缺的。相反,對於機器學習而言,越多的資料會越可能提公升模型的精確性,同時,複雜的機器學習演算法的計算時間也迫切需要分布式計算與記憶體計算這樣的關鍵技術。因此,機器學習的興盛也離不開大資料的幫助。

大資料與機器學習兩者是互相促進,相依相存的關係。

機器學習與大資料緊密聯絡。但是,必須清醒的認識到,大資料並不等同於機器學習,同理,機器學習也不等同於大資料。大資料中包含有分布式計算,記憶體資料庫,多維分析等等多種技術。

5樓:kofy

基礎操作是不需要機器學習的,大資料偏重的是解決資料量巨大、需要高效計算的情景,主要需要考慮分塊是否均勻,shuffle是否足夠隨機的問題。

而機器學習則偏重於多組訓練資料來得到完整、充分的解題方案,主要需要考慮訓練資料的準確性,包括正確資料、錯誤資料,通過頻繁、多次訓練來達到由機器識別、解題、判斷的目的。

6樓:Wenweno

主要看你先走什麼方向,但是總體來說機器學習肯定是要去了解的。

如果是走開發方向,主要是Hadoop spark 分布式處理之類的,機器學習方向需要去了解一下。

如果是資料分析資料探勘,那就必須要深入學習機器學習了,熟練掌握影象,自然語言,語言等資料處理方法。

7樓:

其實並不一定,關鍵還是看你想做什麼。

同時機器學習是乙個很大的合集,有人專門做演算法,有人負責上線和維護。如果你只是想負責上線模型之類的,了解一下模型就行,畢竟有專門的人來幫你做模型。如果你想做模型,那熟練掌握機器學習就成了乙個必須。

其實多建議你看看幾個大公司的招聘崗位,data scientist,data engineer,machine learning engineer,看完他們的崗位描述和技術要求,相信你心裡就有數了

8樓:進擊的聖鬥士

看你做的是什麼方向了,目前大資料有資料開發,包括實時資料開發和離線資料開發,資料平台開發,和演算法工程師。

做資料開發和平台開發不需要學習機器學習,要熟練運用各種大資料元件。做演算法的話就需要學習機器學習,用大資料來訓練模型,跑出適合業務的模型。

9樓:TipDM

看你想從事什麼崗位,如果只是從事資料分析,可以重點掌握python,excel、SQL等工具,並輔以統計學知識,機器學習知識錦上添花或者你想做更深入的研究才會用到。如果想從事資料開發,或者往機器學習領域發展再說,機器學習需要很強的數學功底做支撐,如果本科就沒有選擇相關專業數學底子又一般就勸退,這條路不是那麼好走。

10樓:老王

其實學一些簡單的機器學習演算法,也耽誤不了多少時間,例如:

1、多層感知機

對於特徵維數較低情況下的分類問題,可以採用多層感知機。

多層感知機

2、卷積神經網路

對於影象、語音和振動訊號等的分類問題,可以採用卷積神經網路。

卷積神經網路

3、殘差收縮網路

對於強噪、高冗餘資料,可以採用殘差收縮網路。

(面向強噪、高冗餘資料的)殘差收縮網路

11樓:逆流君

大資料是個概念,它是乙個由眾多分支整合的綜合體,就像人類也是由不同的國家和文明組成的,沒有說必須是亞洲人才算人類這種說法。

大資料領域涉及大資料平台,大資料儲存,大資料應用,大資料探勘,大資料演算法等等。而機器學習只是其中的乙個分支,頂多和資料探勘和演算法還有部分資料分析沾邊。大資料領域還有眾多崗位完全不涉及機器學習的。

所以首先確定自己想往大資料哪個具體的分支去發展,再談學習路線的規劃問題。

12樓:ashley

這要看之後你想往哪個方向發展囉。大資料其實有很多的方向,大資料倉儲,運維,架構,資料探勘,資料分析。如果之後想從事挖掘和分析的話,是需要學習機器學習的,但是如果想從事其他方向,職位中不會有這個要求,最起碼初級和中級肯定不用。

當然想再往上走,是需要了解的了。

學習深度學習是否要先學習機器學習?

作為乙個在數學系學統計做過機器學習,工作後搞深度學習的人,我可以很負責任的告訴你,不需要 理論上來說,深度學習確實是機器學習的一部分。十年前,深度學習其實還叫 ANN,是存活在機器學習裡的一小部分 別噴,我知道現在主流是 CNN,跟ANN不同 但是實際上,深度學習是乙個用計算機算力暴力求解問題的函式...

所謂的機器學習,機器為什麼可以學習?

桂能 1.所謂學習,就是讓機器像人一樣去做事 2.這裡的做事,需要形式化一下,就是我們首先要定義乙個任務,比如說0 1分類,那麼任務描述起來就是對於乙個東西 樣例 x我們給他乙個標記0或者1。這就是最簡單的任務了,所以如果形式化就是,我們要找乙個對映f x y 其中y屬於 0,1 3.那麼現在所謂機...

做量化要不要學習機器學習?

BigQuant 如果您是想深入量化行業呢,還是建議您學習,因為就根據國內目前的量化交易情況而言,已經越來越多的涉及到了機器學習。BigQuant人工智慧量化交易平台是國內首個將人工智慧技術應用於量化投資領域的平台級產品,隨著私募公募競爭的加劇,隨著傳統投資策略收益不斷壓縮,機器學習在量化投資中的運...