做大資料底層開發如何更好的發展?

時間 2021-07-04 20:10:51

1樓:

我和你一樣,也在某大廠裡做同樣的事。目前的看法如下:

1.不管幹什麼細分領域的開發,始終重視底層原理,演算法資料結構、作業系統(尤其Linux)、計算機網路、設計模式等基本功一定打紮實,無論是更快的學習原始碼還是其他的技術知識,以及其他大廠的面試都是需要的。不是太忙的時候抽時間基本功多鞏固。

只有碎片時間能學習的話推薦極客時間。

2.在比較熟悉某乙個大資料元件的底層原理和原始碼結構以及任務優化調參等工作技能後,為了將來不侷限於只會一樣東西,抽時間多看看其他元件(如spark,flink,kafka等),盡量做到一精多專(因為元件框架隨著時間會淘汰迭代,如MapReduce被Spark慢慢替換,Flink也在替代Storm,Pig什麼的已經沒聽說有人用了),當然如果基本功足夠紮實,其中乙個元件經過積累已經比較熟悉了,再去看其他元件原始碼,會發現有的思想比如如何處理分布式通訊,RPC等等和基本功裡面的知識是一致的,基本功足夠紮實學啥細分領域裡的應用層知識都會相對快。

3.無論在中小公司還是大公司,保持遠見,看看各大廠對各框架元件是怎麼運用的,將來可能什麼元件會沒落,什麼元件可能會變得更主流,眼界很重要,不要將來面試的時候問某某場景怎麼用答不上來。

4.多幫平台使用者解決自己沒見過的任務報錯和問題,增加自己排查問題解決問題的能力。利用公司的業務量規模給自己增加經驗,比如Hadoop我記得社群原始碼不魔改的前提下大約4000臺節點左右會有明顯排程瓶頸,公司和業務量規模不夠大,只是個小集群一搭,根本不會見識到資料量大了之後才會出現的各種集群問題,小集群會非常穩很少有啥報錯和情況發生,這樣會侷限自己的眼界。

5.做底層平台會離公司運用大資料的業務場景較遠,幫使用者解決問題的時候,多請教他們運用這些元件的場景。比如構建資料倉儲,用到那些元件?

脫機數倉和實時數倉在元件選擇上有什麼不同?數倉平台從資料清洗到落資料儲存,中間經過哪些元件順序是什麼等等。多留心主動積極去了解,沒人會手把手告訴你前面的路怎麼走。

大概是這些,我也才做一段時間,也很菜,還在努力鞏固基本功的階段,這是目前為止相對淺薄的想法。

當下大資料市場的火熱,和做大資料開發的人如洪水猛獸般湧進來,大資料工程師的核心競爭力是什麼

IT人劉俊明 作為一名科技 教育工作者,我來說說我的看法。首先,隨著大資料技術體系的不斷成熟和發展,在工業網際網路的推動下,大資料技術已經處在了落地應用的初期階段,相信隨著越來越多的行業資源和社會資源向網際網路匯集,大資料自身將構建起乙個龐大的價值空間,這必然會釋放出大量的人才需求。當前大資料領域的...

做大資料開發好還是大資料分析比較好一些?

lemon潘 首先工作沒有好壞之分,我們要結合自己的興趣和基礎來判斷自己適合哪個方向,大資料開發和大資料分析發展前景都很好,接下來大概說一下這兩者之間的區別 資料開發偏向於程式,資料分析偏向於數學。下面了解一下大資料分析和大資料開發的工作內容 大資料分析的工作內容,可以大致分為四個步驟 資料獲取 資...

做大資料分析應該如何選電腦?

金戈老馬 選電腦之前,先理清楚自己拿這個電腦做什麼。基於題主的問法,冒昧地猜測 題主是正準備入行,以學習為主吧。如果是學習的成分大於工程實踐。從電腦使用上來說,一般用於兩個目的 大資料平台 大資料儲存 處理 和資料分析方法 建模 程式設計 視覺化等 一 大資料平台。基本上圍繞 Hadoop 生態,一...