現在企業裡用的比較多的大資料框架是什麼?主要是哪些業務場景會用到?

時間 2021-07-03 00:28:40

1樓:加公尺谷大資料老師

主流的大資料框架,Hadoop、Spark普遍,然後Flink也越來越流行。

Hadoop是大資料代表性的第一代框架,基本上就是大資料必學,Hadoop的核心優勢是離線批處理,即對時效性要求不那麼高的大規模資料處理場景,Hadoop是很有優勢的。具體來說,Hadoop的原生計算引擎MapReduce,採取分而治之的思想,將大批量資料進行分塊處理,最後彙總出結果。

其次是Spark,Spark是在Hadoop MapReduce的基礎上改進而來的,也是應對批處理場景,其優勢是相比於MapReduce的速度提公升了10-100倍,也就是說,在理論上,Spark最多可以比MapReduce計算速度快100倍,當然,實際業務場景當中,不一定能夠達到這個最高水平。

另外,Spark針對越來越多的流處理需求,又提出了Spark Streaming流處理,一定程度上,使得批處理和流處理需求都能達成,對於企業來說,面對越來越多的實時流資料處理場景,Spark也是值得一試的方案。

Flink,就是現在流行的流批一體計算框架,在實時流處理上,效能強勁。在國內市場,阿里系非常推崇,後面也推出了Blink。

大資料專業用的電腦推薦?

大資料流動 看了你的課程,除了人工智慧,其他的不需要用到效能高的GPU。而正常跑GPU運算也是在大型台式電腦或者伺服器上跑的,學校會提供相關環境的,不用著急。至於大資料專業,肯定要進行虛擬機器的搭建,AMD與Intel處理器比起來還是intel對虛擬化的支援好一些,還是建議優先選intel處理器的。...

每秒10W的資料寫入用什麼大資料框架合適?

Sprout 前段時間有個應用有這樣的要求,對於每條記錄節的資料要求每秒寫入8000以上,於是花了些時間在這方面研究,做了乙個輕量級 功能方面 的持久層。作了最好值 平均值 最差值的測試,分別是18000條 s,9900條 s,2090條 s。很容易想到的就是oracle 的copy命令,但是對於應...

現在新建的樓盤是不是贈送面積比較多?

萬金大少爺 恰恰相反,現在新建的樓盤不光贈送面積不多,很多甚至都沒有。比如深圳南山的潤府,89只能做到乙個小三房。而早期的住宅信義嘉御山,89可以做到正規的大四房。目前開發商贈送的手段,主要有三種 1.飄窗上移,贈送飄窗面積 如圖所示,將飄窗上移,地面面積就變相贈送了 2.陽台計一半面積 陽台屬於有...