請問Hadoop Spark Storm Flink的區別是什麼?分別適用什麼場景?

時間 2021-05-06 18:53:46

1樓:

hadoop是乙個檔案系統,外加乙個離線處理框架(map-reduce執行框架),主要用於海量資料檔案的儲存,非實時的海量資料的計算,不過由於提供的上層api不是太友好,加上mapreduce處理框架比較慢,現在基本上都拿它來作為檔案系統使用。

spark是乙個執行引擎,本身不儲存資料,所以需要外部的檔案系統來儲存資料,很多時候會基於hadoop來儲存資料。spark計算時盡可能把資料放到記憶體中(基於記憶體),還提供了很好的上層使用者使用的介面,包括spl語句(spark sql),處理資料十分方便。它比map-reduce處理框架(基於磁碟)要快很多倍。

現在基本上用它來做離線資料處理。

storm是乙個實時資料處理框架,只提供最基本的資料流傳輸框架元素和基本的資料流介面,使用者需要自己編寫處理過程和處理邏輯。

flink是實時資料處理系統,自己有一套完整的生態。上層提供了很多資料處理運算元(介面函式)供使用者使用,對使用者更加友好,方便使用。現在很多公司都用它來進行實時資料處理。

請問 Eat clean, train sweaty 是什麼意思?什麼語法形式?

沒有查到相關的語法解釋。前半句有點兒類似 Play cool,play cute。有答案提到的stay是系動詞,和題目中的用法還是不同的。最好找大學老師問下吧。 答主非專業,只是推xia測cai了一下.Clean這裡是名詞的用法。同意樓上說的eat the clean things 類似於Do go...

請問tan tan x,arc tan(tan x),tan(arc tan x)都是怎麼算出來的?

Jameson tan tanx 這種就只能由內而外算,後兩個是反函式的性質,比如tanx有 0.25 1,那麼在arctanx就有1 0.25 因此arctan tan0.25 arctan1 0.25 tan arctan1 tan 0.25 1,可以簡單的理解為arctan tanx x,ta...

請問Algorithmic Trading Models validation做什麼的?

如果沒有別的選擇也可以作為乙個入行路徑我也認識有人從model var幾年之後跳到比較理想的職位的知乎某網紅fund創始人不就是gs model var出身麼 利益嚴重相關,必須匿名 一些銀行的模型風險部門 尤其是模型風險部門裡的內部監管部門 為了給自己加戲會做出很多 模型識別計畫 或者 quali...