Spark structured streaming 和 storm 到底哪種更可靠呢?

時間 2021-06-07 06:11:27

1樓:鴻寶

最近我也在處理這一塊實時計算框架的問題,到目前為止,structure streaming 2.3版本和flink、storm在實時計算上並沒有什麼顯著的差別了,SS2.3新增支援continuous process,不支援的問題,在flink和storm裡也一樣,在資料框架的處理上,都不如pandas。

另外,在早期,storm相對其他對手而言功能上比較完善的框架,但隨著其他幾家的興起,慢慢的差距也沒了,exactly once,吞吐,容錯,這三大要素,在這幾個框架都各自借鑑解決了,而在未來,誰能夠把好用細緻的資料加工處理融入到流計算上,諸如multiple agg,top N,join with agg這些問題,有易用的API就非常贊了,同時,資料延遲盡可能在毫秒級,這將會是乙個短暫的分水嶺

2樓:劉人傑

storm的設計已經過於老舊,看看設計即可,新應用的話還是考慮flink或者structure streaming。個人更喜歡flink,api設計很優雅,既能處理high level的資料,又能處理low level的~spark的執行引擎到底還是批處理式的

3樓:開坦克的貓

你可以關注下storm最新版本,原來的source replay+ack機制確實是只能達到at-least-once的處理語義,但是現在借鑑了JStorm的checkpoint機制,這個機制呢和Flink的分布式快照很類似,所以我覺得已經能實現exactly-once的處理語義了。

金融系統嘛,我個人覺得可能處理精準性之外還需要低延遲,spark streaming的處理延遲受限於它的minibatch對應的視窗大小,這點可能沒有Storm好。

中藥和西藥哪個更可靠

彤彤 我覺得2個都不衝突 但是我想說一點,中藥呢,如果辯證正確,對症下藥,療效很快。但是如今很多人不能夠正確認識到中藥,多吃無意,當做保健品 還有一部分人呢,聽說吃了什麼中藥能治腿疼啊,他就自己也去試試。以上都是很不正確做法。正確的對待中藥,是藥三分毒。 yysn328 對於中藥來說可靠的不是藥,而...

理財產品排行榜裡哪種理財產品更可靠?

懵懵懂懂 我覺得微眾銀行比較可靠吧,和產品沒關係,和平台有關係,微眾銀行是國內首家銀監會監管的民營銀行,還有央行的存款保障機制,每期產品都可以按時兌付,用了這麼久從來沒出過問題,很靠譜 天道酬勤 由於國家的對外開放促了進金融行業的發展 現在市面上有越來越多的理財產品 但是要如何去判斷其本質的安全,正...

開眼尾和開眼角,哪種更可愛?

已登出 哪種更可愛?這要視個人的具體情況而定。每個人的眼部情況不同並不一定需要開內眼角或者開眼尾,不要單純的為了追求個性而忽略了整體的美。而且外科手術總是存在風險,做的時候一定要諮詢專業醫生的意見,請經驗豐富的醫生進行手術,盡可能的將風險能夠降到最低,手術效果達到理想 傻瓜喵喵姐 每個人情況不同,不...