Flink的反壓與Spark相比有什麼差別?

時間 2021-08-11 21:58:54

1樓:青牛

你好。spark是乙個很強大的生態系統,flink目前也只能替代spark的Spark Streaming元件,

1、處理可以實時:Spark Streaming 是微批處理,執行的時候需要指定批處理的時間,每次執行 job 時處理乙個批次的資料,嚴格來講達不到實時處理,Flink 是基於事件驅動的,事件可以理解為訊息。事件驅動的應用程式是一種狀態應用程式,它會從乙個或者多個流中注入事件,通過觸發計算更新狀態,或外部動作對注入的事件作出反應,可以做到實時性

2、更好的容錯:對於 Spark Streaming 任務,我們可以設定 checkpoint,然後假如發生故障並重啟,我們可以從上次 checkpoint 之處恢復,但是這個行為只能使得資料不丟失,可能會重複處理,不能做到恰一次處理語義。若要 sink 支援僅一次語義,必須以事務的方式寫資料到 Kafka,這樣當提交事務時兩次 checkpoint 間的所有寫入操作作為乙個事務被提交。

這確保了出現故障或崩潰時這些寫入操作能夠被回滾。

PBN RNP與RNAV的相愛相殺

四葉草紫丁香1018 夏季總是對我們喜歡旅遊的人那麼 友好 想用火辣辣的太陽為難遊人1公尺8的大長腿,讓人難堪,如何在出遊的過程中做到全方位防曬而又不失優雅呢?影響防曬裝備效果的主要因素是布料和編制密度,衡量布料防曬效果的指標是UPF,只有UPF 紫外線防護系數值 大於30,並且UVA 長波紫外線 ...

相組成物與組織組成物的區別

剛剛出道的司機 相組分相組分就是這個結晶過程中出現的組織裡面有的的相 例如 鐵碳合金相圖中的相只有鐵素體相和滲碳體相,因為在這整個結晶過程中不論組織是萊氏體組織還是珠光體組織,按同一化學成分和結構相同來區分出來的均勻部分乙個是F鐵素體相另乙個是Fe3C滲碳體相。組織組分 我們課本上的話就是各具有一定...

烏托邦與反烏托邦作品的魅力是什麼?

過程 烏托邦的存在並不是人心向善,而是為了滿足自己的貪婪,反烏托邦的存在並不是為了反思,而是刺激人心中的黑暗。這些作品的積極意義有什麼呢?告訴人們夢想建立烏托邦的人最終只會建成乙個反烏托邦。人非純善,所以人間總會有苦難,人往往看不到自己的過失,而是諉過於人,或是向外界去求,求乙個沒有痛苦的地方 烏托...