如何一句話描述Flink的checkpoint的機制?

時間 2021-06-03 20:21:12

1樓:myasuka

基於Chandy-Lamport演算法的輕量級狀態(state)(非同步,exactly-once)備份機制。

做為乙個簡化版,在有向無環圖的支援很好,目前在迭代的有環圖上無法保證exactly once。

2樓:

Flink提供了可以恢復資料流應用的到一致狀態的容錯機制,確保在發生故障,程式的每一條記錄只會作用於狀態一次(exactly-once).

這套容錯機制通過持續建立分布式資料流的快照來實現,對於狀態占用空間小的流應用。這些快照非常輕量化。可以高頻的建立對流的效能影響非常小。這個狀態儲存在乙個可配置的環境。

當遇到故障時,flink會停止分布式資料流。系統會重啟所有的operator,重至到最近成功的checkpoint。輸入重置相應的狀態快照位置,來保證重置位置的正確性。

Flink分布式快照的核心之一是資料柵欄,這些barrier被插入資料流,作為資料流資料的一部分,barrier不會干擾正常的資料流,乙個barrier會把資料分割成兩個部分,一部分進入當前快照,另一部分進入下乙個快照。每個barrier都帶有快照的id,並且 barrier 之前的資料都進入了此快照。多個barrier會出現資料流中,也就是會產生多個快照。

當barrier在source源頭插入時,當快照 n的barrier插入時,系統就會記錄當前快照的位置。然後barrier接著往下流到,但乙個operator從輸入流接收到所有快照 n的標示的barrier時,他會向所有的輸出流插入乙個標示為快照 n 的barrier.當sink operator接受到所有的快照 n,他會向the checkpoint coordinator 確認 snapshot n 已完成。

當所有的sink都確認這個快照時,就完成。

3樓:庫房無憂

Flink在流上最大的特點,就是引入全域性snapshot 當遇到故障時,flink會停止分布式資料流。系統會重啟所有的operator,重至到最近成功的checkpoint。輸入重置相應的狀態快照位置,來保證重置位置的正確性。

如何用一句話描述你的家鄉?

我的家鄉,在大別山腹地,名為山水茶都 蘇軾說生斯土者,往往多稟清氣,具風骨之士,不可謂非山水之靈也。家鄉變化很快,可沒有你,你我曾對坐晴雪亭中,煮茶閒談,聊至興起,就放肆言狂,說要將茶城秀麗城市之林中,立足於地球之上,改民心,易風俗,讓百姓在家鄉就能滿足所需,能坐擁青山賞雪,共飲毛尖,然,多年已至,...

一句話描述教師這個職業?

卡卡 職業謀生而已。給多少錢幹多少活是應該的,不多給錢又良心奉獻的人也有,每個階層又都有好有壞,國家不重視教育的前提下,這只是個可憐的職業而已別奢望靈魂工程師這種東西。 錢多多 我覺得,教師像乙個演員。扮演著不同的角色,而且因為是演員。所以很多時候都是不露聲色。所以每天控制自己的情緒,前一秒可能因為...

一句話描述你愛的人?

貓和退休老幹部 一句話太短。沒有想過會遇到這樣的男孩子。回訊息總是很慢,半天才吐出幾個字,但回的都是要點。喜歡聽玫瑰和傲寒。應該是在找馬頔和貳佰筆下的那種姑娘吧。說他像木頭,可以。說他像木棉,也可以。外表乾淨簡單,內裡溫柔可愛,身上沒有光環。但總有讓人想靠近的衝動,氣質隱藏著成熟和從心的態度。和他在...