flink中一致性檢查點,這個一致性怎麼理解,是什麼和什麼一致,跟分布式中一致性演算法一樣嗎?

時間 2021-06-02 12:23:14

1樓:歡歌

從物理意義上,checkpoint/分布式快照是乙個有意義的系統狀態,但不一定對應某個時刻的狀態(沒法讓所有節點在同乙個時刻拍照)。

一致性的含義是:不違背事件間固有的因果關係,即如果系統裡面有兩個事件 e1 和 e2,且 e2 依賴於 e1,那麼快照不能只包含了 e2,但是卻沒有包含 e1。

舉個例子,事件 e1 是節點 n1 傳送某個訊息 m,e2 是節點 n2 接收訊息 m。即使把相對論考慮進去,任何觀察者看到的一定是 e1 在e2之前。所以不可能 n2 收到了m,而 n1 還處在傳送 m 前的狀態,checkpoint 要保證這一點。

基本原理來自Lamport的經典文章。我之前寫過一篇筆記(較長): 歡歌:Lamport的「Distributed Snapshots」閱讀筆記。

分布式一致性(共識)是指不會形成衝突的決議。一旦就某個問題(Instance)形成了某個決議,即使後續再次/多次形成決議,必須是同乙個決議。當然,沒有形成任何決議也是允許的。

2樓:hnwyllmm

樓主說的分布式一致性是指多分片的一致性嗎?還是多副本一致性?

多副本一致性(線性一致性、最終一致性等等)一般說這幾個副本最終的狀態一樣的(資料一樣,但是表現形式可以不同)。

多分片一致性的話,一般有2PC這種事務提交,保證多個分片都處理過某些」事務「,最終達到」一致「狀態。但是他們包含的資料什麼的都是不同的。flink的檢查點,簡單理解為這種。

但是其中包含的理論知識不僅僅這些。

如何評價一致性演算法 PacificA ?

辛塞凱諾卡密 有一點我覺比較爽,省去了集群自選舉的邏輯,把這件事交給Nameserver做,直接判斷PreparedList的完整性以及First Win即可。 laliliu 個人覺得PacificA沒有Paxos,Raft流行,可能跟msra沒有強力推廣也有關,另外,感覺PacificA有不少v...

關於kafka的一致性的疑問?

胡明 可以看一下這個 huxihx 說說我的淺見 kafka的old leader由於gc等原因soft fail的時候選舉了新的leader,那麼old leader回來時會發生什麼情況?如果broker因為某些原因 像你所說的long gc 導致與Zk的會話斷開,那麼依託於Zk的watch機制,...

ZFC 是否可以證明 ZFC 的一致性?

如果你說的 ZFC 一致性 自證一致性 的定義和一般的定義相同,那麼就是不行。因為從這樣的定義出發可以直接證明ZFC無法自證一致性。如果不是,請你換個名字,別汙染這些數學界已經公認好定義的名詞。 ZS Chen n不編碼乙個從ZFC公理出發到0 1的證明 證明也不難 現實中的 ZFC要麼是一致的要麼...