Kafka 0 10 0 1版本以後,生產者如何保證不丟失資料?

時間 2021-06-03 00:04:50

1樓:閆文亮

自己更新乙個答案,閱讀了Kafka無訊息丟失配置 - huxihx - 部落格園這篇部落格之後,問了博主這個問題,博主的回答是這樣的,再次感謝博主。

#41樓[樓主] 2018-05-22 11:52 huxihxhttp://

這種情況需要client自行處理這種失敗導致的丟失。嚴格來說,這對於Kafka而言不算訊息丟失,因為訊息尚未提交到Kafka,故Kafka不做任何承諾保證。

我理解的意思可能就是,kafka不保證客戶端傳送過程的資料丟失,因為對kafka而言,還沒有真正的commit。雖然異常的情況下,kafka生產者提供了重發的機制,但是對於客戶端掛掉的情況,只能通過使用者自己去自行處理,比如資料補發(但又可能帶來亂序問題),或者在那個時間點全部重發(可能有資料重複的問題),或者對於實時系統,需要對上層返回乙個異常,讓上層捕獲到。

activemq和kafka有什麼區別?

凱德祁 目前我們公司同時在用amq和kafka兩種產品。但是也定下了以kafka為主,amq為輔的路線。就像第乙個回答所說,amq是乙個專門針對訊息場景的mq,而kafka現在的發展趨勢主要是流資料處理平台。amq的優勢是功能全,安裝簡單,需要的資源比kafka少,兩台amq就能滿足服務高可用。壞處...

0 100km h 加速時間這項引數有什麼合理性?

大師妹夫 我贊同馮晞帆 稀飯和薛丁格的大白兔的答案,一方面這個指標大家都能測,另一方面又正好是個整數。為什麼英製國家測0 60mph而不是0 100mph呢,就是因為部分車達到100mph可能會比較吃力。至於0 100kph加速時間真的能準確的反映出一輛車的加速能力嗎?其實未必,參見我在另乙個問題裡...

zookeeper在kafka中扮演著什麼角色?

靜默 1 儲存元資料資訊 包括consumerGroup consumer broker Topic等 2 0.8版本kafka支partition級別的replication,維護出乙個ISR 3 目前,沒了zk,kafka啟動都啟不起來。 扎克布 早期版本的kafka用zk做meta資訊儲存,c...