Yarn和 Zookeeper之間是什麼關係,都是管理節點,那他們的應用場景有何區別?

時間 2021-06-04 16:02:47

1樓:嗑勒

我的理解:yarn負責資源的排程,zookeeper負責工作狀態交接,比如說乙個公司某個部門缺人了,yarn收到缺人資訊,進行人員排程,但是具體這個崗位的工作交接,手頭工作進度,後續怎麼幹之類的需要zookeeper去告訴你。

2樓:

如果分布式系統各個節點組成乙個為客戶服務的王國,那麼zookeeper像是皇帝,yarn則是將軍。將軍接到任務後直接指揮讓哪個師團去幹。如果戰爭過程中將軍掛掉,頂多會有副帥頂上。

可是如果副帥掛掉這個軍團就歇菜了。

國王則可以決定指派哪個新的將軍去接管。而國王的兒子就是未來的儲君,解決國王掛掉後的風險。兒子可以有很多,並且分散在全國各個地方。

3樓:NoNamer

Yarn 負責排程集群的資源

ZooKeeper 負責Yarn 的穩定,比如任何時候都有Yarn的主伺服器在工作,並且資訊同步和一致

4樓:

Yarn偏重於資源排程,指的是虛擬機器資源這些,類似於Mesos。

ZK是對任務執行進度,DataNode節點心跳資訊,NameNode高可用的資訊排程。

兩者目的和所處層次不一樣。

5樓:Nathy Chen

來試著答一下。

Zookeeper和Yarn是一起工作的,它們一起管理資源。

舉例說明。在乙個分布式系統上。現在有個事要辦。我們要找這個系統辦這個事,就要通知yarn。打個比方,yarn的master

node看看這個系統裡有很多node,看看誰有空,誰有能力(cpu、記憶體、等)來幹這個事。然後把任務分配給合適的node來辦這個事。

這個時候系統面臨乙個危險。那就是在分布式系統中,failure成為常態。yarn

master node管理著很多個node,管理著它們哪乙個出問題了。危險在於master自己壞了怎麼辦。

常見的分布式系統出問題的解決辦法是我們總保持有乙個待命的,到需要的時候頂上。yarn裡的Resource

Manager也有待命的。當乙個Resource

Manager壞了,或者需要公升級更新,另乙個Resource

Manager要接手。這時候麻煩來了,新的Resource

Manager怎麼知道哪個任務已經完成,哪個還沒有,使用者想執行的任務到什麼狀態了,乙個任務所必須的先決條件任務是否已經完成。

這個情形中,Yarn自己成了Single

point of failure。

新啟動的Resource

Manager成了這個分布式系統的另外乙個大腦。兩個大腦管理同一套資源,就可能有不一致的地方。

要解決這個問題,我們就要儲存Yarn自身的各種狀態,比如都收到了哪些任務,各個任務都執行到了什麼狀態,收到了哪些安全許可。這些東西儲存在Resource

Manager State Store裡。

Resource

Manager State Store自己怎麼管理呢。好幾種辦法,存在記憶體,存在檔案,或者另外乙個更容易的辦法就是Zookeeper了。

Zookeeper控制著什麼時候,誰可以讀寫這個Resource

Manager State Store。Zookeeper自己也是個cluster,它也是Fault

Tolerance(容錯)的,我們就省去了自己管理這個資源的各種麻煩。

Zookeeper儲存著它所管理的系統的各種狀態,可以保證任何時候都只有乙個版本的系統狀態。即便是Yarn的Master壞了,重啟了,正在公升級,也不會出現衝突。

所以說起來,Yarn和Zookeeper的功能是不一樣的,對於一套完整的系統,兩者都需要使用。

6樓:Reid Chan

沒關係管理節點說法不對

分布式系統有很多問題其中有兩個

1. Coordination

2. Resource ManagementZookeeper偏重解決的是前者

Yarn偏重解決的是後者

關於dubbo和zookeeper和solr的關係和作用?

ZooKeeper 是乙個註冊中心,採用類似資料夾目錄的方式儲存資料,儲存了已經啟動的服務的資訊,如ip 埠 介面 方法列表 版本號等,儲存成乙個URL。dubbo 是乙個分布式服務治理框架,它連線到 ZooKeeper 上查詢依賴的其他服務的資訊,然後和其他服務建立長連線。當你通過 dubbo 呼...

使用redis和zookeeper實現分布式鎖

可能是只假的驢子 我初中以前是跳民族同時也學芭蕾,159公分大概76斤左右,完全吃不胖,小學六年全都過瘦,每天午餐吃兩大碗飯,下課加餐炸雞薯條配珍珠奶茶,有時候吃漢堡或三明治當下午茶,過兩個小時還能塞下晚飯。吃自助是整桌小孩裡頭食量最大的,可以不間斷的吃兩個鐘頭吃到差點走不出澳門葡京酒店的大門口。到...

Zookeeper 和 Chubby 有哪些不同點?

grefr Zookeeper使用的是ZAB協議,是Paxos的一種變種。而Chubby直接實現了Paxos,並且從功能上說,Chubby提供了粗粒度的分布式鎖服務,而Zookeeper功能更加強大。還有一點就是 Zookeeper是開源的,Chubby不開源。更加詳細的差別可以看下這個文章的介紹 ...