1樓:嗑勒
我的理解:yarn負責資源的排程,zookeeper負責工作狀態交接,比如說乙個公司某個部門缺人了,yarn收到缺人資訊,進行人員排程,但是具體這個崗位的工作交接,手頭工作進度,後續怎麼幹之類的需要zookeeper去告訴你。
2樓:
如果分布式系統各個節點組成乙個為客戶服務的王國,那麼zookeeper像是皇帝,yarn則是將軍。將軍接到任務後直接指揮讓哪個師團去幹。如果戰爭過程中將軍掛掉,頂多會有副帥頂上。
可是如果副帥掛掉這個軍團就歇菜了。
國王則可以決定指派哪個新的將軍去接管。而國王的兒子就是未來的儲君,解決國王掛掉後的風險。兒子可以有很多,並且分散在全國各個地方。
3樓:NoNamer
Yarn 負責排程集群的資源
ZooKeeper 負責Yarn 的穩定,比如任何時候都有Yarn的主伺服器在工作,並且資訊同步和一致
4樓:
Yarn偏重於資源排程,指的是虛擬機器資源這些,類似於Mesos。
ZK是對任務執行進度,DataNode節點心跳資訊,NameNode高可用的資訊排程。
兩者目的和所處層次不一樣。
5樓:Nathy Chen
來試著答一下。
Zookeeper和Yarn是一起工作的,它們一起管理資源。
舉例說明。在乙個分布式系統上。現在有個事要辦。我們要找這個系統辦這個事,就要通知yarn。打個比方,yarn的master
node看看這個系統裡有很多node,看看誰有空,誰有能力(cpu、記憶體、等)來幹這個事。然後把任務分配給合適的node來辦這個事。
這個時候系統面臨乙個危險。那就是在分布式系統中,failure成為常態。yarn
master node管理著很多個node,管理著它們哪乙個出問題了。危險在於master自己壞了怎麼辦。
常見的分布式系統出問題的解決辦法是我們總保持有乙個待命的,到需要的時候頂上。yarn裡的Resource
Manager也有待命的。當乙個Resource
Manager壞了,或者需要公升級更新,另乙個Resource
Manager要接手。這時候麻煩來了,新的Resource
Manager怎麼知道哪個任務已經完成,哪個還沒有,使用者想執行的任務到什麼狀態了,乙個任務所必須的先決條件任務是否已經完成。
這個情形中,Yarn自己成了Single
point of failure。
新啟動的Resource
Manager成了這個分布式系統的另外乙個大腦。兩個大腦管理同一套資源,就可能有不一致的地方。
要解決這個問題,我們就要儲存Yarn自身的各種狀態,比如都收到了哪些任務,各個任務都執行到了什麼狀態,收到了哪些安全許可。這些東西儲存在Resource
Manager State Store裡。
Resource
Manager State Store自己怎麼管理呢。好幾種辦法,存在記憶體,存在檔案,或者另外乙個更容易的辦法就是Zookeeper了。
Zookeeper控制著什麼時候,誰可以讀寫這個Resource
Manager State Store。Zookeeper自己也是個cluster,它也是Fault
Tolerance(容錯)的,我們就省去了自己管理這個資源的各種麻煩。
Zookeeper儲存著它所管理的系統的各種狀態,可以保證任何時候都只有乙個版本的系統狀態。即便是Yarn的Master壞了,重啟了,正在公升級,也不會出現衝突。
所以說起來,Yarn和Zookeeper的功能是不一樣的,對於一套完整的系統,兩者都需要使用。
6樓:Reid Chan
沒關係管理節點說法不對
分布式系統有很多問題其中有兩個
1. Coordination
2. Resource ManagementZookeeper偏重解決的是前者
Yarn偏重解決的是後者
關於dubbo和zookeeper和solr的關係和作用?
ZooKeeper 是乙個註冊中心,採用類似資料夾目錄的方式儲存資料,儲存了已經啟動的服務的資訊,如ip 埠 介面 方法列表 版本號等,儲存成乙個URL。dubbo 是乙個分布式服務治理框架,它連線到 ZooKeeper 上查詢依賴的其他服務的資訊,然後和其他服務建立長連線。當你通過 dubbo 呼...
使用redis和zookeeper實現分布式鎖
可能是只假的驢子 我初中以前是跳民族同時也學芭蕾,159公分大概76斤左右,完全吃不胖,小學六年全都過瘦,每天午餐吃兩大碗飯,下課加餐炸雞薯條配珍珠奶茶,有時候吃漢堡或三明治當下午茶,過兩個小時還能塞下晚飯。吃自助是整桌小孩裡頭食量最大的,可以不間斷的吃兩個鐘頭吃到差點走不出澳門葡京酒店的大門口。到...
Zookeeper 和 Chubby 有哪些不同點?
grefr Zookeeper使用的是ZAB協議,是Paxos的一種變種。而Chubby直接實現了Paxos,並且從功能上說,Chubby提供了粗粒度的分布式鎖服務,而Zookeeper功能更加強大。還有一點就是 Zookeeper是開源的,Chubby不開源。更加詳細的差別可以看下這個文章的介紹 ...