三分鐘入門大數據之ZooKeeper和Yarn之間的區別與聯繫是什麼?

哈嘍,大家好,我是漢斯老師。近幾年來,互聯網行業由於較高的薪資收入,受到許多人的追捧。很多年輕的學子,或是其他行業的有志青年,都想要投身到這個行業中來。然而一方面受到“互聯網寒冬”的影響,最近頻頻傳出各家知名互聯網公司裁員縮編的消息;另一方面,大量的人才湧入,又使得互聯網產業在職場上呈現出供過於求的特徵,並最終導致了職場上的激烈競爭。那麼互聯網行業未來的潛力在哪裡?我們又應該在哪個方向上發力,才能保證自己可以獲得一份高薪而穩定的工作?基於多年的互聯網行業從業經驗,漢斯老師在這裡向大家推薦大數據方向,希望通過本人的《三分鐘入門大數據》和《十分鐘精通大數據》等系列文章,幫助所有有志瞭解學習大數據的朋友掌握大數據的相關知識,也歡迎所有對互聯網行業以及大數據領域感興趣的朋友前來交流。

三分鐘入門大數據之ZooKeeper和Yarn之間的區別與聯繫是什麼?

最近有同學向漢斯老師提了一個問題,他說:“大數據組件中,Yarn是一個分佈式管理系統,Zookeeper也是一個分佈式管理系統,為什麼一套體系中,會運行兩個管理系統?Yarn和Zookeeper的區別和聯繫是什麼?”

YarnZooKeeper的作用

Yarn是一個分佈式資源調度器組件。這個組件的主要作用是在每次接收到請求後,會查看當下的各個子節點的狀況,統籌出運算資源的調度方案來保證任務可以順利執行。通常來說,Yarn所調度的資源常常包括磁盤空間的資源,內存的資源和通訊帶寬的資源等。Yarn是Hadoop V2.0開始引入的一個組件,這個組件可以說是針對Hadoop1.0系統所爆露出的計算資源使用不合理等設計上的問題進行的修正和補充。

ZooKeeper是一個分佈式的一致性服務組件。分佈式系統最大的困難之處在於如何保證系統內各個節點服務器所操作或處理的數據是一致的,或者各自的配置信息是相同的,而ZooKeeper的價值就在於實現了基於分佈式的統一化配置管理,命名服務,狀態同步等。在ZooKeeper的體系下,會使用一種樹狀的文件存儲系統,這一套系統強調在各個子節點下的文件目錄結構,文件名稱以及文件內容都是相同的,而ZooKeeper會通過其內部機制,保證在發送增刪改等操作時,各個子節點會同步操作。

兩者的相似之處在什麼地方呢?

A. 都是分佈式的

B. 都具備監聽和控制子節點運行的能力

Yarn和ZooKeeper的區別

Yarn的核心功能在於資源調度與管理,而ZooKeeper的核心功能在於分佈式系統中的一致性服務。


分享到:


相關文章: