好程式設計師:Datanode的工作機制

1. 概述

(1) Datanode工作職責:

① 存儲管理用戶的文件塊數據

② 定期向namenode彙報自身所持有的block信息(通過心跳信息上報)

(這點很重要,因為,當集群中發生某些block副本失效時,集群如何恢復block 初始副本數量的問題)

好程序員:Datanode的工作機制

(2) Datanode掉線判斷時限參數

datanode進程死亡或者網絡故障造成datanode無法與namenode通信,namenode不會立即把該節點判定為死亡,要經過一段時間,這段時間暫稱作超時時長。HDFS默認的超時時長為10分鐘+30秒。如果定義超時時間為timeout,則超時時長的計算公式為:timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval

而默認的heartbeat.recheck.interval 大小為5分鐘,dfs.heartbeat.interval默認為3秒。需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的單位為毫秒,dfs.heartbeat.interval的單位為秒。

所以,舉個例子,如果heartbeat.recheck.interval設置為5000(毫秒),dfs.heartbeat.interval設置為3(秒,默認),則總的超時時間為40秒。

好程序員:Datanode的工作機制

1. 觀察驗證DATANODE功能

(1) 上傳一個文件,觀察文件的block具體的物理存放情況:

(2) 在每一臺datanode機器上的這個目錄中能找到文件的切塊:

${dfs.datanode.data.dir}/current/BP-193442119-192.168.2.120-1432457733977/current/finalized


分享到:


相關文章: