1. 概述
(1) Datanode工作職責:
① 存儲管理用戶的文件塊數據
② 定期向namenode彙報自身所持有的block信息(通過心跳信息上報)
(這點很重要,因為,當集群中發生某些block副本失效時,集群如何恢復block 初始副本數量的問題)
(2) Datanode掉線判斷時限參數
datanode進程死亡或者網絡故障造成datanode無法與namenode通信,namenode不會立即把該節點判定為死亡,要經過一段時間,這段時間暫稱作超時時長。HDFS默認的超時時長為10分鐘+30秒。如果定義超時時間為timeout,則超時時長的計算公式為:timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval
而默認的heartbeat.recheck.interval 大小為5分鐘,dfs.heartbeat.interval默認為3秒。需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的單位為毫秒,dfs.heartbeat.interval的單位為秒。
所以,舉個例子,如果heartbeat.recheck.interval設置為5000(毫秒),dfs.heartbeat.interval設置為3(秒,默認),則總的超時時間為40秒。
1. 觀察驗證DATANODE功能
(1) 上傳一個文件,觀察文件的block具體的物理存放情況:
(2) 在每一臺datanode機器上的這個目錄中能找到文件的切塊:
${dfs.datanode.data.dir}/current/BP-193442119-192.168.2.120-1432457733977/current/finalized
閱讀更多 好程序員 的文章