好程式設計師:hadoop job 日誌的查看

一般有幾個地方可以查看:

1、通過本地日誌目錄查看對應container日誌文件,默認在hadoop的安裝目錄下的/logs/userlogs/:直接用查看文件命令查看即可。

好程序員:hadoop job 日誌的查看

該地方的應用運行日誌不一定最全,因為任務運行日誌由每一個NodeManager產生在本地,然後再給聚合到文件系統中(配置聚合日誌功能)。

2、瀏覽器查看,默認在/yarn/logs/${user}/logs:需要找對應的applicationId,甚至contaninerId

好程序員:hadoop job 日誌的查看

如:

[hadoop@hadoop01 ~]$ hdfs dfs -cat /yarn/logs/hadoop/logs/application_1523430872525_0002/hadoop01_60127

Log內容省略:

注:

${user} 是啟動yarn模塊服務的用戶,比如我的是hadoop用戶啟動的,所以我的目錄為:/yarn/logs/hadoop/logs。

該種方式需要配置聚合日誌功能

該種方式需要啟動jobhistoryserver服務

3、使用命令查看:可用yarn logs 加回車鍵查看其幫助

查看application的日誌:

[hadoop@hadoop01 ~]$ yarn logs -applicationId application_1523430872525_0002

查看具體某一個container的日誌:

[hadoop@hadoop01 ~]$ yarn logs -applicationId application_1523430872525_0002 -containerId container_1523191604137_0016_02_000001 -nodeAddress hadoop01:60127

log日誌省略:

4、當然查看具體日誌方式有很多,還可以使用瀏覽器中直接點擊查看,比如http://hadoop:19888 或者http://hadoop01:8088 中的鏈接去查看其日誌內容。

出了具體的錯誤你就要想盡一切辦法找其具體日誌信息來定位錯誤。


分享到:


相關文章: