一般有幾個地方可以查看:
1、通過本地日誌目錄查看對應container日誌文件,默認在hadoop的安裝目錄下的/logs/userlogs/:直接用查看文件命令查看即可。
該地方的應用運行日誌不一定最全,因為任務運行日誌由每一個NodeManager產生在本地,然後再給聚合到文件系統中(配置聚合日誌功能)。
2、瀏覽器查看,默認在/yarn/logs/${user}/logs:需要找對應的applicationId,甚至contaninerId
如:
[hadoop@hadoop01 ~]$ hdfs dfs -cat /yarn/logs/hadoop/logs/application_1523430872525_0002/hadoop01_60127
Log內容省略:
注:
${user} 是啟動yarn模塊服務的用戶,比如我的是hadoop用戶啟動的,所以我的目錄為:/yarn/logs/hadoop/logs。
該種方式需要配置聚合日誌功能
該種方式需要啟動jobhistoryserver服務
3、使用命令查看:可用yarn logs 加回車鍵查看其幫助
查看application的日誌:
[hadoop@hadoop01 ~]$ yarn logs -applicationId application_1523430872525_0002
查看具體某一個container的日誌:
[hadoop@hadoop01 ~]$ yarn logs -applicationId application_1523430872525_0002 -containerId container_1523191604137_0016_02_000001 -nodeAddress hadoop01:60127
log日誌省略:
4、當然查看具體日誌方式有很多,還可以使用瀏覽器中直接點擊查看,比如http://hadoop:19888 或者http://hadoop01:8088 中的鏈接去查看其日誌內容。
出了具體的錯誤你就要想盡一切辦法找其具體日誌信息來定位錯誤。
閱讀更多 好程序員 的文章