内容纲要
概要描述
在 TDH 使用中，会有提交 MapReduce 任务到 Yarn 上的场景，有时在调试任务时为了分析定位原因需要调整作业的日志级别。Yarn 作业默认日志级别是 INFO，我们可以根据本文方法来调整作业的 Map、Reduce、ApplicationMaster 的日志级别为其他。
详细说明
-
本文在 Centos 7.2，TDH 6.2.2 环境上测试通过
-
涉及配置项
| 配置项 | 说明 | 配置文件 | 默认值 | 可选值 |
|---|---|---|---|---|
| mapreduce.map.log.level | map task 日志级别 | mapred-site.xml | INFO | OFF, FATAL, ERROR, WARN, INFO, DEBUG, TRACE and ALL |
| mapreduce.reduce.log.level | reduce task 日志级别 | mapred-site.xml | INFO | OFF, FATAL, ERROR, WARN, INFO, DEBUG, TRACE and ALL |
| yarn.app.mapreduce.am.log.level | MR ApplicationMaster 日志级别 | mapred-site.xml | INFO | OFF, FATAL, ERROR, WARN, INFO, DEBUG, TRACE and ALL |
- 示例
修改 MR 任务作业日志级别为 WARN
-
打开 TDH Manager 并进入 Yarn 的配置页面，通过 “添加自定义参数” 添加以上 3 个参数
-
配置服务并重启 Yarn
-
重新下载 TDH-Client，并提交测试任务验证
如果需要使用 TDH-Client 通过命令提交 MapReduce 任务来验证，一定要重新下载 TDH-Client 来更新客户端配置；
如果通过其他方式来验证，也请同步更新对应 Client 的 mapred-site.xml 配置文件；
如图可以看到日志级别成功调整为 WARN。
