修改quark日志级别的几种方式

2024-03-27 其他常见问题

内容纲要

概要描述

本文主要介绍如何修改quark的日志级别，高版本默认日志级别已经修改为warn，如果需要查看更细节的日子信息，可将参数设置为info。

注意：

1. 在对性能要求比较苛刻的客户生产环境、或者一些高并发的压测环境，建议将日志级别调整为ERROR以提升性能 (尤其是Quark Server)；
2. 这个参数是server级参数，也就是在一个session设置了会影响其他session。

详细说明

解决方案

1. 临时修改

1.1 修改日志参数

可以通过设置下面的参数，

set inceptor.log.level=warn; [info,warn,error]

1.2 DBAService页面修改

我们也可以通过dbaservice页面，在Tools-Config页面调整日志级别，影响server级inceptor.log.level参数。

file

一些其他场景，

java程序可以添加启动参数-Dquark.log.level=warn; [info,warn,error]
jdbc程序可以在session上set inceptor.log.level=info

2. 持久化修改

持久化修改有2种方式：

2.1 修改EXTRA_DRIVER_OPTS和EXTRA_EXECUTOR_OPTS

添加配置-Dquark.log.level=INFO （如果已经有值的话，记得前面加个空格。截图中没有就可以不加空格）

file

然后对Quark服务配置服务，再重启即可。

2.2 修改manager模板文件

需要修改对应的模板文件，在manager节点修改如下文件（如果manager开启HA的话，两个节点都需要修改）:

以quark 8.31.2-final 版本为例：

# hive-log4j.properties.raw 用来进行executor之外的组件的日志信息配置
/var/lib/transwarp-manager/master/content/meta/services/QUARK/quark-8.31.2/templates/hive-log4j.properties.raw
hive.root.logger=INFO,DRFA

# log4j.properties则专用与executor的日志输出的配置
/var/lib/transwarp-manager/master/content/meta/services/QUARK/quark-8.31.2/templates/log4j.properties.raw
inceptor.root.logger=INFO,RFA

修改完成之后，对Quark服务配置服务，再重启即可。

FAQ: 如何调整metastore的日志级别？

EXTRA_METASTORE_OPTS 添加 -Dquark.log.level=INFO，是无效的

set inceptor.log.level 参数对metastore日志级别不起作用，

如果需要临时调整metastore日志级别，可以手动修改metastore节点(一般默认安装2个)的 /etc/quark1/conf/hive-log4j.properties 文件，修改hive.root.logger后面的内容，再将这2个metastore 的pod delete掉触发重启即可。（测试完毕，记得修改回初始值）
如果需要持久化修改，可以参考前面的【2.2 修改manager模板文件】修改 hive-log4j.properties.raw模板文件进行操作。