内容纲要
目前主流的kafka图形化管理工具有三种:cmak、kafka-eagle、kafka-monitor。因为kafka-eagle配置较为简单,这里写下kafka-eagle对接TDH的步骤。
前置说明
- 不支持开启强认证的zookeeper
- 采用容器化部署
- 如果是TDH集群外部署,部署机器上hosts要添加zookeeper和kafka相关节点的映射关系
- 如果要从kafka-eagle删除topic,需要修改TDH中kafka的默认配置
未开启安全的TDH集群
启动命令
docker run -itd --name kafka-eagle --network=host -e ZKSERVER="集群zk地址" comm/kafka-eagle
说明
- 从
ZKSERVER
环境变量传入zookeeper集群地址,也可以只写单节点地址,建议写全 - TDH集群上消费者信息都保存在kafka:
cluster.kafka.eagle.offset.storage=kafka
开启安全的TDH集群
启动命令
docker run -itd --name kafka-eagle --network=host -v /root/system-config.properties:/kafka-eagle/conf/system-config.properties -v /etc/kafka1:/etc/kafka1 -v /etc/krb5.conf:/etc/krb5.conf comm/kafka-eagle
说明
krb5.conf
是kdc的信息,kafka1
是集群kafka对应配置目录,将其挂载到容器中- 手动挂载kafka-eagle配置文件
system-config.properties
,开启安全部分的配置如下:
cluster.kafka.eagle.sasl.enable=true
cluster.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster.kafka.eagle.sasl.mechanism=GSSAPI
cluster.kafka.eagle.sasl.jaas.config=com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true storeKey=true serviceName="kafka" keyTab="/etc/kafka1/conf/kafka.keytab" principal="kafka/ts-16-81@TDH";
cluster.kafka.eagle.sasl.client.id="cluster"