slipstream数据无法落表

  其他常见问题
内容纲要

概要描述

streamjob正常启动,但是最终表无数据

详细说明

可以正常创建 topic、stream、streamjob,也可以正常启动;
且 topic 可以通过客户端生产者、消费者正常生产和消费;


问题描述:客户表示stream增加字段后,落表无数据

分析过程:
1.查看/var/log/slipstream1/下的日志:

hive-server日志报
2021-11-19 14:53:49,278 WARN network.Selector: (Selector.java:pollSelectionKeys(382)) [pool-36-thread-63()] - Unexpected error from 172.16.13.223/172.16.13.223; closing connection
org.apache.kafka.common.errors.IllegalSaslStateException: Unexpected handshake request with client mechanism GSSAPI, enabled mechanisms are []

inceptor-executor日志报
broker disconnect

2.list streamjobs 看到正在running
3.手动测试kafka可以正常生产和消费消息,kafka和slipstream均开启安全
4.手动建stream,发现消息无法落表,检查4044页面,查看到十几个job的task已经拿不到executor资源:
file

解决方案:
task每个executor默认设置的是20,已经全部被使用了,增加inceptor.executor.cores 数量(根据集群资源实际情况增加),slipstream配置服务,重启
file

这篇文章对您有帮助吗?

平均评分 0 / 5. 次数: 0

尚无评价,您可以第一个评哦!

非常抱歉,这篇文章对您没有帮助.

烦请您告诉我们您的建议与意见,以便我们改进,谢谢您。