概要描述

本文主要介绍Slipstream如何对接集群外的kafka

环境准备

集群外Kafka以及Zookeeper环境
172.22.16.18
172.22.16.19
172.22.16.20

集群环境
172.22.39.7
172.22.39.8 （Slipstream主节点）
172.22.39.9

详细描述

1 在集群环境的所有节点做如下配置

vim /etc/transwarp/conf/hosts

将集群外kafka,zookeeper的节点IP地址以及对应的主机名信息配置进该文件里

2 登录集群Slipstream，创建相应的流信息

其中流的名字自定义为st1，指定topic为info

CREATE STREAM st1 (id int,name STRING,age int) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY '@'
TBLPROPERTIES ("topic" = "info","kafka.zookeeper" = "172.22.16.18:2181,172.22.16.19:2181,172.22.16.20:2181","kafka.broker.list" = "172.22.16.18:9092,172.22.16.19:9092,172.22.16.20:9092");

3 创建相应的表

CREATE TABLE st1_table (id int,name STRING,age int);

4 将流落入表中，并检查streamjob的运行状态

INSERT INTO TABLE st1_table SELECT * FROM st1;

LIST STREAMJOBS;

5 集群外kafka创建topic

./kafka-topics.sh  --zookeeper 172.22.16.18:2181 --create --topic info --partitions 3 --replication-factor 1

6 集群外使用Console Producer向Kafka Topic发送数据

./kafka-console-producer.sh --broker-list 172.22.16.18:9092 --topic info