Kafka生产消费数据

2020-10-02 使用配置

内容纲要

概要描述

本文旨在介绍kafka如何生产以及消费数据

详细说明

1.下载并安装 TDH Client

tdh-client的使用方法

2.创建 Kafka Topic

1) 执行 TDH Client 的 init.sh 脚本，启动 TDH Client :

source {TDH_Client_install_dir}/init.sh

2）创建topic

cd {TDH_Client_install_dir}/kafka/bin
./kafka-topics.sh --topic {topic_student_name} --zookeeper 172.16.140.85:2181 --create -partition 1 --replication-factor 1

3) 列出所有 Topic，查看 Topic 是否创建成功

./kafka-topics.sh --zookeeper 172.16.140.85:2181 --list

file

3.kafka消息发布

创建 Console Console Producer


 ./kafka-console-producer.sh --topic {topic_student_name} --broker-list 172.16.140.85:9092

生产消息样例图：
file

4.kafka消息订阅

新建一个 Xshell 窗口，执行 TDH Client 的 init.sh 脚本，启动 TDH Client

source {TDH_Client_install_dir}/init.sh

创建 Kafka Console Consumer


cd {TDH_Client_install_dir}/kafka/bin 
./kafka-console-consumer.sh --topic {topic_student_name} --bootstrap-server ip:9092

消费消息样例图：
file