kafka-kafka集群配置、kafka集群启动创建kafka主题、获取主题数据

        本文章使用三台主机，分别为：master、slave1、slave2

一、解压kafka安装包至目录下

tar -zxvf kafka_2.12-2.4.1.tgz -C /需要放置的路径/

 二、修改配置文件 server.properties

         该配置在kafka目录的config目录下

#修改文件中id数值
broker.id=0

 kafka集群中所有的id不能相同，如果都为0，那么在创建主题的时候会显示分区失败broker个数不够。我这里将master id为0、slave1 id 为1、slave2 id 为2

#指定zookeeper集群
#zookeeper.connect=localhost:2181zookeeper.connect=master:2181,slave1:2181,slave2:2181

        保存配置文件并退出。

三、启动zookeeper集群

        启动zookeeper是必须的，否则kafka集群会无法正常运行。zookeeper集群运行配置见本人主页zookeeper分栏。

四、启动kafka集群

        在kafka目录下

./bin/kafka-server-start.sh -daemon config/server.properties 

-daemon 后台启动

config/server.properties 使用该配置文件启动

 五、创建kafka主题、读取kafka主题

        1、创建kafka主题

./bin/kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --replication-factor 2 --partitions 2 --topic installtopic

--replication-factor 2 分区为2

--partitions 2 备份数位2

--topic 主题名

        2、消费kafka主题

./bin/kafka-console-consumer.sh --from-beginning --topic installtopic--bootstrap-server localhost:9092

/bin/kafka-console-consumer.sh：启动 Kafka 控制台消费者。

--from-beginning：从该主题的开始位置读取消息。

--topic hunter：指定要消费的主题名称为 "installtopic"。

--bootstrap-server 集群各个主机:端口：指定连接到 Kafka 集群的所有 broker 的主机名和端口号