kafka安装及配置过程

kafka 依赖于 zookeeper，zookeeper的安装可看：ZooKeeper的安装和配置过程

先说明一下，集群主机分别是：192.168.127.129，192.168.127.130，192.168.127.131

安装

kafka可以通过官网下载：https://kafka.apache.org/downloads

下载官方推荐版本kafka_2.13-3.4.0.tgz。

在 /user/local/创建 kafka 目录，将kafka_2.13-3.4.0.tgz通过Xftp工具传到kafka目录
解压kafka_2.13-3.4.0.tgz

[root@localhost kafka]# tar -zvxf kafka_2.13-3.4.0.tgz

kafka配置

当前 kafka_2.13-3.4.0 所在目录：

kafka_2.13-3.4.0 目录结构：

kafka的配置文件在config/server.properties文件中，主要修改参数如下，更具体的参数说明以后再整理下。

broker.id是kafka broker的编号，集群里每个broker的id需不同。我是从0开始。

listeners是监听地址，需要提供外网服务的话，要设置本地的IP地址

log.dirs是日志目录，需要设置。在 kafka_2.13-3.4.0 目录下创建 logs 目录，log.dirs 日志目录指向 kafka_2.13-3.4.0 目录下的 logs 目录。

设置Zookeeper集群地址

num.partitions 为新建Topic的默认Partition数量，partition数量提升，一定程度上可以提升并发性

内部topic配置

内部__consumer_offsets和__transaction_state两个topic，分组元数据的复制因子，为了保证可用性，在生产上建议设置大于1。

default.replication.factor为kafka保存消息的副本数，如果一个副本失效了，另一个还可以继续提供服务，是在自动创建topic时的默认副本数，可以设置为3

上面配置只在主机 192.168.127.129 上进行配置，因为要创建kafka集群，所以kafka的所有文件都复制两份，配置文件做相应的修改，尤其是brokerid、listeners 的 IP地址和日志目录。

启动及停止kafka

在/usr/local/kafka/kafka_2.13-3.4.0目录下进行操作

1、启动kafka

bin/kafka-server-start.sh -daemon config/server.properties

-daemon 参数会将任务转入后台运行，输出日志信息将写入日志文件logs/server.log，结尾输出started说明启动成功。

[root@localhost kafka_2.13-3.4.0]# cat logs/server.log

也可以用jps命令，看有没有kafka的进程

2、 停止kafka

bin/kafka-server-stop.sh config/server.properties

测试

kafka和Zookeeper已启动完成

1、 创建topic

bin/kafka-topics.sh --create --topic test --bootstrap-server 192.168.127.129:9092 --replication-factor 3 --partitions 3

2、 查看主题

bin/kafka-topics.sh --list --bootstrap-server 192.168.127.129:9092

3、 发送消息

bin/kafka-console-producer.sh --broker-list 192.168.127.129:9092 --topic test

4、 接收消息

bin/kafka-console-consumer.sh --bootstrap-server 192.168.127.129:9092 --topic test --from-beginning

5、 查看特定主题的详细信息

bin/kafka-topics.sh --bootstrap-server 192.168.127.129:9092 --describe  --topic test

从中可以看到，test主题分了三个区，复制因子是3。

6、 删除主题

bin/kafka-topics.sh --bootstrap-server 192.168.127.129:9092 --delete  --topic test

参考：
https://www.cnblogs.com/zhaoshizi/p/12154518.html