11.Maxwell 部署
Maxwell 部署
一、环境准备
1、确保服务器上已经安装好了zookeeper、kafka、MySQL软件；
（1）启动zookeeper:
/usr/app/zookeeper3.4/bin/zkServer.sh start
（2）启动三台主题的kafka
启动：bin/kafka-server-start.sh -daemon config/server.properties
停止：/usr/app/kafka/bin/kafka-server-stop.sh
2、在如下地址下载Maxwell软件：
https://github.com/zendesk/maxwell/releases/tag/v1.29.1
3、解压文件并改名
解压文件：
tar -zxvf /opt/software/maxwell-1.29.1.tar.gz -C /usr/app/
修改目录：
mv maxwell-1.29.1/ maxwell-1.29
修改/et/profile环境变量，并source /etc/profile：
export MAXWELL_HOME=/usr/app/maxwell1.29.1
export PATH=$PATH:$MAXWELL_HOME/bin
二、MySQL准备
1、修改MySQL的配置文件/etc/my.cnf，开启MySQL的binlog设置
# Maxwell 日志采集的配置
server_id=1
# 设置生成的二进制文件的前缀
log-bin=mysql-bin
# 设置binlog的二进制文件的日志级别 行级模式
binlog_format=row# binlog的执行的库 如果不加这个参数那么mysql会对所有的库都生成对应的binlog 即对所有的库进行binlog监控
#（这里我们使用test库测试）
# 设置只监控某个或某些数据库，多个数据就设置多行,test代表库名
binlog-do-db=test
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lAFgmmvf-1678177926369)(C:\\Users\\蒋欢\\Desktop\\题目搭建\\搭建笔记\\wps13.jpg)]](https://img-blog.csdnimg.cn/fc9a9141280444379a2111a4b251fa00.jpeg)
2、重启MySQL服务
systemctl restart mysqld
3、登录MySQL并查看是否修改成功
mysql –uroot -pshow variables like '%binlog%'
4、进入 /var/lib/mysql 目录，查看MySQL生成的binlog文件
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-H9owQYfN-1678177926371)(C:\\Users\\蒋欢\\Desktop\\题目搭建\\搭建笔记\\wps15.jpg)]](https://img-blog.csdnimg.cn/baabfc5d1828468ba23c335ba9ca383b.jpeg)
三、初始化Maxwell元数据库
1、在MySQL中建立一个 maxwell 库用于存储 maxwell 元数据。表会自动创建。
四、使用命令行参数启动Maxwell进程
bin/maxwell --user='root' --password='123456' --host='hp1' --producer=stdout
参数解读：
--user 连接 mysql 的用户--password 连接 mysql 的用户的密码--host mysql 安装的主机名--producer 生产者模式(stdout：控制台 kafka：kafka 集群)
五、实操练习
5.1、监控MySQL数据并在控制台打印
1、运行maxwell监控MySQL数据增加、删除、更新
bin/maxwell --user='root' --password='123456' --host='hp1' --producer=stdout
2、向 mysql 的 test 库的 test_maxwell 表插入一条数据，查看 maxwell 的控制台输出
2.1 首先创建 表，可以看出，打印出了我们在test库下新建了一个表
2.2 插入一条数据，如图：
3、修改 test库的test_maxwell 表的一条数据，查看 maxwell 的控制台输出
3、删除test库的 test_maxwell 表的一条数据，查看 maxwell 的控制台输出
总结：
type 代表操作类型
利用CTL+C退出监控界面
5.2、监控 MySQL 数据输出到 kafka
在安装我们maxwell的主机上：
1、启动zookeeper集群和kafka集群
（已启动）
2、启动 Maxwell 监控 binlog
bin/maxwell --user='root' --password='123456' --host='hp1' \\
--producer=kafka --kafka.bootstrap.servers=hp1:9092 --kafka_topic=hunter
3、打开 kafka 的控制台的消费者消费 hunter 主题
在kafka集群中另选一台：
bin/kafka-console-consumer.sh --bootstrap-server hp1:9092 --topic hunter
4.在test库的 test_maxwell 表中增加、修改、删除记录
增加：
修改：
删除：
test库的 test_maxwell 表中增加、修改、删除记录
增加：
修改：
删除：
