网站导航
> 文章列表 > 大数据应用——zookeeper集群部署

大数据应用——zookeeper集群部署

网友: 文章列表 2024-03-21 19:00:20

大数据应用——zookeeper集群部署

本地模式安装

  1. 安装前准备
  2. （1）安装 JDK
    1. 拷贝 apache-zookeeper-3.5.7-bin.tar.gz 安装包到 Linux 系统下
    2. 解压到指定目录

[hadoop@hadoop101 software]$

tar -zxvf apache-zookeeper-3.5.7 bin.tar.gz -C /opt/module/

    1. 修改名称

[hadoop@hadoop101 module]$ mv apache-zookeeper-3.5.7 -bin/ zookeeper-3.5.7

  1. 配置修改
    1. 将/opt/module/zookeeper-3.5.7/conf 这个路径下的 zoo_sample.cfg 修改为 zoo.cfg；

[hadoop@hadoop101 conf]$ mv zoo_sample.cfg zoo.cfg

    1. 打开 zoo.cfg 文件，修改 dataDir 路径：

[hadoop@hadoop101 zookeeper-3.5.7]$ sudo vim zoo.cfg

修改如下内容：

dataDir=/opt/module/zookeeper-3.5.7/zkData

    1. 在/opt/module/zookeeper-3.5.7/这个目录上创建 zkData 文件夹

[hadoop@hadoop101 zookeeper-3.5.7]$ mkdir zkData

  1. 操作 Zookeeper
    1. 启动 Zookeeper

[hadoop@hadoop101 zookeeper-3.5.7]$ bin/zkServer.sh start

    1. 查看进程是否启动

[hadoop@hadoop101 zookeeper-3.5.7]$ jps

4020 Jps

4001 QuorumPeerMain

    1. 查看状态

[hadoop@hadoop101 zookeeper-3.5.7]$ bin/zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg

Mode: standalone

    1. 启动客户端

[atguigu@hadoop101 zookeeper-3.5.7]$ bin/zkCli.sh

    1. 退出客户端：

[zk: localhost:2181(CONNECTED) 0] quit

    1. 停止 Zookeeper

[hadoop@hadoop101 zookeeper-3.5.7]$ bin/zkServer.sh stop

配置参数解读

Zookeeper中的配置文件zoo.cfg中参数含义解读如下：

1）tickTime = 2000：通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒

 2 ) initLimit = 10:LF初始通信时限

 Leader和Follower初始连接时能容忍的最多心跳数（tickTime的数量）

3 ) syncLimit =5: LF同步通信时限

 

Leader和Follower之间通信时间如果超过syncLimit * tickTime，Leader认为Follwer死

掉，从服务器列表中删除Follwer。

4) dataDir:保存Zookeeper中的数据

注意：默认的tmp目录，容易被Linux系统定期删除，所以一般不用默认的tmp目录。

5) clientPort = 2181:客户端连接端口，通常不做修改。
 

集群操作

 集群安装

  1. 集群规划
  2. 解压安装
    1. 在 hadoop101 解压 Zookeeper 安装包到/opt/module/目录下

[hadoop@hadoop101 software]$

tar -zxvf apache-zookeeper-3.5.7 bin.tar.gz -C /opt/module/

    1. 修改 apache-zookeeper-3.5.7-bin 名称为 zookeeper-3.5.7

[hadoop@hadoop101 module]$ mv apache-zookeeper-3.5.7-bin/ zookeeper-3.5.7

  1. 配置服务器编号
    1. 在/opt/module/zookeeper-3.5.7/这个目录下创建 zkData

[hadoop@hadoop101 zookeeper-3.5.7]$ mkdir zkData

    1. 在/opt/module/zookeeper-3.5.7/zkData 目录下创建一个 myid 的文件

[hadoop@hadoop101 zkData]$ sudo vi myid

在文件中添加与 server 对应的编号（注意：上下不要有空行，左右不要有空格）

 

    1. 拷贝配置好的 zookeeper 到其他机器上

[hadoop@hadoop101 module ]$

scp zookeeper-3.5.7 hadoop@192.168.2.123:/opt/module/zookeeper-3.5.7/conf

[hadoop@hadoop101 module]$

scp zookeeper-3.5.7 hadoop@192.168.2.124:/opt/module/zookeeper-3.5.7/conf

并分别在 hadoop102、hadoop103 上修改 myid 文件中内容为 3、4

  1. 配置zoo.cfg文件
    1. 重命名/opt/module/zookeeper-3.5.7/conf 这个目录下的 zoo_sample.cfg 为 zoo.cfg

[hadoop@hadoop101 conf]$ mv zoo_sample.cfg zoo.cfg

    1. 打开 zoo.cfg 文件

[hadoop@hadoop101 conf]$sudo vim zoo.cfg

#修改数据存储路径配置

dataDir=/opt/module/zookeeper-3.5.7/zkData

#增加如下配置

#######################cluster########################## server.1=hadoop101:2888:3888

server.2=hadoop102:2888:3888

server.3=hadoop103:2888:3888

 

    1. 配置参数解读

server.A=B:C:D。

    1. 是一个数字，表示这个是第几号服务器；集群模式下配置一个文件 myid，这个文件在 dataDir 目录下，这个文件里面有一个数据就是 A 的值，Zookeeper 启动时读取此文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是哪个 server。
    2. 是这个服务器的地址；
    3. 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口；
    4. 是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的

Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

    1. 同步 zoo.cfg 配置文件

[hadoop@hadoop101 conf]$

scp zoo.cfg hadoop@192.168.2.123:/opt/module/zookeeper-3.5.7/conf

[hadoop@hadoop101 conf]$

scp zoo.cfg hadoop@192.168.2.124:/opt/module/zookeeper-3.5.7/conf

  1. 集群操作
    1. 分别启动 Zookeeper

[hadoop@hadoop101 zookeeper-3.5.7]$ bin/zkServer.sh start

[hadoop@hadoop102 zookeeper-3.5.7]$ bin/zkServer.sh start

[hadoop@hadoop103 zookeeper-3.5.7]$ bin/zkServer.sh start

    1. 查看状态

[hadoop@hadoop101 zookeeper-3.5.7]# bin/zkServer.sh status

JMX enabled by default

Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg

Mode: follower

 

[hadoop@hadoop102 zookeeper-3.5.7]# bin/zkServer.sh status

JMX enabled by default

Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg

Mode: follower

 

[hadoop@hadoop103 zookeeper-3.4.5]# bin/zkServer.sh status

JMX enabled by default

Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg

Mode: leader

 

3.1.3 ZK 集群启动停止脚本

  1. 在 hadoop101 的/home/atguigu/bin 目录下创建脚本

[hadoop@hadoop101 bin]$ sudo vim zk.sh

[hadoop@hadoop101 bin]$ ll

[hadoop@hadoop101 bin]$ sudo chown -R hadoop:hadoop /home/hadoop/bin

[hadoop@hadoop101 bin]$ ll

 

在脚本中编写如下内容

#!/bin/bash

 case $1 in "start"){

 for i in hadoop102 hadoop103 hadoop104

 do

        echo "---------- zookeeper $i 启动 ------------"

        ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"

 done

};; "stop"){

 for i in hadoop102 hadoop103 hadoop104

 do

        echo "---------- zookeeper $i 停止 ------------ "

       ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"

 done

};; "status"){

 for i in hadoop102 hadoop103 hadoop104

 do

        echo "---------- zookeeper $i 状态 ------------ "

        ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"  done

};; esac

  2. 增加脚本执行权限

[hadoop@hadoop102 bin]$ chmod u+x zk.sh

  1. Zookeeper 集群启动脚本

[hadoop@hadoop102 bin]$ zk.sh start

 

  1. Zookeeper 集群停止脚本

[hadoop@hadoop102 bin]$ zk.sh stop

王者荣耀攻略

网络标签：

相关问题