杰霸霸博客

主题

Zookeeper 集群安装 ​

1. 集群规划: ​

机器hadoop105hadoop106hadoop107
zookeeper✓✓✓

生产集群安装多少zk合适?

安装奇数台。
生产经验：

  • 10台服务器：3台zk；
  • 20台服务器：5台zk；
  • 100台服务器：11台zk；
  • 200台服务器：11台zk
    服务器台数多：好处，提高可靠性；
    坏处：提高通信延时；

2. 解压安装 ​

  1. 在hadoop105解压Zookeeper安装包到/opt/module/目录下
sh
[jack@hadoop105 software]$ tar -zxvf apache-zookeeper-3.8.4-bin.tar.gz -C /opt/module/
[jack@hadoop105 module]$ mv apache-zookeeper-3.8.4-bin/  zookeeper-3.8.4

3. 配置服务器编号 ​

  1. 在/opt/module/zookeeper-3.8.4/这个目录下创建data
sh
[jack@hadoop105 zookeeper-3.8.4]$ mkdir data
  1. 在/opt/module/zookeeper-3.8.4/data目录下创建一个myid的文件
sh
[jack@hadoop105 data]$ echo 1 > myid

注意

  1. 在myid文件中添加与server对应的编号(注意：上下不要有空行，左右不要有空格)
  2. 添加myid文件，一定要在Linux里面创建，在notepad++里面很可能乱码
  1. 拷贝配置好的zookeeper到其他机器上
sh
 [jack@hadoop105 module]$ xsync zookeeper-3.8.4

并分别在hadoop106、hadoop107上修改myid文件中内容为2、3

4. 配置zoo.cfg文件 ​

  1. 将/opt/module/zookeeper-3.8.4/conf/zoo_sample.cfg复制为zoo.cfg
sh
[jack@hadoop105 zookeeper-3.8.4]$ cp conf/zoo_sample.cfg conf/zoo.cfg
  1. 打开zoo.cfg文件
sh
[jack@hadoop105 conf]$ vi zoo.cfg
## 修改数据存储路径配置
dataDir=/opt/module/zookeeper-3.8.4/data
## 增加如下配置
server.1=hadoop105:2888:3888
server.2=hadoop106:2888:3888
server.3=hadoop107:2888:3888
  1. 同步zoo.cfg配置文件
sh
[jack@hadoop105 conf]$ xsync zoo.cfg

5. 配置参数解读 ​

配置集群信息格式为： server.A=B:C:D
A 是一个数字，表示这个是第几号服务器；
集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。
B 是这个服务器的地址；
C 是这个服务器Follower与集群中的Leader服务器交换信息的端口；
D 是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

6. 集群启动 ​

  1. 分别启动Zookeeper
sh
[jack@hadoop105 zookeeper-3.8.4]$ bin/zkServer.sh start
[jack@hadoop106 zookeeper-3.8.4]$ bin/zkServer.sh start
[jack@hadoop107 zookeeper-3.8.4]$ bin/zkServer.sh start
  1. 查看状态
sh
[jack@hadoop105 zookeeper-3.8.4]$ bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.8.4/bin/../conf/zoo.cfg
Mode: follower
[jack@hadoop106 zookeeper-3.8.4]$ bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.8.4/bin/../conf/zoo.cfg
Mode: leader
[jack@hadoop107 zookeeper-3.8.4]$ bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.8.4/bin/../conf/zoo.cfg
Mode: follower

7. ZK集群启停脚本 ​

  1. 在hadoop105的/home/jack/bin目录下创建脚本。
    在脚本中编写如下内容:
sh
#!/bin/bash

zk_bin_home=/opt/module/zookeeper-3.8.4/bin

case $1 in
"start"){
for i in hadoop105 hadoop106 hadoop107
do
 echo ---------- zookeeper $i 启动 ------------
ssh $i "$zk_bin_home/zkServer.sh start"
done
};;
"stop"){
for i in hadoop105 hadoop106 hadoop107
do
 echo ---------- zookeeper $i 停止 ------------ 
 ssh $i "$zk_bin_home/zkServer.sh stop"
done
};;
"status"){
for i in hadoop105 hadoop106 hadoop107
do
 echo ---------- zookeeper $i 状态 ------------ 
 ssh $i "$zk_bin_home/zkServer.sh status"
done
};;
esac
  1. 增加脚本执行权限
sh
[jack@hadoop105 bin]$ chmod u+x zk.sh
  1. Zookeeper集群启动
sh
[jack@hadoop105 bin]$ zk_helper start
---------- zookeeper hadoop105 启动 ------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.8.4/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
---------- zookeeper hadoop106 启动 ------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.8.4/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
---------- zookeeper hadoop107 启动 ------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.8.4/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
  1. Zookeeper集群停止脚本
sh
[jack@hadoop105 module]$ zk.sh stop