1. 概述
ZooKeeper 是一個開源的分佈式協調服務，是 Hadoop，HBase 和其他分佈式框架使用的有組織服務的標準。
分佈式應用程序可以基於 ZooKeeper 實現諸如數據發佈/訂閱、負載均衡、命名服務、分佈式協調/通知、集群管理、Master 選舉、分佈式鎖和分佈式隊列等功能。
所有的分佈式系統都面臨著 CAP 理論的抉擇，都需要一致性算法的保障。這裡先放上一個簡單的總結，用於大家借鑑那些頂級開源軟件在分佈式上的思路。
分佈式組件算法/協議服務Redis ClusterGossipmaster 提供讀寫，slave 只備份ZookeeperZABLeader 提供讀寫，Follower 只讀，遇到寫請求轉發給 LeaderKafkaZK 臨時節點只有 leader 提供讀寫服務
2. 應用場景
大致來說，zookeeper 的使用場景如下:
- 分佈式協調
- 分佈式鎖
- 元數據/配置信息管理
- HA 高可用性
- 發佈/訂閱
- 負載均衡
- Master 選舉
2.1 分佈式協調
這個其實是 zookeeper 很經典的一個用法，簡單來說，就好比，你 A 系統發送個請求到 mq，然後 B 系統消息消費之後處理了。那 A 系統如何知道 B 系統的處理結果？用 zookeeper 就可以實現分佈式系統之間的協調工作。A 系統發送請求之後可以在 zookeeper 上對某個節點的值註冊個監聽器，一旦 B 系統處理完了就修改 zookeeper 那個節點的值，A 系統立馬就可以收到通知，完美解決。
2.2 分佈式鎖
舉個栗子。對某一個數據連續發出兩個修改操作，兩臺機器同時收到了請求，但是隻能一臺機器先執行完另外一個機器再執行。那麼此時就可以使用 zookeeper 分佈式鎖，一個機器接收到了請求之後先獲取 zookeeper 上的一把分佈式鎖，就是可以去創建一個 znode，接著執行操作；然後另外一個機器也嘗試去創建那個 znode，結果發現自己創建不了，因為被別人創建了，那隻能等著，等第一個機器執行完了自己再執行。
2.3 元數據/配置信息管理
zookeeper 可以用作很多系統的配置信息的管理，比如 kafka、storm 等等很多分佈式系統都會選用 zookeeper 來做一些元數據、配置信息的管理，包括 dubbo 註冊中心不也支持 zookeeper 麼？
2.4 HA 高可用性
這個應該是很常見的，比如 hadoop、hdfs、yarn 等很多大數據系統，都選擇基於 zookeeper 來開發 HA 高可用機制，就是一個重要進程一般會做主備兩個，主進程掛了立馬通過 zookeeper 感知到切換到備用進程。
3. Docker 配置
docker-compose-zookeeper-cluster.yml
<code>version: '3.7'
networks:
docker_net:
external: true
services:
zoo1:
image: zookeeper
restart: unless-stopped
hostname: zoo1
container_name: zoo1
ports:
- 2182:2181
environment:
ZOO_MY_ID: 1
ZOO_SERVERS: server.1=0.0.0.0:2888:3888;2181 server.2=zoo2:2888:3888;2181 server.3=zoo3:2888:3888;2181
volumes:
- ./zookeeper/zoo1/data:/data
- ./zookeeper/zoo1/datalog:/datalog
networks:
- docker_net
zoo2:
image: zookeeper
restart: unless-stopped
hostname: zoo2
container_name: zoo2
ports:
- 2183:2181
environment:
ZOO_MY_ID: 2
ZOO_SERVERS: server.1=zoo1:2888:3888;2181 server.2=0.0.0.0:2888:3888;2181 server.3=zoo3:2888:3888;2181
volumes:
- ./zookeeper/zoo2/data:/data
- ./zookeeper/zoo2/datalog:/datalog
networks:
- docker_net
zoo3:
image: zookeeper
restart: unless-stopped
hostname: zoo3
container_name: zoo3
ports:
- 2184:2181
environment:
ZOO_MY_ID: 3
ZOO_SERVERS: server.1=zoo1:2888:3888;2181 server.2=zoo2:2888:3888;2181 server.3=0.0.0.0:2888:3888;2181
volumes:
- ./zookeeper/zoo3/data:/data
- ./zookeeper/zoo3/datalog:/datalog
networks:
- docker_net
/<code>
啟動集群
<code>docker-compose -f docker-compose-zookeeper-cluster.yml up -d
/<code>
4. 集群初認識
在 ZAB 算法中，存在 Leader、Follower、Observer 三種角色，現在我們就來認識下它們。
- 查看 zoo1 角色
<code>➜ docker docker exec -it zoo1 /bin/sh
# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /conf/zoo.cfg
Client port found: 2181\\. Client address: localhost.
Mode: follower
/<code>
由上結果可知，zoo1 是 follower
- 查看 zoo2 角色
<code>➜ docker docker exec -it zoo2 /bin/sh
# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /conf/zoo.cfg
Client port found: 2181\\. Client address: localhost.
Mode: follower
/<code>
由上結果可知，zoo2 是 follower
- 查看 zoo3 角色
<code>➜ docker docker exec -it zoo3 /bin/sh
# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /conf/zoo.cfg
Client port found: 2181\\. Client address: localhost.
Mode: leader
/<code>
由上結果可知，zoo3 是 leader。負責集群的讀寫。
- 查看 zoo3 選舉數據
<code>➜ docker echo srvr | nc localhost 2184
Zookeeper version: 3.5.6-c11b7e26bc554b8523dc929761dd28808913f091, built on 10/08/2019 20:18 GMT
Latency min/avg/max: 0/0/0
Received: 2
Sent: 1
Connections: 1
Outstanding: 0
Zxid: 0x100000000
Mode: leader
Node count: 5
Proposal sizes last/min/max: -1/-1/-1
/<code>
- 查看映射數據
如果實踐了上述操作的小夥伴一定會發現，映射路徑下的文件夾多了好多東西，感興趣的小夥伴可以打開看一下，瞭解下 ZAB 的選舉算法(沒錯，裡邊記錄的就是選舉相關的數據)。
<code>➜ zookeeper cd zoo1
➜ zoo1 tree
.
├── data
│ ├── myid
│ └── version-2
│ ├── acceptedEpoch
│ ├── currentEpoch
│ └── snapshot.0
└── datalog
└── version-2
/<code>
注意：留意 currentEpoch 中的數值
5. 選舉演練
5.1 模擬 Leader 掉線
<code>➜ zoo1 docker stop zoo3
zoo3
/<code>
查看此時的選舉結果(操作同查看角色操作步驟)。可以看到 Zookeeper 集群重新選舉結果: zoo2 被選為 leader
5.2 zoo3 節點重新上線
<code>➜ zoo1 docker start zoo3
zoo3
/<code>
查看 zoo3 角色，發現 zoo3 自動作為 follower 加入集群。
注意：查看 currentEpoch 中的數值，存儲值為 2，代表經過了 2 次選舉。第一次為剛啟動時觸發選舉，第二次為 leader 宕機後重新選舉
6. 常用操作
6.1 查看文件目錄
筆者本地有安裝的 Zookeeper 環境，所以這裡用本地的 zkCli 進行測試。
<code>zkCli -server localhost:2182,localhost:2183,localhost:2184
Connecting to localhost:2182,localhost:2183,localhost:2184
Welcome to ZooKeeper!
JLine support is enabled
WATCHER::
WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2182,localhost:2183,localhost:2184(CONNECTED) 0] ls /
[zookeeper]
/<code>
6.2 創建順序節點
順序節點保證 znode 路徑將是唯一的。
<code>[zk: localhost:2182,localhost:2183,localhost:2184(CONNECTED) 1] create -s /zk-test 123
Created /zk-test0000000000
[zk: localhost:2182,localhost:2183,localhost:2184(CONNECTED) 2] ls /
[zk-test0000000000, zookeeper]
/<code>
6.3 創建臨時節點
當會話過期或客戶端斷開連接時，臨時節點將被自動刪除
<code>[zk: localhost:2182,localhost:2183,localhost:2184(CONNECTED) 3] create -e /zk-temp 123
Created /zk-temp
[zk: localhost:2182,localhost:2183,localhost:2184(CONNECTED) 4] ls /
[zk-test0000000000, zookeeper, zk-temp]
/<code>
臨時節點在客戶端會話結束後就會自動刪除，下面使用 quit 命令行退出客戶端,再次連接後即可驗證。
<code>[zk: localhost:2182,localhost:2183,localhost:2184(CONNECTED) 5] quit
Quitting...
➜ docker zkCli -server localhost:2182,localhost:2183,localhost:2184
Connecting to localhost:2182,localhost:2183,localhost:2184
Welcome to ZooKeeper!
JLine support is enabled
WATCHER::
WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2182,localhost:2183,localhost:2184(CONNECTED) 0] ls /
[zk-test0000000000, zookeeper]
/<code>
6.4 創建永久節點
<code>[zk: localhost:2182,localhost:2183,localhost:2184(CONNECTED) 1] create /zk-permanent 123
Created /zk-permanent
[zk: localhost:2182,localhost:2183,localhost:2184(CONNECTED) 2] ls /
[zk-permanent, zk-test0000000000, zookeeper]
/<code>
6.5 讀取節點
<code>[zk: localhost:2182,localhost:2183,localhost:2184(CONNECTED) 3] get /
cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x400000008
cversion = 3
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 3
[zk: localhost:2182,localhost:2183,localhost:2184(CONNECTED) 4] ls2 /
[zk-permanent, zk-test0000000000, zookeeper]
cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x400000008
cversion = 3
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 3
/<code>
使用 ls2 命令來查看某個目錄包含的所有文件，與 ls 不同的是它查看到 time、version 等信息
6.6 更新節點
<code>[zk: localhost:2182,localhost:2183,localhost:2184(CONNECTED) 5] set /zk-permanent 456
cZxid = 0x400000008
ctime = Tue Mar 03 21:35:20 CST 2020
mZxid = 0x400000009
mtime = Tue Mar 03 21:40:11 CST 2020
pZxid = 0x400000008
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 3
numChildren = 0
/<code>
6.7 檢查狀態
<code>[zk: localhost:2182,localhost:2183,localhost:2184(CONNECTED) 6] stat /zk-permanent
cZxid = 0x400000008
ctime = Tue Mar 03 21:35:20 CST 2020
mZxid = 0x400000009
mtime = Tue Mar 03 21:40:11 CST 2020
pZxid = 0x400000008
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 3
numChildren = 0
/<code>
6.8 刪除節點
<code>[zk: localhost:2182,localhost:2183,localhost:2184(CONNECTED) 7] rmr /zk-permanent
[zk: localhost:2182,localhost:2183,localhost:2184(CONNECTED) 8] ls /
[zk-test0000000000, zookeeper]/<code>
閱讀更多 老男孩的成長之路 的文章
