驚呆了,竟然可以用這種方式秒建 Redis 集群?

Redis Cluster 是 Redis 3.0 版本推出的 Redis 集群方案,它將數據分佈在不同的服務區上,以此來降低系統對單主節點的依賴,並且可以大大的提高 Redis 服務的讀寫性能。

Redis 將所有的數據分為 16384 個 slots(槽),每個節點負責其中的一部分槽位,當有 Redis 客戶端連接集群時,會得到一份集群的槽位配置信息,這樣它就可以直接把請求命令發送給對應的節點進行處理。

Redis Cluster 是無代理模式去中心化的運行模式,客戶端發送的絕大數命令會直接交給相關節點執行,這樣大部分情況請求命令無需轉發,或僅轉發一次的情況下就能完成請求與響應,所以集群單個節點的性能與單機 Redis 服務器的性能是非常接近的,因此在理論情況下,當水平擴展一倍的主節點就相當於請求處理的性能也提高了一倍,所以 Redis Cluster 的性能是非常高的。

Redis Cluster 架構圖如下所示:

驚呆了,竟然可以用這種方式秒建 Redis 集群?

秒建 Redis 集群

Redis Cluster 的搭建方式有兩種,一種是使用 Redis 源碼中提供的 create-cluster 工具快速的搭建 Redis 集群環境,另一種是配置文件的方式手動創建 Redis 集群環境。

1.快速搭建 Redis Cluster

create-cluster 工具在 utils/create-cluster 目錄下,如下圖所示:

驚呆了,竟然可以用這種方式秒建 Redis 集群?

使用命令 ./create-cluster start 就可以急速創建一個 Redis 集群,執行如下:

1$ ./create-cluster start# 創建集群2Starting300013Starting300024Starting300035Starting300046Starting300057Starting30006

接下來我們需要把以上創建的 6 個節點節點通過 create 命令組成一個集群,執行如下:

1[@iZ2ze0nc5n41zomzyqtksmZ:create-cluster]$ ./create-cluster create# 組建集群2>>> Performing hash slots allocation on6 nodes... 3Master[0] -> Slots 0 - 54604Master[1] -> Slots 5461 - 10922 5Master[2] -> Slots 10923 - 16383 6Adding replica 127.0.0.1:30005to127.0.0.1:30001 7Adding replica 127.0.0.1:30006to127.0.0.1:30002 8Adding replica 127.0.0.1:30004to127.0.0.1:30003 9>>> Trying tooptimize slaves allocation for anti-affinity10[WARNING] Some slaves arein the same host as their master11M: 445f2a86fe36d397613839d8cc1ae6702c976593 127.0.0.1:3000112 slots:[0-5460] (5461 slots) master13M: 63bb14023c0bf58926738cbf857ea304bff8eb50 127.0.0.1:3000214 slots:[5461-10922] (5462 slots) master15M: 864d4dfe32e3e0b81a64cec8b393bbd26a65cbcc 127.0.0.1:3000316 slots:[10923-16383] (5461 slots) master17S: 64828ab44566fc5ad656e831fd33de87be1387a0 127.0.0.1:3000418 replicates 445f2a86fe36d397613839d8cc1ae6702c97659319S: 0b17b00542706343583aa73149ec5ff63419f140 127.0.0.1:3000520 replicates 63bb14023c0bf58926738cbf857ea304bff8eb5021S: e35f06ca9b700073472d72001a39ea4dfcb541cd 127.0.0.1:3000622 replicates 864d4dfe32e3e0b81a64cec8b393bbd26a65cbcc23Can I set the above configuration? (type'yes'toaccept): yes24>>> Nodes configuration updated25>>> Assign a different config epoch toeach node26>>> Sending CLUSTER MEET messages tojoin the cluster27Waiting for the cluster tojoin28.29>>> Performing Cluster Check (using node 127.0.0.1:30001)30M: 445f2a86fe36d397613839d8cc1ae6702c976593 127.0.0.1:3000131 slots:[0-5460] (5461 slots) master321 additional replica(s)33M: 864d4dfe32e3e0b81a64cec8b393bbd26a65cbcc 127.0.0.1:3000334 slots:[10923-16383] (5461 slots) master351 additional replica(s)36S: e35f06ca9b700073472d72001a39ea4dfcb541cd 127.0.0.1:3000637 slots: (0 slots) slave38 replicates 864d4dfe32e3e0b81a64cec8b393bbd26a65cbcc39S: 0b17b00542706343583aa73149ec5ff63419f140 127.0.0.1:3000540 slots: (0 slots) slave41 replicates 63bb14023c0bf58926738cbf857ea304bff8eb5042M: 63bb14023c0bf58926738cbf857ea304bff8eb50 127.0.0.1:3000243 slots:[5461-10922] (5462 slots) master441 additional replica(s)45S: 64828ab44566fc5ad656e831fd33de87be1387a0 127.0.0.1:3000446 slots: (0 slots) slave47 replicates 445f2a86fe36d397613839d8cc1ae6702c97659348[OK] All nodes agree about slots configuration.49>>> Checkforopen slots...50>>> Check slots coverage...51[OK] All 16384 slots covered.

在執行的過程中會詢問你是否通過把 30001、30002、30003 作為為主節點,把 30004、30005、30006 作為它們的從節點,輸入 yes 後會執行完成。

我們可以先使用 redis-cli 連接到集群,命令如下:

1$ redis-cli -c -p 30001

在使用 nodes 命令來查看集群的節點信息,命令如下:

1127.0.0.1:30001> clusternodes2864d4dfe32e3e0b81a64cec8b393bbd26a65cbcc 127.0.0.1:30003@40003 master - 015851258350783 connected 10923-163833e35f06ca9b700073472d72001a39ea4dfcb541cd 127.0.0.1:30006@40006 slave 864d4dfe32e3e0b81a64cec8b393bbd26a65cbcc 015851258350786 connected40b17b00542706343583aa73149ec5ff63419f140 127.0.0.1:30005@40005 slave 63bb14023c0bf58926738cbf857ea304bff8eb50 015851258350785 connected563bb14023c0bf58926738cbf857ea304bff8eb50 127.0.0.1:30002@40002 master - 015851258341752 connected 5461-109226445f2a86fe36d397613839d8cc1ae6702c976593 127.0.0.1:30001@40001 myself,master - 015851258350001 connected 0-5460764828ab44566fc5ad656e831fd33de87be1387a0 127.0.0.1:30004@40004 slave 445f2a86fe36d397613839d8cc1ae6702c976593 015851258350004 connected

可以看出 30001、30002、30003 都為主節點,30001 對應的槽位是 0-5460,30002 對應的槽位是 5461-10922,30003 對應的槽位是 10923-16383,總共有槽位 16384 個 (0 ~ 16383)。

30002 對應的槽位是 5461-10922,30003 對應的槽位是 10923-16383,總共有槽位 16384 個 (0 ~ 16383)。

create-cluster 搭建的方式雖然速度很快,但是該方式搭建的集群主從節點數量固定以及槽位分配模式固定,並且安裝在同一臺服務器上,所以只能用於測試環境。

我們測試完成之後,可以使用以下命令,關閉並清理集群:

1$ ./create-cluster stop# 關閉集群2Stopping 300013Stopping 300024Stopping 300035Stopping 300046Stopping 300057Stopping 300068$ ./create-cluster clean # 清理集群

2.手動搭建 Redis Cluster

由於 create-cluster 本身的限制,在實際生產環境中我們需要使用手動添加配置的方式搭建 Redis 集群,為此我們先要把 Redis 安裝包複製到 node1 到 node6 文件中,因為我們要安裝 6 個節點,3 主 3 從,如下圖所示:

驚呆了,竟然可以用這種方式秒建 Redis 集群?

驚呆了,竟然可以用這種方式秒建 Redis 集群?

接下來我們進行配置並啟動 Redis 集群。

① 設置配置文件

我們需要修改每個節點內的 redis.conf 文件,設置 cluster-enabled yes 表示開啟集群模式,並且修改各自的端口,我們繼續使用 30001 到 30006,通過 port 3000X 設置。

② 啟動各個節點

redis.conf 配置好之後,我們就可以啟動所有的節點了,命令如下:

1cd /usr/local/soft/mycluster/node12./src/redis-server redis.conf

③ 創建集群並分配槽位

之前我們已經啟動了 6 個節點,但這些節點都在各自的集群之內並未互聯互通,因此接下來我們需要把這些節點串連成一個集群,併為它們指定對應的槽位,執行命令如下:

1redis-cli--clustercreate 127.0.0.1:30001 127.0.0.1:30002 127.0.0.1:30003 127.0.0.1:30004 127.0.0.1:30005 127.0.0.1:30006--cluster-replicas 1

其中 create 後面跟多個節點,表示把這些節點作為整個集群的節點,而 cluster-replicas 表示給集群中的主節點指定從節點的數量,1 表示為每個主節點設置一個從節點。

在執行了 create 命令之後,系統會為我們指定節點的角色和槽位分配計劃,如下所示:

1>>> Performing hash slots allocation on6 nodes... 2Master[0] -> Slots 0 - 54603Master[1] -> Slots 5461 - 10922 4Master[2] -> Slots 10923 - 16383 5Adding replica 127.0.0.1:30005to127.0.0.1:30001 6Adding replica 127.0.0.1:30006to127.0.0.1:30002 7Adding replica 127.0.0.1:30004to127.0.0.1:30003 8>>> Trying to optimize slaves allocation for anti-affinity 9[WARNING] Some slaves are in the same host as their master10M: bdd1c913f87eacbdfeabc71befd0d06c913c891c 127.0.0.1:3000111 slots:[0-5460] (5461 slots) master12M: bdd1c913f87eacbdfeabc71befd0d06c913c891c 127.0.0.1:3000213 slots:[5461-10922] (5462 slots) master14M: bdd1c913f87eacbdfeabc71befd0d06c913c891c 127.0.0.1:3000315 slots:[10923-16383] (5461 slots) master16S: bdd1c913f87eacbdfeabc71befd0d06c913c891c 127.0.0.1:3000417 replicates bdd1c913f87eacbdfeabc71befd0d06c913c891c18S: bdd1c913f87eacbdfeabc71befd0d06c913c891c 127.0.0.1:3000519 replicates bdd1c913f87eacbdfeabc71befd0d06c913c891c20S: bdd1c913f87eacbdfeabc71befd0d06c913c891c 127.0.0.1:3000621 replicates bdd1c913f87eacbdfeabc71befd0d06c913c891c22Can I set the above configuration? (type'yes'to accept):

從以上信息可以看出,Redis 打算把 30001、30002、30003 設置主節點,併為他們分配的槽位,30001 對應的槽位是 0-5460,30002 對應的槽位是 5461-10922,30003 對應的槽位是 10923-16383,並且把 30005 設置為 30001 的從節點、30006 設置為 30002 的從節點、30004 設置為 30003 的從節點,我們只需要輸入 yes 即可確認並執行分配,如下所示:

1Can I set the above configuration? (type'yes'toaccept): yes 2>>> Nodes configuration updated 3>>> Assign a different config epoch toeach node 4>>> Sending CLUSTER MEET messages tojoin the cluster 5Waiting for the cluster tojoin6.... 7>>> Performing Cluster Check (using node 127.0.0.1:30001) 8M: 887397e6fefe8ad19ea7569e99f5eb8a803e3785 127.0.0.1:30001 9 slots:[0-5460] (5461 slots) master101 additional replica(s)11S: abec9f98f9c01208ba77346959bc35e8e274b6a3 127.0.0.1:3000512 slots: (0 slots) slave13 replicates 887397e6fefe8ad19ea7569e99f5eb8a803e378514S: 1a324d828430f61be6eaca7eb2a90728dd5049de 127.0.0.1:3000415 slots: (0 slots) slave16 replicates f5958382af41d4e1f5b0217c1413fe19f390b55f17S: dc0702625743c48c75ea935c87813c4060547cef 127.0.0.1:3000618 slots: (0 slots) slave19 replicates 3da35c40c43b457a113b539259f17e7ed616d13d20M: 3da35c40c43b457a113b539259f17e7ed616d13d 127.0.0.1:3000221 slots:[5461-10922] (5462 slots) master221 additional replica(s)23M: f5958382af41d4e1f5b0217c1413fe19f390b55f 127.0.0.1:3000324 slots:[10923-16383] (5461 slots) master251 additional replica(s)26[OK] All nodes agree about slots configuration.27>>> Checkforopen slots...28>>> Check slots coverage...29[OK] All 16384 slots covered.

顯示 OK 表示整個集群就已經成功啟動了。

接下來,我們使用 redis-cli 連接並測試一下集群的運行狀態,代碼如下:

1$ redis-cli -c -p 30001 # 連接到集群 2127.0.0.1:30001> cluster info # 查看集群信息3cluster_state:ok # 狀態正常 4cluster_slots_assigned:16384 # 槽位數5cluster_slots_ok:16384 # 正常的槽位數 6cluster_slots_pfail:0 7cluster_slots_fail:08cluster_known_nodes:6 # 集群的節點數 9cluster_size:3 # 集群主節點數10cluster_current_epoch:611cluster_my_epoch:112cluster_stats_messages_ping_sent:13013cluster_stats_messages_pong_sent:12714cluster_stats_messages_sent:25715cluster_stats_messages_ping_received:12216cluster_stats_messages_pong_received:13017cluster_stats_messages_meet_received:518cluster_stats_messages_received:257

相關字段的說明已經標識在上述的代碼中了,這裡就不再贅述。

動態增刪節點

某些情況下,我們需要根據實際的業務情況,對已經在運行的集群進行動態的添加或刪除節點,那我們就需要進行以下操作。

1.增加主節點

添加方式一:cluster meet

使用 cluster meet ip:port 命令就可以把一個節點加入到集群中,執行命令如下:

1127.0.0.1:30001> clustermeet 127.0.0.1 30007 2OK 3127.0.0.1:30001> clusternodes 4dc0702625743c48c75ea935c87813c4060547cef 127.0.0.1:30006@40006 slave 3da35c40c43b457a113b539259f17e7ed616d13d 015851429160006 connected 5df0190853a53d8e078205d0e2fa56046f20362a7 127.0.0.1:30007@40007 master - 015851429177400 connected6f5958382af41d4e1f5b0217c1413fe19f390b55f 127.0.0.1:30003@40003 master - 015851429167383 connected 10923-1638373da35c40c43b457a113b539259f17e7ed616d13d 127.0.0.1:30002@40002 master - 015851429130002 connected 5461-109228abec9f98f9c01208ba77346959bc35e8e274b6a3 127.0.0.1:30005@40005 slave 887397e6fefe8ad19ea7569e99f5eb8a803e3785 015851429170005 connected9887397e6fefe8ad19ea7569e99f5eb8a803e3785 127.0.0.1:30001@40001 myself,master - 015851429150001 connected 0-5460101a324d828430f61be6eaca7eb2a90728dd5049de 127.0.0.1:30004@40004 slave f5958382af41d4e1f5b0217c1413fe19f390b55f 015851429160004 connected

可以看出端口為 30007 的節點並加入到集群中,並設置成了主節點。

添加方式二:add-node

使用 redis-cli --cluster add-node 添加節點ip:port 集群某節點ip:port 也可以把一個節點添加到集群中,執行命令如下:

1$ redis-cli --cluster add-node 127.0.0.1:30008127.0.0.1:30001 2>>> Adding node 127.0.0.1:30008 to cluster 127.0.0.1:30001 3>>> Performing Cluster Check (using node 127.0.0.1:30001) 4M:887397e6fefe8ad19ea7569e99f5eb8a803e3785 127.0.0.1:30001 5slots:[0-5460] (5461 slots) master 61 additional replica(s) 7S: dc0702625743c48c75ea935c87813c4060547cef 127.0.0.1:30006 8slots: (0 slots) slave 9 replicates 3da35c40c43b457a113b539259f17e7ed616d13d10M: df0190853a53d8e078205d0e2fa56046f20362a7 127.0.0.1:3000711slots: (0 slots) master12M: f5958382af41d4e1f5b0217c1413fe19f390b55f 127.0.0.1:3000313slots:[10923-16383] (5461 slots) master141 additional replica(s)15M:1d09d26fd755298709efe60278457eaa09cefc26 127.0.0.1:3000816slots: (0 slots) master17M:3da35c40c43b457a113b539259f17e7ed616d13d 127.0.0.1:3000218slots:[5461-10922] (5462 slots) master191 additional replica(s)20S: abec9f98f9c01208ba77346959bc35e8e274b6a3 127.0.0.1:3000521slots: (0 slots) slave22 replicates 887397e6fefe8ad19ea7569e99f5eb8a803e378523S:1a324d828430f61be6eaca7eb2a90728dd5049de 127.0.0.1:3000424slots: (0 slots) slave25 replicates f5958382af41d4e1f5b0217c1413fe19f390b55f26[OK] All nodes agree about slots configuration.27>>> Check for open slots...28>>> Check slots coverage...29[OK] All 16384 slots covered.30[ERR] Node 127.0.0.1:30008 is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0.

從以上結果可以看出 30008 節點也被設置成了主節點。

2.添加從節點

使用 cluster replicate nodeId 命令就可以把當前節點設置為目標節點的從節點,執行命令如下:

1127.0.0.1:30008> clusterreplicatedf0190853a53d8e078205d0e2fa56046f20362a72OK 3127.0.0.1:30008> clusternodes4df0190853a53d8e078205d0e2fa56046f20362a7 127.0.0.1:30007@40007 master - 015851478270000 connected 5abec9f98f9c01208ba77346959bc35e8e274b6a3 127.0.0.1:30005@40005 slave 887397e6fefe8ad19ea7569e99f5eb8a803e3785 015851478270001 connected 61a324d828430f61be6eaca7eb2a90728dd5049de 127.0.0.1:30004@40004 slave f5958382af41d4e1f5b0217c1413fe19f390b55f 015851478230003 connected 7887397e6fefe8ad19ea7569e99f5eb8a803e3785 127.0.0.1:30001@40001 master - 015851478260001 connected 0-54608dc0702625743c48c75ea935c87813c4060547cef 127.0.0.1:30006@40006 slave 3da35c40c43b457a113b539259f17e7ed616d13d 015851478269302 connected9f5958382af41d4e1f5b0217c1413fe19f390b55f 127.0.0.1:30003@40003 master - 015851478260003 connected 10923-16383101d09d26fd755298709efe60278457eaa09cefc26 127.0.0.1:30008@40008 myself,slave df0190853a53d8e078205d0e2fa56046f20362a7 015851478230007 connected113da35c40c43b457a113b539259f17e7ed616d13d 127.0.0.1:30002@40002 master - 015851478279332 connected 5461-10922

可以看出 30008 已經變為 30007 的從節點了。

3.刪除節點

使用 cluster forget nodeId 命令就可以把一個節點從集群中移除。此命令和 meet 命令不同的時,刪除節點需要是使用節點的 Id 進行刪除,可以通過 cluster nodes 命令查看所有節點的 Id 信息,其中每一行的最前面的 40 位字母和數組的組合就是該節點的 Id,如下圖所示:

驚呆了,竟然可以用這種方式秒建 Redis 集群?

執行命令如下:

1127.0.0.1:30001> clusterforgetdf0190853a53d8e078205d0e2fa56046f20362a72OK

此時我們使用 cluster nodes 命令查看集群的所有節點信息:

1127.0.0.1:30001> clusternodes2dc0702625743c48c75ea935c87813c4060547cef 127.0.0.1:30006@40006 slave 3da35c40c43b457a113b539259f17e7ed616d13d 015851437899406 connected3f5958382af41d4e1f5b0217c1413fe19f390b55f 127.0.0.1:30003@40003 master - 015851437910003 connected 10923-1638343da35c40c43b457a113b539259f17e7ed616d13d 127.0.0.1:30002@40002 master - 015851437890002 connected 5461-109225abec9f98f9c01208ba77346959bc35e8e274b6a3 127.0.0.1:30005@40005 slave 887397e6fefe8ad19ea7569e99f5eb8a803e3785 015851437890005 connected6887397e6fefe8ad19ea7569e99f5eb8a803e3785 127.0.0.1:30001@40001 myself,master - 015851437860001 connected 0-546071a324d828430f61be6eaca7eb2a90728dd5049de 127.0.0.1:30004@40004 slave f5958382af41d4e1f5b0217c1413fe19f390b55f 015851437919454 connected

可以看出之前的端口為 30007 的節點已經被我們成功的移除了。

本文講了 Redis 集群的兩種搭建方式:create-cluster start 和 cluster create,前一種方式雖然速度比較快,但它只能創建數量固定的主從節點,並且所有節點都在同一臺服務器上,因此只能用於測試環境。我們還講了 Redis 集群動態添加主、從節點和刪除任意節點的功能。


分享到:


相關文章: