一、Redis主從複製
主從複製:主節點負責寫數據,從節點負責讀數據,主節點定期把數據同步到從節點保證數據的一致性
1. 主從複製的相關操作
a,配置主從複製方式一、新增redis6380.conf, 加入 slaveof 192.168.152.128 6379, 在6379啟動完後再啟6380,完成配置;
b,配置主從複製方式二、redis-server --slaveof 192.168.152.128 6379 臨時生效
c,查看狀態:info replication
d,斷開主從複製:在slave節點,執行6380:>slaveof no one
e,斷開後再變成主從複製:6380:> slaveof 192.168.152.128 6379
f,數據較重要的節點,主從複製時使用密碼驗證: requirepass
e,從節點建議用只讀模式slave-read-only=yes, 若從節點修改數據,主從數據不一致
h,傳輸延遲:主從一般部署在不同機器上,複製時存在網絡延時問題,redis提供repl-disable-tcp-nodelay參數決定是否關閉TCP_NODELAY,默認為關閉
參數關閉時:無論大小都會及時發佈到從節點,佔帶寬,適用於主從網絡好的場景,
參數啟用時:主節點合併所有數據成TCP包節省帶寬,默認為40毫秒發一次,取決於內核,主從的同步延遲40毫秒,適用於網絡環境複雜或帶寬緊張,如跨機房
2. Redis主從拓撲
a)一主一從:用於主節點故障轉移從節點,當主節點的“寫”命令併發高且需要持久化,可以只在從節點開啟AOF(主節點不需要),這樣即保證了數據的安全性,也避免持久化對主節點的影響
b)一主多從:針對“讀”較多的場景,“讀”由多個從節點來分擔,但節點越多,主節點同步到多節點的次數也越多,影響帶寬,也加重主節點的穩定
c)樹狀主從:一主多從的缺點(主節點推送次數多壓力大)可用些方案解決,主節點只推送一次數據到從節點B,再由從節點B推送到C,減輕主節點推送的壓力。
3. 主從複製原理
4. 數據同步
redis 2.8版本以上使用psync命令完成同步,過程分“全量”與“部分”複製
全量複製:一般用於初次複製場景(第一次建立SLAVE後全量)
部分複製:網絡出現問題,從節點再次連接主節點時,主節點補發缺少的數據,每次數據增量同步
心跳:主從有長連接心跳,主節點默認每10S向從節點發ping命令,repl-ping-slave-period控制發送頻率
5. 主從的缺點
a)主從複製,若主節點出現問題,則不能提供服務,需要人工修改配置將從變主
b)主從複製主節點的寫能力單機,能力有限
c)單機節點的存儲能力也有限
6.主從故障如何故障轉移
a)主節點(master)故障,從節點slave-1端執行 slaveof no one後變成新主節點;
b)其它的節點成為新主節點的從節點,並從新節點複製數據;
c)需要人工干預,無法實現高可用。
二、Redis哨兵機制(Sentinel)
1. 為什麼要有哨兵機制?
哨兵機制的出現是為了解決主從複製的缺點的
2. 哨兵機制(sentinel)的高可用
原理:當主節點出現故障時,由Redis Sentinel自動完成故障發現和轉移,並通知應用方,實現高可用性。
其實整個過程只需要一個哨兵節點來完成,首先使用Raft算法(選舉算法)實現選舉機制,選出一個哨兵節點來完成轉移和通知
3. 哨兵的定時監控任務
任務1:每個哨兵節點每10秒會向主節點和從節點發送info命令獲取最拓撲結構圖,哨兵配置時只要配置對主節點的監控即可,通過向主節點發送info,獲取從節點的信息,並當有新的從節點加入時可以馬上感知到
任務2:每個哨兵節點每隔2秒會向redis數據節點的指定頻道上發送該哨兵節點對於主節點的判斷以及當前哨兵節點的信息,同時每個哨兵節點也會訂閱該頻道,來了解其它哨兵節點的信息及對主節點的判斷,其實就是通過消息publish和subscribe來完成的
任務3:每隔1秒每個哨兵會向主節點、從節點及其餘哨兵節點發送一次ping命令做一次心跳檢測,這個也是哨兵用來判斷節點是否正常的重要依據
客觀下線:當主觀下線的節點是主節點時,此時該哨兵3節點會通過指令sentinel is-masterdown-by-addr尋求其它哨兵節點對主節點的判斷,當超過quorum(選舉)個數,此時哨兵節點則認為該主節點確實有問題,這樣就客觀下線了,大部分哨兵節點都同意下線操作,也就說是客觀下線
4. 領導者哨兵選舉流程
a)每個在線的哨兵節點都可以成為領導者,當它確認(比如哨兵3)主節點下線時,會向其它哨兵發is-master-down-by-addr命令,徵求判斷並要求將自己設置為領導者,由領導者處理故障轉移;
b)當其它哨兵收到此命令時,可以同意或者拒絕它成為領導者;
c)如果哨兵3發現自己在選舉的票數大於等於num(sentinels)/2+1時,將成為領導者,如果沒有超過,繼續選舉…………
5. 故障轉移機制
a)由Sentinel節點定期監控發現主節點是否出現了故障
sentinel會向master發送心跳PING來確認master是否存活,如果master在“一定時間範圍”內不回應PONG 或者是回覆了一個錯誤消息,那麼這個sentinel會主觀地(單方面地)認為這個master已經不可用了
b) 當主節點出現故障,此時3個Sentinel節點共同選舉了Sentinel3節點為領導,負載處理主節點的故障轉移
c) 由Sentinel3領導者節點執行故障轉移,過程和主從複製一樣,但是自動執行
流程:
1. 將slave-1脫離原從節點,升級主節點,
2. 將從節點slave-2指向新的主節點
3. 通知客戶端主節點已更換
4. 將原主節點(oldMaster)變成從節點,指向新的主節點
d) 故障轉移後的redis sentinel的拓撲結構圖
6. 哨兵機制-故障轉移詳細流程-確認主節點
a) 過濾掉不健康的(下線或斷線),沒有回覆過哨兵ping響應的從節點
b) 選擇salve-priority從節點優先級最高(redis.conf)的
c) 選擇複製偏移量最大,指複製最完整的從節點
7.部署建議
a,sentinel節點應部署在多臺物理機(線上環境)
b,至少三個且奇數個sentinel節點
c,通過以上我們知道,3個sentinel可同時監控一個主節點或多個主節點
監聽N個主節點較多時,如果sentinel出現異常,會對多個主節點有影響,同時還會造成sentinel節點產生過多的網絡連接,
一般線上建議還是, 3個sentinel監聽一個主節點
閱讀更多 小紅櫻桃 的文章