前情回顧
Mycat - 實現數據庫的讀寫分離與高可用中我們實現了mysql的讀寫分離與高可用，有幾個點我們回顧下
如果想學習Java工程化、高性能及分佈式、深入淺出。微服務、Spring，MyBatis，Netty源碼分析的朋友可以加我的Java高級交流：854630135，群裡有阿里大牛直播講解技術，以及Java大型互聯網技術的視頻免費分享給大家。
1、數據的同步在mysql層面實現的，mycat不負責任何的數據同步，我們需要配置mysql的主從複製來實現數據的同步；
2、數據庫的讀寫分離是mycat最常用的場景之一，我們的應用代碼只需要關注業務代碼，而不需要處理數據庫讀寫、分片問題，這些都由Mycat實現，簡化了開發；
3、讀寫分離往往伴隨著高可用，而Mycat同時支持這兩者；
那是不是就完美無缺了呢？ 顯然還有點小瑕疵，此時我們的Mycat是單點部署的，如果Mycat服務掛了，那麼整個數據庫端就掛了，整個應用也就不能正常服務了，那怎麼辦了？ 很明顯，我們需要實現Mycat的高可用，具體實現我們往下看。
keepalived實現Mycat高可用
centos7_1 (192.168.1.110)上搭建mycat
上篇博文中，我們搭建的讀寫分離各組件關係如下
此時還是單節點的mycat，我們還需要搭建一個mycat，搭建過程可以參考192.168.1.212上mycat的搭建，具體我就不演示了，搭建好之後各組件關係如下
昨天我們測試了master mysql宕機的情況，後續的DML SQL與Select SQL都是走的slave mysql，所以此時mysql的主從複製已經被破環、mycat的writeHost也切換到了192.168.1.211，我們需要重新配置mysql的主從複製，192.168.1.210仍是主，192.168.1.211回退為slave，並將192.168.1.212上mycat的writeHost進行還原（只需要將mycat/conf/dnindex.properties文件刪了即可）；生產環境不要這麼處理，按上篇說的處理。
我們來看下測試結果
可以看到，192.168.1.110上的mycat與192.168.1.212上的mycat具有完全一樣的功能，但此時兩者還沒有任何聯繫，彼此也互不影響。我們可以在應用代碼中集成兩個mycat，由代碼控制mycat的高可用，這種方式可行但不可取，代碼應該更多的關注業務層，而不是處理數據庫層面的高可用問題。mycat的高可用應該就由更專業的組件來處理。
keepalived實現vip對外提供服務
VIP：192.168.1.200、master：192.168.1.212、backup：192.168.1.110
keepalived的搭建過程可參考：主從熱備+負載均衡（LVS + keepalived），這裡就不做詳細的演示了。
192.168.1.212（master）上keepalived.conf
global_defs {
notification_email {
[email protected]
}
notification_email_from [email protected]
#smtp_server smtp.hysec.com
#smtp_connection_timeout 30
router_id mycat_master # 設置mycat master的id，在一個網絡應該是唯一的
}
vrrp_script chk_mycat_alive {
/> interval 2 # 檢測腳本執行的間隔，單位是秒
weight 20
}
vrrp_instance VI_1 {
state MASTER # 指定keepalived的角色，MASTER為主，BACKUP為備
interface eth0 # 當前進行vrrp通訊的網絡接口卡(當前centos的網卡)
virtual_router_id 66 # 虛擬路由編號，同集群，主備必須一致
priority 100 # 優先級，數值越大，獲取處理請求的優先級越高
advert_int 1 # 檢查間隔，默認為1s(vrrp組播週期秒數)
authentication {
auth_type PASS
auth_pass 1111
}
track_script {
chk_mycat_alive # 調用檢測腳本
}
virtual_ipaddress {
192.168.1.200 # 定義虛擬ip(VIP)，可多設，每行一個
}
}
192.168.1.110（backup）上keepalived.conf
global_defs {
notification_email {
[email protected]
}
notification_email_from [email protected]
#smtp_server smtp.hysec.com
#smtp_connection_timeout 30
router_id mycat_backup # 設置mycat backup的id，在一個網絡應該是唯一的
}
vrrp_script chk_mycat_alive {
/> interval 2 #（檢測腳本執行的間隔，單位是秒）
weight 20
}
vrrp_instance VI_1 {
state BACKUP # 指定keepalived的角色，MASTER為主，BACKUP為備
interface enp0s3 # 當前進行vrrp通訊的網絡接口卡(當前centos的網卡)
virtual_router_id 66 # 虛擬路由編號，同集群，主備必須一致
priority 90 # 優先級，數值越大，獲取處理請求的優先級越高
advert_int 1 # 檢查間隔，默認為1s(vrrp組播週期秒數)
authentication {
auth_type PASS
auth_pass 1111
}
track_script {
chk_mycat_alive #（調用檢測腳本）
}
virtual_ipaddress {
192.168.1.200 # 定義虛擬ip(VIP)，可多設，每行一個
}
}
mycat存活檢測腳本check_pid.sh
#!/bin/bash
count=`/usr/local/mycat/bin/mycat status |grep 'Mycat-server is running' | wc -l`
time=$(date "+%Y-%m-%d %H:%M:%S")
if [ $count = 0 ]; then
echo "$time : count=$count, mycat is not running..." >> /var/log/keepalived_check.log
exit 1 # 返回1說明腳本非正常執行,mycat不在運行中
else
echo "$time : count=$count, mycat is running..." >> /var/log/keepalived_check.log
exit 0 # 返回0說明腳本正常執行,mycat正在運行中
fi
腳本目錄：/usr/local/src/mycat/，給腳本可執行權限：[root@centos7-01 src]# chmod -R 755 mycat/check_pid.sh
各組件關係圖如下
如上圖所示，外部應用向192.168.1.200發送sql請求，keepalived完成VIP到ip的映射，請求會落到具體的某個mycat上，再由mycat轉發到具體的mysql上。同一時刻只會有一個keepavlied處理VIP，一般而言是優先級高的keepalived會成為master，負責VIP的映射。各組件配置好之後，我們來看看測試結果
1、vip的正常綁定與切換
一開始212和110都沒有啟動mycat，優先級分別是100，90，所以vip在212上，212成為master，110成為backup；接著我們啟動了110上的mycat，檢測腳本返回0，vrrp_script中script為true，此時110的權重=90+20，大於212的100，110搶佔vip成為master，而212則降級成為backup；然後我們啟動了212上的mycat，212的權重=100+20，大於110的110，vip漂浮到212上，212成為master，110成為backup；最後我們停了212上的mycat，權重=100，vip又漂到了110上。如果我們接著停了110上的mycat，則vip又會漂到212上。
權重 = priority + weight *>
2、mycat高可用
我們通過vip可以進行正常的sql請求，當212上的mycat停了，vip漂到了110上，通過vip仍然可以進行sql請求，應用端根本感知不到後端vip的漂移、mycat的切換，實現了mycat的高可用。
這種方案已經可以滿足大多數的應用場景了，master上的mycat對外服務，backup上的mycat僅作為備用以防master宕機，backup上的mycat基本上不提供服務，就是起到一個以防萬一的作用，併發量不高的應用採用此種方案就可以了。如果併發量高了，master上的mycat壓力太大，那我們就需要考慮將backup上的mycat也利用起來了，並做一個負載均衡，減輕master上的mycat壓力，並充分利用backup上的mycat，具體實現請往下看。
lvs實現Mycat的負載均衡
Mycat的高可用是實現了，但美中不足的是沒有物盡其用，我們不難發現，Mycat的兩個節點其實只有一個對外服務，另一個完全備用（以備基本不會發生的宕機），宕機的概率本來就小，備用機基本相當於沒用了，那可不可以將備用機利用起來了？ 我們可以將主備Mycat都利用起來，並進行負載均衡，減小主Mycat的壓力，如果其中一個節點宕機了，則由另一個節點完全接管，繼續正常提供服務。
組件結構圖如上所示，keepalived負責lvs的健康檢測與高可用，lvs負責mycat的負載均衡與心跳檢測。如果服務器不夠，keepalived、lvs和mycat可以部署在一起，但不推薦，組件都部署在同一個服務器上，風險太大，分散部署，可以降低風險。keepalived + lvs的具體部署過程可參考主從熱備+負載均衡（LVS + keepalived），具體配置文件如下
192.168.1.214（master）上keepalived.conf
global_defs {
notification_email {
[email protected]
}
notification_email_from [email protected]
#smtp_server smtp.hysec.com
#smtp_connection_timeout 30
router_id lvs_master # 設置lvs master的id，在一個網絡應該是唯一的
}
vrrp_instance VI_1 {
state MASTER # 指定keepalived的角色，MASTER為主，BACKUP為備
interface eth0 # 當前進行vrrp通訊的網絡接口卡(當前centos的網卡)
virtual_router_id 66 # 虛擬路由編號，主從要一致
priority 100 # 優先級，數值越大，獲取處理請求的優先級越高
advert_int 1 # 檢查間隔，默認為1s(vrrp組播週期秒數)
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.200 # 定義虛擬ip(VIP)，可多設，每行一個
}
}
virtual_server 192.168.1.200 8066 { #設置虛擬服務器，需要指定虛擬IP地址和服務端口，IP與端口之間用空格隔開
delay_loop 6 #設置運行情況檢查時間，單位是秒
lb_algo rr #設置負載調度算法，這裡設置為rr，即輪詢算法
lb_kind DR #設置LVS實現負載均衡的機制，有NAT、TUN、DR三個模式可選
nat_mask 255.255.255.0
persistence_timeout 0 #會話保持時間，單位是秒；同一IP x秒內的請求都發到同個real server
protocol TCP #指定轉發協議類型，有TCP和UDP兩種
real_server 192.168.1.212 8066 { #配置服務節點1，需要指定real server的真實IP地址和端口，IP與端口之間用空格隔開
weight 3 #配置服務節點的權值，權值大小用數字表示，數字越大，權值越高，設置權值大小可以為不同性能的服務器
TCP_CHECK { #realserver的狀態檢測設置部分
connect_timeout 10 #表示10秒無響應超時
nb_get_retry 3 #表示重試次數
delay_before_retry 3 #表示重試間隔
}
}
real_server 192.168.1.110 8066 {
weight 3
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
}
}
}
192.168.1.213（backup）上keepalived.conf
如果想學習Java工程化、高性能及分佈式、深入淺出。微服務、Spring，MyBatis，Netty源碼分析的朋友可以加我的Java高級交流：854630135，群裡有阿里大牛直播講解技術，以及Java大型互聯網技術的視頻免費分享給大家。
global_defs {
notification_email {
[email protected]
}
notification_email_from [email protected]
#smtp_server smtp.hysec.com
#smtp_connection_timeout 30
router_id lvs_backup # 設置lvs backup的id，在一個網絡應該是唯一的
}
vrrp_instance VI_1 {
state MASTER # 指定keepalived的角色，MASTER為主，BACKUP為備
interface eth0 # 當前進行vrrp通訊的網絡接口卡(當前centos的網卡)
virtual_router_id 66 # 虛擬路由編號，主從要一致
priority 100 # 優先級，數值越大，獲取處理請求的優先級越高
advert_int 1 # 檢查間隔，默認為1s(vrrp組播週期秒數)
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.200 # 定義虛擬ip(VIP)，可多設，每行一個
}
}
virtual_server 192.168.1.200 8066 { #設置虛擬服務器，需要指定虛擬IP地址和服務端口，IP與端口之間用空格隔開
delay_loop 6 #設置運行情況檢查時間，單位是秒
lb_algo rr #設置負載調度算法，這裡設置為rr，即輪詢算法
lb_kind DR #設置LVS實現負載均衡的機制，有NAT、TUN、DR三個模式可選
nat_mask 255.255.255.0
persistence_timeout 0 #會話保持時間，單位是秒；同一IP x秒內的請求都發到同個real server
protocol TCP #指定轉發協議類型，有TCP和UDP兩種
real_server 192.168.1.212 8066 { #配置服務節點1，需要指定real server的真實IP地址和端口，IP與端口之間用空格隔開
weight 3 #配置服務節點的權值，權值大小用數字表示，數字越大，權值越高，設置權值大小可以為不同性能的服務器
TCP_CHECK { #realserver的狀態檢測設置部分
connect_timeout 10 #表示10秒無響應超時
nb_get_retry 3 #表示重試次數
delay_before_retry 3 #表示重試間隔
}
}
real_server 192.168.1.110 8066 {
weight 3
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
}
}
}
192.168.212、192.168.1.110上的realserver.sh內容一致
#!/bin/bash
VIP=192.168.1.200
/etc/rc.d/init.d/functions
case "$1" in
start)
ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
/sbin/route add -host $VIP dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null 2>&1
echo "RealServer Start OK"
;;
stop)
ifconfig lo:0 down
route del $VIP >/dev/null 2>&1
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stoped"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
exit 0
在/usr/local/src/目錄下，給腳本可執行權限：[root@centos212 ~]# chmod -R 755 /usr/local/src/realserver.sh
按照上述結構圖，從右往左逐個啟動組件：先啟動mysql，接著啟動mycat，然後啟動realserver.sh，再啟動keepalived。我們來看下負載均衡效果
如果想學習Java工程化、高性能及分佈式、深入淺出。微服務、Spring，MyBatis，Netty源碼分析的朋友可以加我的Java高級交流：854630135，群裡有阿里大牛直播講解技術，以及Java大型互聯網技術的視頻免費分享給大家。
負載均衡效果我們可以通過ipvsadm -l命令來查看，具體體現在ActiveConn和InActConn值，ActiveConn是活動連接數,也就是tcp連接狀態的ESTABLISHED，而InActConn是指除了ESTABLISHED以外的,所有的其它狀態的tcp連接。因為./mysql -h192.168.1.200 -P8066 -uroot -p123456 -DTESTDB -e 'select @@hostname'是瞬時的，這個連接就歸為InActConn，如果我們想測試ActiveConn，我們可以用./mysql -h192.168.1.200 -P8066 -uroot -p123456 -DTESTDB，其實與我們平時操作mysql是一樣的。從上圖中可以看出，是達到了負載均衡效果的，192.168.1.110:8066與192.168.1.212:8066輪著來處理。
可能會有人對上圖中./mysql -h192.168.1.200 -P8066 -uroot -p123456 -DTESTDB -e 'select @@hostname'的返回值有疑問：為什麼總是centos211？ 這個sql其實就是查詢mysql的主機名，注意是mysql服務器的主機名，不是mycat的主機名！sql最終的執行者是mysql！ 而我們知道mycat對mysql做了讀寫分離，也就是說./mysql -h192.168.1.200 -P8066 -uroot -p123456 -DTESTDB -e 'select @@hostname'始終會在mysql slave上執行，而我們的mysql slave的ip是192.168.1.211，其hostname是centos211，所以看到的hostname總是centos211。
總結
1、很多時候我們都只需要實現mycat的高可用，而不需要實現mycat的負載均衡；組件越多，越容易出錯，也更難以維護；沒有一成不變的最優方案，只有在合適時機的最佳方案；
2、keepalived的作用，有沒有lvs，keepalived啟動的作用是有所區別的。沒有lvs時，keepalived負責vip的映射與轉移、mycat的存活檢測；有lvs時，Keepalived負責vip的映射與轉移、RealServer的健康狀態檢查。不管有沒有lvs，keepalived都會負責VIP的映射與轉移，實現master和slave主機之間failover，達到高可用目的；
3、各個組件的職責都很明顯，mysql負責sql的執行，mycat負責mysql的讀寫分離與高可用，lvs負責mycat的負載均衡與高可用，keepalived負責vip相關工作以及lvs的高可用。各個組件的角色弄清楚了，搭建起來也就不難了；
4、《Mycat權威指南》中採用haproxy + keepalived實現mycat的高可用和負載均衡，我就不再重複講了，有興趣的可以去實踐一把；另外留個疑問：nginx可不可實現mycat的負載均衡？
如果想學習Java工程化、高性能及分佈式、深入淺出。微服務、Spring，MyBatis，Netty源碼分析的朋友可以加我的Java高級交流：854630135，群裡有阿里大牛直播講解技術，以及Java大型互聯網技術的視頻免費分享給大家。
閱讀更多 Java的小本家 的文章
