1、點評
本文主要分享的是如何從零設計開發一箇中大型推送系統，因限於篇幅，文中有些鍵技術只能一筆帶過，建議有這方面興趣的讀者可以深入研究相關知識點，從而形成橫向知識體系。
本文適合有一定開發、架構經驗的後端程序員閱讀，文內個別技術點可能並非最佳實踐，但至少都是生動的實踐分享，至少能起到拋磚引玉的作用。希望即時通訊網本次整理的文章能給予你一些啟發。
（本文同步發佈於：http://www.52im.net/thread-2096-1-1.html）
2、引言
先簡單介紹下本次要分享的主題，由於我最近做的是物聯網相關的開發工作，其中就不免會遇到和設備的數據通信（交互）。其中最主要的工作就是要有一個系統來支持設備的接入、向設備推送消息，同時還得滿足大量設備接入的需求。
正好借本文，總結和沉澱一下近期的技術心得。
所以本次分享的內容不但可以滿足物聯網領域同時還支持以下場景：
1）基於 WEB 的聊天系統（點對點、群聊）；
2）WEB 應用中需求服務端推送的場景；
3）基於 SDK 的消息推送平臺。
3、關於作者
crossoverJie（陳杰）： 90後，畢業於重慶信息工程學院，現供職於重慶豬八戒網絡有限公司。
作者的博客：https://crossoverjie.top
作者的Github：https://github.com/crossoverJie
4、技術選型
要滿足大量的連接數、同時支持雙全工通信，並且性能也得有保障。在 Java 技術棧中進行選型首先自然是排除掉了傳統 IO。
那就只有選 NIO 了，在這個層面其實選擇也不多，考慮到社區、資料維護等方面最終選擇了 Netty。
Netty源碼在線閱讀：
Netty-4.1.x地址是：http://docs.52im.net/extend/docs/src/netty4_1/
Netty-4.0.x地址是：http://docs.52im.net/extend/docs/src/netty4/
Netty-3.x地址是：http://docs.52im.net/extend/docs/src/netty3/
Netty在線API文檔：
Netty-4.1.x API文檔(在線版)：http://docs.52im.net/extend/docs/api/netty4_1/
Netty-4.0.x API文檔(在線版)：http://docs.52im.net/extend/docs/api/netty4/
Netty-3.x API文檔(在線版)：http://docs.52im.net/extend/docs/api/netty3/
有關Netty的其它精華文章：
《有關“為何選擇Netty”的11個疑問及解答》
《開源NIO框架八卦——到底是先有MINA還是先有Netty?》
《選Netty還是Mina：深入研究與對比（一）》
《選Netty還是Mina：深入研究與對比（二）》
《Netty 4.x學習（一）：ByteBuf詳解》
《Netty 4.x學習（二）：Channel和Pipeline詳解》
《Netty 4.x學習（三）：線程模型詳解》
《實踐總結：Netty3.x升級Netty4.x遇到的那些坑（線程篇）》
《實踐總結：Netty3.x VS Netty4.x的線程模型》
《詳解Netty的安全性：原理介紹、代碼演示（上篇）》
《詳解Netty的安全性：原理介紹、代碼演示（下篇）》
《詳解Netty的優雅退出機制和原理》
《NIO框架詳解：Netty的高性能之道》
《Twitter：如何使用Netty 4來減少JVM的GC開銷（譯文）》
《絕對乾貨：基於Netty實現海量接入的推送服務技術要點》
《Netty乾貨分享：京東京麥的生產級TCP網關技術實踐總結》
最終的架構圖如下：
現在看著蒙沒關係，下文一一介紹。
5、協議解析
既然是一個消息系統，那自然得和客戶端定義好雙方的協議格式。
常見和簡單的是 HTTP 協議，但我們的需求中有一項需要是雙全工的交互方式，同時 HTTP 更多的是服務於瀏覽器。我們需要的是一個更加精簡的協議，減少許多不必要的數據傳輸。
因此我覺得最好是在滿足業務需求的情況下定製自己的私有協議，在這個場景下有標準的物聯網協議。
如果是其他場景可以借鑑現在流行的 RPC 框架定製私有協議，使得雙方通信更加高效。
不過根據這段時間的經驗來看，不管是哪種方式都得在協議中預留安全相關的位置。協議相關的內容就不過多討論了，更多介紹具體的應用。
有關通信協議、協議格式的選擇，可以閱讀以下文章：
《Protobuf通信協議詳解：代碼演示、詳細原理介紹等》
《一個基於Protocol Buffer的Java代碼演示》
《簡述傳輸層協議TCP和UDP的區別》
《為什麼QQ用的是UDP協議而不是TCP協議？》
《移動端即時通訊協議選擇：UDP還是TCP？》
《如何選擇即時通訊應用的數據傳輸格式》
《強列建議將Protobuf作為你的即時通訊應用數據傳輸格式》
《全方位評測：Protobuf性能到底有沒有比JSON快5倍？》
《移動端IM開發需要面對的技術問題（含通信協議選擇）》
《簡述移動端IM開發的那些坑：架構設計、通信協議和客戶端》
《理論聯繫實際：一套典型的IM通信協議設計詳解》
《58到家實時消息系統的協議設計等技術實踐分享》
《詳解如何在NodeJS中使用Google的Protobuf》
《技術掃盲：新一代基於UDP的低延時網絡傳輸層協議——QUIC詳解》
《金蝶隨手記團隊分享：還在用JSON? Protobuf讓數據傳輸更省更快(原理篇)》
《金蝶隨手記團隊分享：還在用JSON? Protobuf讓數據傳輸更省更快(實戰篇)》
>> 更多同類文章 ……
6、簡單實現
首先考慮如何實現功能，再來思考百萬連接的情況。
6.1 註冊鑑權
在做真正的消息上、下行之前首先要考慮的就是鑑權問題。就像你使用微信一樣，第一步怎麼也得是登錄吧，不能無論是誰都可以直接連接到平臺。所以第一步得是註冊才行。
如上面第4節架構圖中的註冊/鑑權模塊。通常來說都需要客戶端通過 HTTP 請求傳遞一個唯一標識，後臺鑑權通過之後會響應一個 Token，並將這個 Token 和客戶端的關係維護到 Redis 或者是 DB 中。
客戶端將這個 Token 也保存到本地，今後的每一次請求都得帶上這個 Token。一旦這個 Token 過期，客戶端需要再次請求獲取 Token。
鑑權通過之後客戶端會直接通過 TCP 長連接到圖中的 push-server 模塊。這個模塊就是真正處理消息的上、下行。
6.2 保存通道關係
在連接接入之後，真正處理業務之前需要將當前的客戶端和 Channel 的關係維護起來。
假設客戶端的唯一標識是手機號碼，那就需要把手機號碼和當前的 Channel 維護到一個 Map 中。
這點和之前 Spring Boot 整合長連接心跳機制類似，如下圖：
同時為了可以通過 Channel 獲取到客戶端唯一標識（手機號碼），還需要在 Channel 中設置對應的屬性：
publicstaticvoidputClientId(Channel channel, String clientId) {
channel.attr(CLIENT_ID).set(clientId);
}
獲取手機號碼時：
publicstaticString getClientId(Channel channel) {
return(String)getAttribute(channel, CLIENT_ID);
}
這樣當我們客戶端下線時便可以記錄相關日誌：
String telNo = NettyAttrUtil.getClientId(ctx.channel());
NettySocketHolder.remove(telNo);
log.info("客戶端下線，TelNo="+ telNo);
這裡有一點需要注意：存放客戶端與 Channel 關係的 Map 最好是預設好大小（避免經常擴容），因為它將是使用最為頻繁同時也是佔用內存最大的一個對象。
6.3 消息上行
接下來則是真正的業務數據上傳，通常來說第一步是需要判斷上傳消息輸入什麼業務類型。在聊天場景中，有可能上傳的是文本、圖片、視頻等內容。
所以我們得進行區分，來做不同的處理，這就和客戶端協商的協議有關了：
1）可以利用消息頭中的某個字段進行區分；
2）更簡單的就是一個 JSON 消息，拿出一個字段用於區分不同消息。
不管是哪種只要可以區分出來即可。
6.4 消息解析與業務解耦
消息可以解析之後便是處理業務，比如可以是寫入數據庫、調用其他接口等。
我們都知道在 Netty 中處理消息一般是在 channelRead() 方法中：
在這裡可以解析消息，區分類型。但如果我們的業務邏輯也寫在裡面，那這裡的內容將是巨多無比。
甚至我們分為好幾個開發來處理不同的業務，這樣將會出現許多衝突、難以維護等問題。所以非常有必要將消息解析與業務處理完全分離開來。
這時面向接口編程就發揮作用了。這裡的核心代碼和 「造個輪子」——cicada(輕量級 Web 框架)是一致的（另外，即時通訊網的MobileIMSDK工程也使用了同樣的API解偶設計思路）。
都是先定義一個接口用於處理業務邏輯，然後在解析消息之後通過反射創建具體的對象執行其中的處理函數即可。
這樣不同的業務、不同的開發人員只需要實現這個接口同時實現自己的業務邏輯即可。
偽代碼如下：
想要了解 cicada 的具體實現請點擊這裡：
https://github.com/TogetherOS/cicada
上行還有一點需要注意：由於是基於長連接，所以客戶端需要定期發送心跳包用於維護本次連接。
同時服務端也會有相應的檢查，N 個時間間隔沒有收到消息之後，將會主動斷開連接節省資源。
這點使用一個 IdleStateHandler 就可實現。
6.5 消息下行
有了上行自然也有下行。比如在聊天的場景中，有兩個客戶端連上了 push-server，它們直接需要點對點通信。
這時的流程是：
1）A 將消息發送給服務器；
2）服務器收到消息之後，得知消息是要發送給 B，需要在內存中找到 B 的 Channel；
3）通過 B 的 Channel 將 A 的消息轉發下去。
這就是一個下行的流程。甚至管理員需要給所有在線用戶發送系統通知也是類似：遍歷保存通道關係的 Map，挨個發送消息即可。這也是之前需要存放到 Map 中的主要原因。
偽代碼如下：
具體可以參考：
https://github.com/crossoverJie/netty-action/
7、分佈式方案
單機版的實現了，現在著重講講如何實現百萬連接。
百萬連接其實只是一個形容詞，更多的是想表達如何來實現一個分佈式的方案，可以靈活的水平拓展從而能支持更多的連接。在做這個事前，首先得搞清楚我們單機版的能支持多少連接。
影響這個的因素就比較多了：
1）服務器自身配置：內存、CPU、網卡、Linux 支持的最大文件打開數等；
2）應用自身配置：因為 Netty 本身需要依賴於堆外內存，但是 JVM 本身也是需要佔用一部分內存的，比如存放通道關係的大 Map。這點需要結合自身情況進行調整。
結合以上的情況可以測試出單個節點能支持的最大連接數。單機無論怎麼優化都是有上限的，這也是分佈式主要解決的問題。
7.1 架構介紹
在講具體實現之前首先得講講上文貼出的整體架構圖：
先從左邊開始。上文提到的註冊鑑權模塊也是集群部署的，通過前置的 Nginx 進行負載。之前也提過了它主要的目的是來做鑑權並返回一個 Token 給客戶端。
但是 push-server 集群之後它又多了一個作用。那就是得返回一臺可供當前客戶端使用的 push-server。
右側的平臺一般指管理平臺，它可以查看當前的實時在線數、給指定客戶端推送消息等。推送消息則需要經過一個推送路由（push-server）找到真正的推送節點。
其餘的中間件如：Redis、ZooKeeper、Kafka、MySQL 都是為了這些功能所準備的，具體看下面的實現。
7.2 註冊發現
首先第一個問題則是 註冊發現，push-server 變為多臺之後如何給客戶端選擇一臺可用的節點是第一個需要解決的。
這塊的內容其實已經在 分佈式(一) 搞定服務註冊與發現中詳細講過了。所有的 push-server 在啟動時候需要將自身的信息註冊到 ZooKeeper 中。
註冊鑑權模塊會訂閱 ZooKeeper 中的節點，從而可以獲取最新的服務列表，結構如下：
以下是一些偽代碼：應用啟動註冊 ZooKeeper
對於註冊鑑權模塊來說只需要訂閱這個 ZooKeeper 節點：
7.3 路由策略
既然能獲取到所有的服務列表，那如何選擇一臺剛好合適的 push-server 給客戶端使用呢？
這個過程重點要考慮以下幾點：
1）儘量保證各個節點的連接均勻；
2）增刪節點是否要做 Rebalance。
首先保證均衡有以下幾種算法：
1）輪詢：挨個將各個節點分配給客戶端。但會出現新增節點分配不均勻的情況；
2）Hash 取模的方式：類似於 HashMap，但也會出現輪詢的問題。當然也可以像 HashMap 那樣做一次 Rebalance，讓所有的客戶端重新連接。不過這樣會導致所有的連接出現中斷重連，代價有點大。由於 Hash 取模方式的問題帶來了一致性 Hash 算法，但依然會有一部分的客戶端需要 Rebalance；
3）權重：可以手動調整各個節點的負載情況，甚至可以做成自動的，基於監控當某些節點負載較高就自動調低權重，負載較低的可以提高權重。
還有一個問題是：當我們在重啟部分應用進行升級時，在該節點上的客戶端怎麼處理？
由於我們有心跳機制，當心跳不通之後就可以認為該節點出現問題了。那就得重新請求註冊鑑權模塊獲取一個可用的節點。在弱網情況下同樣適用。
如果這時客戶端正在發送消息，則需要將消息保存到本地等待獲取到新的節點之後再次發送。
7.4 有狀態連接
在這樣的場景中不像是 HTTP 那樣是無狀態的，我們得明確的知道各個客戶端和連接的關係。
在上文的單機版中我們將這個關係保存到本地的緩存中，但在分佈式環境中顯然行不通了。
比如在平臺向客戶端推送消息的時候，它得首先知道這個客戶端的通道保存在哪臺節點上。
藉助我們以前的經驗，這樣的問題自然得引入一個第三方中間件用來存放這個關係。
也就是架構圖中的存放路由關係的 Redis，在客戶端接入 push-server 時需要將當前客戶端唯一標識和服務節點的 ip+port 存進 Redis。
同時在客戶端下線時候得在 Redis 中刪掉這個連接關係。這樣在理想情況下各個節點內存中的 Map 關係加起來應該正好等於 Redis 中的數據。
偽代碼如下：
這裡存放路由關係的時候會有併發問題，最好是換為一個 Lua 腳本。
7.5 推送路由
設想這樣一個場景：管理員需要給最近註冊的客戶端推送一個系統消息會怎麼做？
結合架構圖，假設這批客戶端有 10W 個，首先我們需要將這批號碼通過平臺下的 Nginx 下發到一個推送路由中。
為了提高效率甚至可以將這批號碼再次分散到每個 push-route 中。拿到具體號碼之後再根據號碼的數量啟動多線程的方式去之前的路由 Redis 中獲取客戶端所對應的 push-server。
再通過 HTTP 的方式調用 push-server 進行真正的消息下發（Netty 也很好的支持 HTTP 協議）。
推送成功之後需要將結果更新到數據庫中，不在線的客戶端可以根據業務再次推送等。
7.6 消息流轉
也許有些場景對於客戶端上行的消息非常看重，需要做持久化，並且消息量非常大。
在 push-sever 做業務顯然不合適，這時完全可以選擇 Kafka 來解耦。將所有上行的數據直接往 Kafka 裡丟後就不管了。再由消費程序將數據取出寫入數據庫中即可。
8、分佈式帶來的問題
分佈式解決了性能問題但卻帶來了其他麻煩。
8.1 應用監控
比如如何知道線上幾十個 push-server 節點的健康狀況？這時就得監控系統發揮作用了，我們需要知道各個節點當前的內存使用情況、GC。
以及操作系統本身的內存使用，畢竟 Netty 大量使用了堆外內存。同時需要監控各個節點當前的在線數，以及 Redis 中的在線數。理論上這兩個數應該是相等的。
這樣也可以知道系統的使用情況，可以靈活的維護這些節點數量。
8.2 日誌處理
日誌記錄也變得異常重要了，比如哪天反饋有個客戶端一直連不上，你得知道問題出在哪裡。
最好是給每次請求都加上一個 traceID 記錄日誌，這樣就可以通過這個日誌在各個節點中查看到底是卡在了哪裡。以及 ELK 這些工具都得用起來才行。
9、本文小結
本次是結合我日常經驗得出的，有些坑可能在工作中並沒有踩到，所以還會有一些遺漏的地方。
就目前來看想做一個穩定的推送系統是比較麻煩的，其中涉及到的點非常多，只有真正做過之後才會知道。
附錄：更多推送技術相關文章
《iOS的推送服務APNs詳解：設計思路、技術原理及缺陷等》
《信鴿團隊原創：一起走過 iOS10 上消息推送(APNS)的坑》
《Android端消息推送總結：實現原理、心跳保活、遇到的問題等》
《掃盲貼：認識MQTT通信協議》
《一個基於MQTT通信協議的完整Android推送Demo》
《IBM技術經理訪談：MQTT協議的制定歷程、發展現狀等》
《求教android消息推送：GCM、XMPP、MQTT三種方案的優劣》
《移動端實時消息推送技術淺析》
《掃盲貼：淺談iOS和Android後臺實時消息推送的原理和區別》
《絕對乾貨：基於Netty實現海量接入的推送服務技術要點》
《移動端IM實踐：谷歌消息推送服務(GCM)研究（來自微信）》
《為何微信、QQ這樣的IM工具不使用GCM服務推送消息？》
《極光推送系統大規模高併發架構的技術實踐分享》
《從HTTP到MQTT：一個基於位置服務的APP數據通信實踐概述》
《魅族2500萬長連接的實時消息推送架構的技術實踐分享》
《專訪魅族架構師：海量長連接的實時消息推送系統的心得體會》
《深入的聊聊Android消息推送這件小事》
《基於WebSocket實現Hybrid移動應用的消息推送實踐(含代碼示例)》
《一個基於長連接的安全可擴展的訂閱/推送服務實現思路》
《實踐分享：如何構建一套高可用的移動端消息推送系統？》
《Go語言構建千萬級在線的高併發消息推送系統實踐(來自360公司)》
《騰訊信鴿技術分享：百億級實時消息推送的實戰經驗》
《百萬在線的美拍直播彈幕系統的實時推送技術實踐之路》
《京東京麥商家開放平臺的消息推送架構演進之路》
《瞭解iOS消息推送一文就夠：史上最全iOS Push技術詳解》
《基於APNs最新HTTP/2接口實現iOS的高性能消息推送(服務端篇)》
《解密“達達-京東到家”的訂單即時派發技術原理和實踐》
《技術乾貨：從零開始，教你設計一個百萬級的消息推送系統》
>> 更多同類文章 ……
（本文同步發佈於：http://www.52im.net/thread-2096-1-1.html）
閱讀更多 移動端IM技術分享 的文章
