美團外賣系統架構演進與系統穩定性

“相信大部分人都用過美團外賣,尤其是在每天的兩個吃飯的高峰期。美團外賣從創業到現在經歷了數次的迭代,不斷的適應需求,提供更好的體驗。

下面我們就仔細的聊聊“美團外賣系統架構演進與系統穩定性”

公司規模

美團網2012年7月份的銷售額已經超過了5億元,本地服務銷售額佔總銷售額的95.14%

美團網2014年8月的交易額突破45億元。截止到8月,美團共有北京、深圳、上海、廣州、西安、武漢、杭州、成都八大城市單月交易額突破1億元大關。

2014年美團全年交易額突破460億元,較增長180%以上,市場份額佔比超過60%。

美團網數據顯示,2014年12月單月交易額達到63億元,單日交易額更突破3億元,在市場份額佔比方面,美團網市場份額超過60%,比2013年的53%增長了7個百分點。

美團外賣系統架構演進與系統穩定性

以下分四部分聊

美團外賣業務發展歷程

技術體系架構演進介紹

外賣業務穩定性的挑戰

系統穩定性的處理原則

美團外賣業務發展歷程


美團外賣系統架構演進與系統穩定性


美團外賣系統架構演進與系統穩定性

技術體系架構演進介紹

業務起步:MVP階段

•快速試錯

•快速迭代

技術架構1.0

•共用

•易部署

•快速發佈


美團外賣系統架構演進與系統穩定性

技術體系架構演進介紹

業務起步:40w單

•梳理業務

•尋找規模化方式

技術架構1.0

•加功能

•加服務

•易部署

•快速發佈


美團外賣系統架構演進與系統穩定性

業務規模化:100w單

•校園市場多城市鋪開

•用戶量激增

•平臺活動增加

技術架構2.0

•服務化

•高內聚,低耦合

•拆:服務,庫,表


美團外賣系統架構演進與系統穩定性

業務增長:300w單

•白領市場全國鋪開

•美團專送

技術架構3.0

•中間件


美團外賣系統架構演進與系統穩定性

美團外賣業務發展歷程


美團外賣系統架構演進與系統穩定性

業務增長:1000w單

•供給側改革

•美團專送

•眾包配送

•新業務

技術架構4.0

•穩定大於一切

•多機房

•中間件


美團外賣系統架構演進與系統穩定性


美團外賣系統架構演進與系統穩定性


業務特點:高峰集中在中午、晚上晚點,爆發快

挑戰:高併發,一旦發生故障損失較大


美團外賣系統架構演進與系統穩定性


業務特點:服務鏈條長

挑戰:依賴複雜


美團外賣系統架構演進與系統穩定性


美團外賣系統架構演進與系統穩定性


美團外賣系統架構演進與系統穩定性

我們對穩定性的定義

系統可用性:4個9

訂單可用性:4個9


美團外賣系統架構演進與系統穩定性


美團外賣系統架構演進與系統穩定性

影響穩定性的主要因素:(那些年我們踩過的坑)(記我們的血淚史)

發版:引入bug,姿勢,潛伏期

數據庫慢查詢:全表掃描

代碼質量:循環無法退出;重試;

RPC調用:未設置超時時間,引發雪崩;

數據一致性:多處數據不一致;Databus,MQ,JOB

打日誌:日誌打印太多,IO佔滿

共用導致的:庫,MQ,zk,Tair,(所有的蛋放在一個籃子裡)

流量異常:Ddos攻擊


美團外賣系統架構演進與系統穩定性


美團外賣系統架構演進與系統穩定性


美團外賣系統架構演進與系統穩定性


壓測目標:
排查性能瓶頸,上探系統容量,驗證降級機制
驗證報警響應機制&指導設定警戒行動線


美團外賣系統架構演進與系統穩定性


美團外賣系統架構演進與系統穩定性


及時止損:回滾,分流,啟動降級預案,限流
保護用戶體驗:客戶端配合降級
力保關鍵路徑:非關鍵路徑模塊降級

美團外賣系統架構演進與系統穩定性


日常運行:灰度控制範圍,壓測預估容量,設置警戒行動線,警戒線的設定要留有餘量,別到告警就來不及處理了

事前預警:業務大盤,健康分析,性能大盤

事故處理:分析,定位,解決

事後總結:Casestudy,重構系統,高壓線


美團外賣系統架構演進與系統穩定性


美團外賣系統架構演進與系統穩定性


美團外賣系統架構演進與系統穩定性


美團外賣系統架構演進與系統穩定性


美團外賣系統架構演進與系統穩定性


美團外賣系統架構演進與系統穩定性

我的思考:

穩定是功能的一部分

性能是功能的一部分

簡單才是最美的

自動化一切

定期Review,擔心的一定會發生,而且有可能馬上發生

倒逼改革,穩定性需求驅動架構演進升級


穩定性的健康度檢查

業務基礎組件的規劃


美團外賣系統架構演進與系統穩定性

業務展望系統未來規劃

擴品類

平臺化

供應量化

穩定性的健康度檢查

業務基礎組件的規劃


美團外賣系統架構演進與系統穩定性

今天的分享就到這裡,感謝大家的閱讀,喜歡我的文章,記得點擊關注,收藏,並轉發,更多的乾貨分享才會不會錯過,我們一起學習成長,加油!


分享到:


相關文章: