“雙十一”背後,阿里的技術到底有多“牛”?

健康第一大


“雙十一”可以說是世界首屈一指的技術大關,既是阿里技術的集中展現,當然也是對阿里技術的集中考驗。“雙十一”背後有很多阿里的技術,阿里官方的說法是下面這張圖,總結得非常全面。可以先俯瞰一下全貌。


因為業務原因,我個人比較關注阿里的下面幾項技術。


分佈式數據庫OceanBase

用阿里自己的話來說,OceanBase 對傳統的關係數據庫進行了開創性的革新。在普通硬件上實現金融級高可用,在金融行業首創“三地五中心”城市級故障自動無損容災新準,同時具備在線水平擴展能力,創造了4200萬次/秒處理峰值的紀錄。

也就在本月,權威機構國際事務處理性能委員會(TPC)的官網披露,阿里OceanBase在世界權威的TPC-C基準測試中登上榜首,打破了甲骨文保持了9年之久的世界記錄,成為首個登頂該榜單的中國數據庫產品。


AI設計師鹿班

鹿班是通過人工智能技術,快速、批量、自動化的進行圖片設計,為企業大幅度節省設計人力成本的智能設計平臺。 鹿班設計主要提供一鍵智能生成設計圖片、拓展尺寸、拓展顏色等設計服務,隨時隨地做圖讓設計更簡單。千人千面的大規模圖片就出自鹿班之手。

據說鹿班一秒鐘可以自動製作8000張圖片,這種設計能力讓很多設計師驚歎。而且做出來的圖片質量也是像模像樣。


無人值守壓測AI尖兵

“雙十一”作為互聯網上的世界級超級工程,其大促準備階段的“全鏈路壓測”的AI“尖兵”是確保“雙十一”通過峰值考驗的利器,也被稱為大促的“核武器”。每年雙11前夕,阿里都會組織多次全鏈路壓測,不斷地通過壓測發現問題進行迭代優化、全方位驗證業務的穩定性,是大促備戰最重要的武器。


“雙十一”就像一個巨大的工程,可以將各種問題暴露出來。阿里的技術在“雙十一”的表現總體上來講可圈可點,為中國贏得了超大規模網絡峰值的實踐經驗。對阿里技術感興趣的朋友,可以根據上面的俯瞰圖,調查一些自己感興趣的系統,相信會有所收穫。

今年的“雙十一”即將來臨,阿里是否能更加得心應手地應對峰值考驗呢?我們拭目以待。


機器人大王


用阿里巴巴CTO張建鋒(花名:行癲)的一句話來形容就是,阿里巴巴“天貓雙十一”是世界互聯網技術的“超級工程”。

從查看、搜索、添加購物車、下單、支付、退款等待的每一個環節,都有可能同時是超過數十萬的高併發的計算壓力,天貓雙十一這個技術大考可以說是國內僅次於12306春運的一次行業技術大考。這背後是無數的阿里技術人默默地在背後奉獻,無數的技術攻關給大家創造的一個近乎完美的雙十一購物體驗。

  • 先給出一波數據給大家可以感受一下:

這次雙十一,阿里巴巴自建綠色數據中心,相對於傳統技術節能70%,年節約用電達到了5.6億度,相當於17萬戶普通家庭一年的用電量,大概是一個大型鄉鎮的年居民用電量。全球互聯網行業最大規模的液冷集群、PUE逼近理論極限值1.0,快遞電子免單,節省了200億+張/年的紙質運單,物流只能切箱節約了7500萬快遞紙箱/年。

雙十一期間為用戶個性化推薦達到了453億次,智能客服接單量等於70萬人工日服的日工作量,智能客服佔比達到了98%,智能翻譯超過了10億次,生物識別佔比達到了60.3%,區塊鏈溯源保真1.5億件商品,雙十一期間抵禦網絡攻擊16億次,交易創建峰值達到了49.1萬比/秒,這可以說是世界奇蹟。

技術主咖“淘寶、天貓技術”

毫無疑問,雙十一最主要的技術團隊就是淘系技術團隊,主要就是淘寶、天貓技術團隊,這也是阿里巴巴的核心競爭力,也是跟業務最近的技術團隊之一。

從雙十一晚會上淘寶互動技術引擎,全面打通阿里生態體系內的會員、權益、能量,互動玩法、快速研發以及秒級上線。雙十一需要打通各大App內的各個異構技術的基礎實施,基於HTAP(Hybrid Transactional/Analytical Processing)技術,提供代碼無入侵式的實時數據一致性檢驗能力,保障千億能量和十億現金紅包在近三十個 App 間流轉的數據的一致性以及安全性。

分佈式數據庫OceanBase、這是我國第一個具有自主知識產權,並且首個應用在金融核心業務的分佈式關係數據庫,分佈式架構SOFAStack、每一次雙十一智能化的全鏈路壓測保證每次雙十一的平滑過渡,除此之外,三地務中心多活架構,如果一個城市的機房發生故障,服務器能夠分鐘級切換到無故障機房,保證業務連續性,同時保證數據不丟失、業務不停機。

阿里巴巴的堅實後盾“阿里雲”

天貓雙十一能夠表現得這麼出色,阿里雲是最重要的後盾,而且是最堅實的後盾。

阿里雲的飛天系統是阿里巴巴的必殺器,阿里巴巴部署了全球最大的規模的混合雲應用,飛天2.0是雙十一的重要支柱,這次雙十一阿里雲的彈性計算能力累計超過了1000萬核,相當於10座大型數據中心的脈衝計算新記錄。

  • 神龍架構的彈性裸金屬服務器,解決高峰值流量下的性能瓶頸


  • 基於盤古2.0和FusionEngine的ESSD雲盤,提供了數十PB級別的存儲挑戰,應用互聯網史上最大高併發IO的挑戰
  • 全球領先的RDMA網絡,為海外直播助力
  • 異構計算FaaS舜天平臺,輕鬆應對多平臺、接近30個App的數據一致性、以及安全性
  • 支持IPv6的雲、網、端,實現了國內首次大規模的IPv6商業實戰

天貓雙十一從下單到配送,從晚會到客服,可以說每一個環節都離不開阿里雲。在邊緣計算、物聯網操作系統、多環境設備斷SDK、阿里雲IoT物聯網絡管理平臺Link WAN,阿里雲物聯網雲平臺Link Platform,應用開發平臺Link Develop,物聯網市場Link Market等等。

支付寶是天貓最好的兄弟

如果說阿里雲是在天貓雙十一背後默默支持的小夥伴、從事的都是幕後工作,那麼支付寶就是天貓雙十一最好的臺前兄弟,直接與用戶打交道的兄弟。

在這次雙十一當中,支付寶很多自研核心技術也拿到了臺前,比如螞蟻區塊鏈的技術首次運用到雙十一,目前螞蟻區塊鏈全球區塊鏈專利技術申請量排名第一,Ant Blockchain在商品正品溯源、跨境轉賬等方面都有重要的應用,人臉識別技術方面,螞蟻金服人臉識別技術安全度達到了99.99%,在風控方面,螞蟻金服第五代智能風控引擎AlphaRisk確保賬戶資損率抵禦千分之五,同行業搖搖領先於世界平均水平。

千萬不要忘了不辭辛苦的菜鳥網絡

2018年天貓雙十一,當天16:48分物流訂單就已經超過了2017年天貓物流訂單總量;當天10:36物流訂單超過了2016年物流訂單總量;當天9:01分,進口定能單清關總量突破了1000萬;並且今年天貓雙十一訂單總量突破了10億,進入了10億訂單時代;

2018年天貓雙十一當天8點,全國簽收城市數量就已經達到了263個,其中上海、蘇州、北京、重慶、瀋陽排名前五;

從2013年到2018年這幾年間,雙十一的物流包裹從1.52億上升到了10.42億,但是完成1億個物流包裹的簽收從9天下降到了2.6天,這個效率的提升都得益於菜鳥網絡對於中國骨幹物流網絡的設想得到了實現。

“雙十一”對於阿里巴巴來說本質上就是一次大考,一次年度的技術大考,阿里巴巴改變了13億人的消費模式,而天貓雙十一創造了中國零售的奇蹟,這背後更是無數的工程師用代碼堆砌起來的技術奇蹟。



EmacserVimer


還有幾天,又將是一年一度的購物狂歡節“雙十一”,不知各位紅包攢了多少,蓋樓蓋到了多高?

雙十一不僅要考驗消費者們的手速,對於阿里更是任務艱鉅。今年是“雙十一”十週年,先看下這十年間雙十一的全天銷售額:

2009年:0.52億

2010年:9億

2011年:52億

2012年:191億

2013年:350億

2014年:571億

2015年:912億

2016年:1207億

2017年:1682億

2018年:2135億

2019年:????億

可見增長速度極其迅速,今年突破2500億我覺得是妥妥的。這麼多人同時在線,每秒海量的點擊和訂單數阿里是靠什麼來扛住這一天呢?

阿里雲

看得見的狂歡,看不見的雲。去年天貓雙11數字經濟狂歡的背後,是一次次對計算能力的 “脈衝” 挑戰。阿里雲作為數字經濟的基礎設施和引擎,用技術成功護航各大戰場,用產品支撐了萬物狂歡的挑戰。今年的衝擊會更大,畢竟“蓋樓”大軍們辛苦了那麼久,就等著這一天回饋自己呢,不過這對於強大的阿里雲來說不是事兒!

分佈式關係數據庫

去年雙十一,支付寶整個核心鏈路都是在OceanBase——這個獨特的、阿里自主研發的數據庫上運行,不同於傳統的Oracle和MySQL伴隨的數據量的增大和業務數據的擴展會不斷地拆庫拆表,OceanBase將主體數據按照主鍵分塊連續存放在多臺機器,十分高效。每秒14萬的訂單創建,8.59萬筆每秒的支付,還有就是一天10TB左右的數據庫寫入量,阿里輕鬆應對。

幕後奮戰的工程師們

雙十一期間,阿里的工程師們全都奮戰在工作前線,每遇到一個業務問題,熬更守夜也必須解決掉。譬如在壓測期間,就有工程師整整48小時沒有睡覺,等解決完問題才回家。

獨到的管理體系、眾多的人才、為了客戶同時也為了更好的工作成績傾盡全力,這便是為什麼阿里能有如此強大的技術,期待今年的雙十一會有更多的驚喜。

更多優質內容,請持續關注鎂客網~


鎂客網


雖然說阿里已經把服務器做的很好了,但是還是要早下單手快才行(雖然還特意看了下收貨地址還有支付方式),同事01分支付的已經卡成翔了



用戶9195243515601


關於題主的這個問題,我覺得用客觀的數據最能說明雙11背後阿里雲的技術實力

2018年天貓雙11單日成交額高達2135億,2018年天貓雙11購物狂歡節21秒破10億元,比去年快7秒;1小時47分26秒破千億元,比去年快7個多小時。同時,從我查閱的數據來看,2018年天貓雙11還刷新了很多紀錄。比如說物流訂單整整超過10億,還有通過指紋和刷臉方式完成的支付佔比竟然超過一般,高達到60.3%。

另外,不只是淘寶天貓,中國郵政、茅臺、銀泰、居然之家、貓晚、眾安在線、天貓、淘寶、支付寶、盒馬鮮生、餓了麼、菜鳥、高德等眾多企業都在阿里雲提供的雲計算服務下,即便面臨業務高峰也穩如磐石。

就連雙11前夕的天貓雙11晚會,也依託依託阿里雲技術,在網播時創下了帶寬峰值記錄,完美保障了優酷2500萬用戶的體驗。不僅CDN為中國1/3以上的互聯網流量提供加速,視頻雲也在海外為Lazada提供直播服務。

更驚喜的是,今年天貓雙11也是國內首次大規模IPv6商業應用實踐,雲、網、端以及應用全面支持IPv6,不得不給阿里雲的技術點個贊。

而每年天貓雙11狂歡能夠穩健流暢進行的背後,都是靠阿里雲的核心技術在支撐。

計算能力:在極限情況下也能夠虛擬機的計算能力和物理機保持一致,譬如阿里雲的神龍服務器,就能夠虛擬化損耗降為0;

實例存儲:可以將單機的IOPS提高到百萬級,堪稱業內首個達到該水準的,滿足大計算、重IO的高端用戶場景;

CloudDBA產品:無節約成本,提升用戶體驗;

大數據:很多新零售產品就是基於大數據,完成了向智能化的轉變,充分了解消費者的需求,幫助商家定向製造出更棒的商品。

與此同時,阿里雲的強大技術還來源於一群默默在幕後奮戰的工程師們。雙11期間,每遇到一個業務問題,熬更守夜也必須解決掉。譬如在壓測期間,就有工程師整整48小時沒有睡覺,等解決完問題才回家。即便是又同事第二天就要結婚,也得在頭一晚堅持工作。

相信也正是因為有這樣一隻鐵軍,阿里雲才能擁有如今這樣的強大科技實力,今年天貓雙11的絕佳成績,也正是阿里雲技術的最好證明!


雲計算視界


一年一度的雙十一狂歡馬上又要到了,去年淘寶交易創建峰值達到每秒49.1萬筆,是2009年首個雙十一交易峰值的一千多倍,今年的雙十一自然也不會輕鬆,解決鏈路高壓是阿里技術人員要面對的重要挑戰。


實際上,在像“雙十一”這種大型營銷活動開展前,阿里內部技術人員都會進行全鏈路壓測,以解決活動過程中洪峰流量引起的系統表現不穩定問題。“技術雙十一系列”壓測可以說是阿里的首創。

其實阿里最初進行全鏈路壓測的時候動用了上百號人通宵壓測,隨著壓測方式的更加智能化,如今只需要幾個人白天壓測。

阿里的壓測項目具體如何實現呢?

壓測環境改造


整個阿里經濟體的壓測環境,包括雙十一壓測,全部選擇的是線上環境,此時需要評估如果要進行全鏈路壓測,是否直接可以使用現有環境、同一個API多次壓測是否會被攔截、是否會有髒數據影響、如果有影響應該如何改造避免等。



數據準備

提前確定活動的業務模式對應的技術架構應用,比如需要做壓測的業務範圍、數據量級、數據形式等。這些準備通常以以往的活動數據進行參考。



流量安全策略


通過影子表數據手段解決非法流量的監控和保護機制問題,實現數據隔離,避免數據錯亂。

通過將安全相關策略接入流控降級功能、針對壓測適當放鬆安全策略或根據特殊標記識別等手段,使壓測流量不被判定為攻擊流量,成功壓測的同時保障線上業務的安全性。


壓測實施


1.峰值脈衝:即完全模擬0點大促目標峰值流量,進行大促態壓測,觀察系統表現。

2.系統摸高:取消限流降級保護功能,抬高當前壓測值(前提是當前的目標壓測值已經達到,則可以進行摸高測試),觀察系統的極限值是多少。可進行多輪提升壓力值壓測,直到系統出現異常為止。

3.限流降級驗證:即驗證限流降級保護功能是否正常。 (AHAS引入)商業化產品AHAS(應用高可用服務,Application High Availability Service)提供了全面的限流降級能力,可進行全鏈路的降級保護。

4.破壞性測試:這個主要是為了驗證預案的有效性,類似於容災演練時的預案執行演練。即為持續保持大促態壓測,並驗證預案的有效性,觀察執行預案之後對系統的影響。


問題定位分析


壓測結束之後,會將壓測過程中的系統表現、監控數據等整理,進行壓測覆盤,分析當前系統瓶頸、後續改進修復計劃及下一輪壓測時間等。

以上全鏈路壓測的詳細過程主要參考阿里雲棲社區官方,雙十一馬上就要來了,讓我們一起期待今年阿里的技術表現吧!



趙廣亞


說下參加幾年雙11的感受。作為一個技術人,每年雙11大家最關心的是瞬間流量。我們是實時計算團隊,說下內部數據,日誌計算4.7億每秒,全鏈路延時在秒級,故障恢復2min,數據大屏延時3秒,日數據增量2萬億條,網絡流量20倍增長。這些都是看不見的數據。


數據中臺資深架構師


確實不黑京東,這兩年雙十一天貓下單太流暢了。昨晚O點京東也下單了。微信付款成功十多分鐘後,京東訂單頁面才顯示訂單已付款。


用戶6982176493484


馬雲,你現在的雙十一套路太多,先漲價再打折再加上一些讓人看不懂的優惠,實際上可能比日常價格還高。


用戶2189048715572


雙十一是實體經濟的豪華葬禮。

望著沒有收益的交易,無利潤,空歡喜,白忙活,還把正常的市場需求充斥飽和,往後更銷不動。

全國流通渠道過度集中到低價平臺傾銷打折甩賣時間,對實體經濟來講。無利可圖,幫平臺賺錢,自己賠本賺吆喝,是迴光返照。

這和江堤倒口一個道理,水勢越大,表明潰口越大,災情越重。 這種水來淹沒頭,水走乾死牛的搞法。

是商業領域的人造奇禍。 雙十一是實體經濟的集體豪華葬禮,吃完這口無味無營養的雞肋,喝下這碗斷腸酒,往後的日子,集體去赴死。

看著那些開直通車交平臺推廣費五萬,賣出20單的賣家,喜從何來。

用一個國家的產業集體毀滅,換來一個平臺一夜狂躁的哀榮,是實業從業者的集體悲哀。

以互聯網為本,來發展工商業,結果必定是互聯網強盛,工商業死衰。

相當於屠場養豬,火鍋養魚。

以工商業為本,用互聯網作工具輔助,就必須遵守工商業本來的規律倫理和秩序。才能有序發展,不可由互聯網平臺憑技術優勢,壟斷一切,惘顧一切,掠奪一切,壓榨一切,胡作非為。 嗚呼哀哉,別了,中國的實業。


分享到:


相關文章: