Blink開源、眾多「技術王牌」亮相,阿里雲的新技術正乘風破浪

在阿里巴巴發展歷史上,2009 年絕對是一個值得銘記的年份。

這年春節後,當阿里雲一位工程師寫下飛天系統的第一行代碼時,或許不會有人想到,這將開啟一個屬於阿里巴巴技術賦能的新時代。過去十年既是阿里巴巴商業成功的十年,也是阿里雲從無到有、從支撐內部業務到賦能各行各業的十年。

如果說十年前押注自主研發的飛天系統是一場「豪賭」的開始,那麼隨後的時間裡,不管是「跨界」的神龍服務器還是雲原生數據庫 POLARDB 以及 ET 城市大腦等,這場一開始幾乎無人看好的「豪賭」儼然已經成為對於技術潮流的引領,而這些技術也構成了阿里雲面向未來的「技術王牌」。

本週,隨著阿里雲實時計算平臺 Blink 正式開源正式開源,阿里雲「技術王牌」已漸趨成型。

Blink開源、眾多「技術王牌」亮相,阿里雲的新技術正乘風破浪

公開資料顯示,Blink 是阿里巴巴基於 Apache Flink 開源流處理框架所開發的實時計算引擎。自 2015 年開始,阿里雲對 Flink 進行改造,並將 Flink 的計算能力擴大數倍,推出內部版 Blink。

過去四年多時間裡,從雙11 DMV 大屏幕、 ET 城市大腦實時計算城市信息再到淘寶、天貓實時的用戶頁面,實時計算平臺 Blink 都是重要的技術支撐。

業界最強實時計算是如何煉成的?

信息革命的每一次跨越式的發展幾乎都離不開計算技術的革新。

2004 年,Google 三篇討論計算架構的論文,開啟了一個大數據的計算時代。而在過去的 數年裡,高速發展的互聯網、移動互聯網、物聯網,則將人類帶入到一個「實時計算」的新時代。

Flink 正是這樣一個實時計算引擎。公開資料顯示,Flink 誕生於歐洲的一個大數據研究項目 StratoSphere。2014 年,Flink 成為一款 Apache 基金會旗下的開源產品,其誕生之初功能並不完善,應用場景也只侷限在小流量的互聯網數據處理。

但這遠不能滿足阿里巴巴對於實時計算的需求。

在電商領域,用戶在不同時間、空間可能有完全不同的消費需求;另一方面,用戶需求的變化實時且隨機,單純依靠過往消費記錄無法預測用戶的下一個消費行為。

最典型的雙11時,很多用戶會由於豐富的促銷活動和環境而臨時產生更多的購物需求,這些用戶的消費需求與其日常消費習慣模型的匹配度非常低,而且單個購物需求的有效時間非常短。因此,就要求阿里巴巴的搜索和推薦系統及時發現用戶的需求變化,在數據有效期內完成模型更新,推薦用戶當前感興趣的商品。

2015 年,阿里巴巴作為最早佈局 Flink 的科技公司之一,開始基於開源版本進行改造和創新,推出內部版本Blink,將 Flink 的計算能力推向一個新高度。根據阿里巴巴官方透露的數字,僅在 2018雙11 期間,Blink 就實現了每秒處理 17 億次事件的能力。

如此大的技術提升,不僅是阿里巴巴業務場景的現實需要,也充分展現了阿里的技術實力。

Blink開源、眾多「技術王牌」亮相,阿里雲的新技術正乘風破浪

比如對於 Flink 的分佈式架構,阿里的工程師們實現 Flink 自身 Job 調度和資源管理的全新分層和解耦。這使得 Flink 可以更好地兼容各種開源資源管理器,比如 Hadoop Yarn 以及 Kubernetes;另一方面,在將Flink 的任務調度從集中式調度改為分佈式調度後,Flink 也具備了支持更大規模集群的能力,可以更好地應對大規模的數據處理場景。

另一個巨大提升則體現在 Flink SQL 上,Blink擁有全新的 Flink SQL 技術棧。從功能上看,支持現在標準 SQL 幾乎所有的語法和語義;而性能上,無論是在流式 SQL 還是批 SQL,特別是在批 SQL 的性能方面,當前 Blink 版本是社區版本性能的 10 倍以上。

通過這些略顯枯燥的技術名詞,呈現給消費者、客戶的則是實時計算帶給阿里巴巴各個業務線的巨大價值。

Blink開源、眾多「技術王牌」亮相,阿里雲的新技術正乘風破浪

在雙11期間,GMV大屏幕的背後技術也來自 Blink 實時計算引擎。每一條交易信息都是一個數據,從數據寫入數據開始,到被實時處理並最終顯現到大屏幕,都要求數據計算的精確性、可用性以及低延時(延遲在亞秒級別)。雙11全天的活動裡,每秒幾十萬的交易和支付的實時聚合統計操作全部是由Blink計算完成,從而最大限度地保證了雙十一的穩定運行。

如果說選擇 Flink 是對開源社區的認可,那麼是否選擇開源 Blink,既是一家技術公司的技術實力體現,也是擁抱開源社區的責任擔當。事實上,過去兩年的時間裡,阿里巴巴在 Blink 上的改進也不斷回饋到 Flink 開源社區。

在這個「二選一」的命題裡,阿里雲給出了一個明確的回答:開源 Blink。將阿里巴巴複雜業務考驗的技術和經驗,普惠到更多的開發者和企業。

隨著 AI、物聯網以及邊緣計算的持續發展,實時計算的需求也將愈發明顯,以 Flink 為代表的一系列實時計算技術會得到更多關注,而從開源的 Flink 到開源的 Blink,也使得阿里巴巴引領了實時計算的開源接力賽。

這種引領行業的基因,早已浸入到阿里雲產品的方方面面。

「技術王牌集團軍」

如果去翻看阿里雲的歷史,幾乎也是飛天系統的演化歷史。正如阿里雲締造者王堅博士所言:「阿里雲想做的事情實際上可以解讀為 Amazon+Google 並有所超越」,阿里雲一開始就走了一條「與眾不同」的道路——通過自主研發的分佈式系統構建雲計算的基礎能力。

Blink開源、眾多「技術王牌」亮相,阿里雲的新技術正乘風破浪

現在,基於飛天系統,阿里雲可以將遍佈全球的數百萬臺服務器連接成一臺超級計算機,單集群可達1萬臺規模,10萬個進程達毫秒級響應,十億級文件數,EB級別存儲空間,而阿里雲也成功了。2018年1月,飛天獲得了2017年中國電子學會科學技術特等獎,這是該獎項設立15年來首次頒發的特等獎。

與之相呼應的,還有阿里雲在公有云領域的高速成長。在中國市場,根據 IDC 的數據顯示,阿里雲市場份額位居中國第一,相當於二至九名總和。在全球市場,阿里雲位列 IDC 全球公有云 laaS 廠商市場份額第三,僅次於 AWS 和 Azure。

據今天最新發布的阿里巴巴 2019 財年第三季度財報,2018 自然年裡,阿里雲營收突破 200 億人民幣,成為亞洲最大雲服務商。

飛天系統還在進化,而飛天之上的新技術和新產品也層出不窮。

2017 年 9 月,阿里雲發佈自研的雲原生數據 POLARDB,於 2018年4月正式商用。POLARDB 採用自主研發的分佈式存儲引擎,將計算服務器和存儲數據分離。根據阿里雲透露的數字,POLARDB 在 100TB 的數據容量上提供了 10 倍於傳統商業數據庫的性價比,性能也達到 AWS Aurora 數據庫的 2 倍。

Blink開源、眾多「技術王牌」亮相,阿里雲的新技術正乘風破浪

2017年10月,阿里雲在全球率先推出「跨界」雲服務器——彈性裸金屬服務器神龍X-Dragon,利用自主研發的虛擬化 2.0 技術,打破了虛擬機性能於物理機靈活不可兼得的行業困境,也被認為是雲計算領域的新物種。

2018 年杭州雲棲大會上,杭州 ET 城市大腦 2.0 正式亮相。這個被譽為「人工智能的登月計劃」的項目,歷時兩年的進化,目前已具備信號燈優化、交通事件實時識別、應急車輛優先調度、社會治理和公共安全保障、消防應急等功能,落地到海內外杭州、澳門、吉隆坡等十多個城市。

除此之外,還包括聚焦高性能計算的雲超算、瞄準自動駕駛的車路協同等。這些技術與產品的創新所展現的協同效應已經初現。POLARDB 與神龍雲服務器為雲計算客戶提供了更多產品選擇,滿足了不同客戶的計算需求。

而在 ET 城市大腦的實踐裡,實時計算平臺 Blink 肩負著實時計算城市交通狀況的重任,通過計算杭州 1300 個信號燈路口、4500路視頻的數據,可以計算出杭州每時每刻跑在路上的車輛數,改變了傳統用靜態的機動車保有量來制定交通政策的方式。

寫在最後

阿里雲智能總裁張建鋒曾說過這麼一番話:「阿里巴巴是一家商業成功掩飾了技術成功的公司」。這句話並不為過,倘若沒有在技術的投入與積累,僅僅依靠「小米加步槍」和人力,如何能支撐起阿里巴巴如此龐大的業務和生態體系?

值得一提的是,阿里巴巴的技術能力,更多源自於其在真實業務場景積累的經驗和教訓,如果說應對全年不打烊的天貓、淘寶是一次小考,那麼雙 11 的高併發、大流量更像是一場「大考」。過去十年的雙 11,從數據庫、支付、計算到物流,阿里巴巴的技術實力逐步展現。

如今,藉助阿里雲的平臺,越來越多經歷過真刀真槍場景考驗的技術,也成為賦能各行各業的「技術王牌」。

面向彈性計算的神龍服務器,幫助企業同時獲得了服務器的極致性能與靈活部署能力;自主研發的雲原生數據庫 POLARDB,為百萬級企業提供雲端的數據庫能力;而在實時計算需求愈發旺盛的當下,阿里雲開源 Blink 也勢必加速實時計算在中小企業的普及力度,讓各行各業都能分享到阿里巴巴的技術紅利,從而加速這些企業的數字化轉型。

某種意義上說,當下也是技術的「大航海時代」,只有最勇敢的舵手,才能在無人區裡闖出一番天地,十年的技術探索成就了阿里巴巴與阿里雲的當下,而新的探索之旅已然開始。(完)


分享到:


相關文章: