打造實時計算平臺 阿里雲、騰訊雲都看上了Flink

打造实时计算平台 阿里云、腾讯云都看上了Flink

1月28日,阿里雲正式宣佈對外開源(開放源代碼)實時計算平臺Blink。

其實關於阿里雲對外開源實時計算平臺的動作早有預兆,本月初,曾有媒體報道阿里巴巴收購科技公司Data Artisans的消息,而Data Artisans擁有全球頂級的開源大數據流處理引擎Flink,可以解決傳統數據只能離線計算的問題。

這次阿里雲對外開源的實時計算平臺Blink,就是對Flink改造後的內部版本。

2004年,谷歌曾開啟大數據離線計算時代,但伴隨著大數據、人工智能、物聯網、邊緣計算等新技術的興起,有延遲的計算結果已遠遠不能滿足開發者尤其是企業的需要。在典型的大數據業務場景下,通用的做法是:選用批處理的技術處理全量數據,採用流式計算處理實時增量數據。因此,用戶通常需要寫兩套代碼。毫無疑問,這帶來了一些額外的負擔和成本。

儘管當前開源大數據計算引擎有很多選擇,比如流計算平臺有Storm、Samza、Flink、Kafka Stream等,批處理平臺有Spark、Flink等,但同時支持流處理(對隨時進入系統的數據進行計算)和批處理(將作業按照它們的性質分組或分批,然後再成組或成批地提交給計算機系統,由計算機自動完成後再輸出結果)的計算引擎,阿里巴巴計算平臺事業部資深技術專家莫問此前曾提到只有兩種選擇:一個是Apache Spark,一個是Apache Flink。

雖然當下Flink代表了一種全新的計算方式,但2015年的Flink還不夠成熟,早期只適用於小流量互聯網場景的數據處理,不管是規模還是穩定性尚未經歷實踐,並未被大範圍看好。

據阿里雲方面介紹,Blink最初是基於社區開源的版本做改進,真正和Data Artisans公司緊密合作是在2016年,“當初改造的時候也不知道會不會成功,那個時候我們還有另外兩個實時計算技術阿里中間件團隊在做Jstorm和阿里雲的Galaxy,最終因為Blink表現最好,我們才選擇了這項技術。”

經過阿里雲的改造之後,現在Blink已經將計算延遲降低到人類無法感知的毫秒級。在阿里集團內部,目前全部核心業務已經用上Blink。除了技術大考“雙11”之外,ET城市大腦實時計算規劃著杭州交通,淘寶、天貓每天為數億用戶展現實時的“專屬”頁面。

其實不僅僅是阿里雲,騰訊內部也基於Flink打造了一站式實時計算平臺Oceanus。據記者瞭解,之前騰訊實時計算團隊也曾基於Apache Storm構建了早期的實時計算平臺。但在長期的維護過程中,Apache Storm一些設計和實現上的缺陷逐漸暴露出來。Apache Flink出現之後,其在計算接口、計算性能和可靠性上的優異表現,使騰訊實時計算團隊決定使用Apache Flink作為新一代實時計算平臺的計算引擎。

阿里巴巴集團副總裁周靖人認為,不論阿里還是Uber、Netflix等,都是Flink的受益者。業內人士分析認為,當前實時計算正處於上升期,除了Flink之外還有Spark、Storm等多個技術流派,谷歌、英特爾、IBM等全球科技公司都在積極佈局,無論是誰,在實時計算平臺上的重磅押注都將成為其未來的核心競爭力之一。

每日經濟新聞


分享到:


相關文章: