「DTCC 2018」為雲而生!解密華為 Cloud Native 分佈式數據庫

5月11日,第九屆中國數據庫技術大會(DTCC 2018)在北京國際會議中心如火如荼的進行。作為國內數據庫領域規模最大、最受歡迎的技術交流盛會,本次大會聚集眾多頂尖專家,共同探討了互聯網、金融、教育等行業領先的數據庫技術與未來趨勢。

「DTCC 2018」為雲而生!解密華為 Cloud Native 分佈式數據庫

經過一天發酵,大會熱烈濃厚的技術討論氛圍在今日到達頂峰。金融作為當下最熱行業之一,數據庫在該領域的實踐和應用一直備受關注。本次大會上,華為雲數據庫專家帶來《華為 Cloud Native 分佈式數據庫技術》主題演講,不但介紹了金融行業數據庫技術的演進過程,而且重點剖析其技術原理,廣受各方關注。

「DTCC 2018」為雲而生!解密華為 Cloud Native 分佈式數據庫

華為雲數據庫專家現場分享

近來,Fintech(金融科技)正成為大家耳熟能詳的詞彙。而當金融遇上雲計算,可以說將真正把 Fintech 發揮到極致。中國信息通信技術院 2018年《金融行業雲計算技術調查報告》顯示:

近九成金融機構已經或正計劃應用雲計算技術,近1/3已經使用雲計算技術的金融機構部署了小規模以上的虛擬服務器。金融機構應用雲計算技術最主要的目的,是縮短應用部署時間、節約成本和業務升級不中斷。服務安全性和可持續性,則是金融機構對雲計算技術最主要的要求。

數據庫方面,金融機構主要應用 Oracle、DB2、MySQL 和 PostgreSQL。其中 Oracle佔比 62.61%,DB2 佔比 21.80%,MySQL 佔比15.23%,PostgreSQL 佔6.76%。其他佔比7.88%。

「DTCC 2018」為雲而生!解密華為 Cloud Native 分佈式數據庫

華為雲數據庫作為領先的雲服務品牌,與金融行業的關係可謂歷久彌新。早在2017年11月,招商銀行就與華為成立分佈式數據庫聯合創新實驗室,實踐雲上金融科技變革。雙方共同應對“CloudFirst”的挑戰,利用雲、大數據、人工智能先進技術,領先的金融業務實踐和優秀資源,聯接業務與技術,聯合進行分佈式數據庫技術的研發和產品應用,解決數據庫應用上雲問題。

華為是招商銀行最重要的 IT 合作公司之一,之前就有很多合作,而這次基於雲數據庫的合作,華為雲更是助力招商銀行加速數字化轉型,成為“金融科技銀行”。招商銀行通過科技變革,為客戶提供普惠、個性化、智能化的金融服務。

「DTCC 2018」為雲而生!解密華為 Cloud Native 分佈式數據庫

招商銀行和華為公司成立分佈式數據庫聯合創新實驗室

在今天的大會上,招商銀行數據庫架構師周偉作了《招行 Fintech 數據開放平臺之內功修煉》的主題分享,介紹了這一輪 Fintech 浪潮下,如何以數據和技術為核心驅動力,結合互聯網和創業外部視角重新梳理金融行業的業務,以及在去中心化和高併發密集運算新形勢下,數據架構該如何設計和應對。

幾乎在同一時間的同一專場裡,華為雲數據庫專家分享的《華為 Cloud Native 分佈式數據庫技術》主題演講,也不約而同介紹了雲時代下企業如何基於雲場景架構設計具備跨地區分佈式部署的數據庫,介紹了 Cloud Native 分佈式數據庫高可靠、高性能、易擴展等金融級的關鍵特性,並深入揭開其背後的技術內幕。

Cloud Native 分佈式數據庫,是相較傳統 RDBMS(關係型數據庫管理系統)而言的一種高可用數據庫。為什麼說是高可用呢?這還得從傳統 RDBMS 說起。過去三十多年間,計算平臺基本是在一臺 PC、一個服務器、或者一個手機這樣獨立的硬件上搭建,因此有單處理器、小內存、慢速硬盤等特點。

雲時代的到來,使得無論傳統行業還是互聯網行業,業務越來越多樣,迭代速度越來越快,使得整體數據量大幅提升。IOT設備、手機、移動互聯網的蓬勃發展,終端也不再僅是傳統 PC 客戶端數據的接入。AI、大數據分析模型理論上的突破,讓計算手段越來越多樣。各式新物理設備的出現、存儲成本的持續降低,使得數據庫需要面對更多挑戰。

傳統數據庫無論在高可用性、還是成本方面,都很難應對這些挑戰。比如,傳統數據庫主備之間,通過異步或半同步方式進行數據同步。一旦主數據庫實例發生故障導致不可用,該架構就很難在短時間內將服務切換到備數據庫實例上。

隨著業務數據量不斷地增大,數據庫在性能和容量方面的提升,往往只能依賴硬件的提升來解決。不但成本很高,操作複雜,而且很難做到業務不中斷。因此,具備高性能、高可靠、能彈性伸縮的分佈式數據庫應運而生,且將成為趨勢。

國際著名市場分析機構 Gartner 調查顯示,到2019年,90%的雲數據庫管理系統架構,將支持計算和存儲的分離,這與市場的需求也息息相關。

以金融行業云為代表的新時代數據庫,需要整個系統的高安全性, 高可靠性、高可用性、高性能, 可擴展能力,以及運維自動化。分佈式數據庫如何滿足這些需求呢?或許我們可以從華為 Cloud Native 分佈式數據庫系統中找到答案。

「DTCC 2018」為雲而生!解密華為 Cloud Native 分佈式數據庫

我們先來了解華為 Cloud Native 分佈式數據庫的設計原理。首先是 Near Data Process,即將與數據相關性較大的業務邏輯卸載到存儲層,減輕計算負擔。比如對 redo 日誌的處理、配置的構建等。

華為 Cloud Native 分佈式數據庫利用雲存儲提供的特有功能,比如雲存儲的容錯能力和快速自我修復能力,提升數據庫服務的可用性和數據的可靠性。而且充分利用雲存儲多租戶共享的能力,持續降低數據庫成本。

此外,華為 Cloud Native 分佈式數據庫與雲上各種技術垂直整合,解決了線下傳統數據庫的問題和痛點。例如避免隨機寫入 SSD 以減少磨損,利用 SSD 的超高隨機讀取性能,同時結合雲存儲的自我修復能力,既提升數據庫整體性能,也讓其擁有更高可靠性。

計算與存儲分離以後,數據庫達到高性能的關鍵點不再是傳統的數據處理,而是網絡。華為 Cloud Native 分佈式數據庫通過數據優化,減少通訊量,同時利用先進的網絡技術(如 RDMA),降低網絡的時延,提升網絡吞吐。

華為 Cloud Native 分佈式數據庫還利用 AI 和 ML 中的先進技術實現系統自治,讓數據庫實現自動擴容,自我調節,從而滿足用戶的彈性需求。

基於以上原理,華為不但在原生DB引擎方面對開源數據庫和商業數據庫進行安全加固、服務化,推出雲數據庫 MySQL、PostgreSQL、SQL Server、文檔數據庫等服務;而且優化DB引擎,基於原生開源版本的 MySQL,進行了內核源碼級優化,推出性能大幅提升 3倍以上,複製延遲大幅降低至20秒內的雲數據庫 HWSQL,並且近期將發佈自研的企業級分佈式數據庫。

「DTCC 2018」為雲而生!解密華為 Cloud Native 分佈式數據庫

華為雲數據庫服務全景圖

取得這樣優異的成績,是因為華為雲突破了數據庫引擎內核的關鍵技術,包括 IO 卸載技術,緩解磁盤IO壓力;多個事務的日誌打包提交,減少網絡IO數量;請求異步並行化,有效利用多核資源。此外,華為雲還在雲上將數據庫軟件和底層硬件垂直整合,在網絡領域使用用戶態網絡協議棧技術,在存儲領域使用高性能虛擬化存儲,高性能存儲IO,有效隔離租戶數據,保障安全。

由此可見,以華為雲Cloud Native 分佈式數據庫為代表的新型雲數據庫,正是為金融級高安全、高可靠、高可用、高性能、高可擴展以及運維自動化等需求量身定做的。


分享到:


相關文章: