螞蟻金服OceanBase馮柯:自研技術這條路很難,但我們會堅持下去

小螞蟻說

美國商務部於2018年4月16日宣佈7年內禁止本國企業向中國的電信設備製造商中興通訊公司銷售零件。

實際上,就是禁止一切美國公司與中興進行任何形式的交易。由於中興公司通訊類產品所需要的美國進口核心部件,因此有業界評論者直言,這幾乎意味著中興公司的滅頂之災。

消息公佈後,中興在深圳A股市場和港交所同時停牌,其被封殺遭遇的程度可以說是前所未有。

雖然,這個聲音可能有些理想化,但是從中也看出大家對於互聯網公司的技術和自研能力是很認可的。螞蟻金服作為現在知名的互聯網公司,其技術水平也一直被大眾津津樂道。

在即將召開的DTCC 2018大會開幕之前,我們採訪了螞蟻金服資深總監、OceanBase首席架構師馮柯,聽他講講他對自研技術的一些看法。

螞蟻金服OceanBase馮柯:自研技術這條路很難,但我們會堅持下去

馮柯:2014年加入螞蟻金服,入職前在數據庫廠商神舟通用任CTO,浙江大學計算機應用專業博士,十五年數據庫研發和產業化經驗。目前在基礎數據部(OceanBase團隊)任架構師,參與OB1.0的設計和研發工作,主要研究領域分佈式關係數據庫、數據存儲、性能診斷優化。

螞蟻金服OceanBase馮柯:自研技術這條路很難,但我們會堅持下去

1. 技術沒有好壞之分,開源 OR 自研均是業務驅動

凡此種種,我們看到有很多人對基於開源來做研發都抱著不太友好的態度。而馮柯則把基於開源的研發比作開吉普車,把自研技術比作造高鐵,他認為技術選擇沒有絕對的對或錯,基於開源或自主研發的選擇是要看能不能真正解決業務問題。

Oceanbase是螞蟻金服完全自主研發的數據庫,為什麼在技術選擇的時候會選擇自研而不是基於開源開發?“很大的原因是這個分佈式數據庫是一個全新的技術挑戰,現有的開源技術中能夠借鑑複用的東西很少”,馮柯這樣說道,“還有一個重要原因就是技術的理想主義,我們不想被現有的開源技術框架所束縛。”

2.“我深知自研技術有多難,但自研的價值得我們這麼做”

馮柯是一個紮根於軟件和互聯網行業十五年的老兵,他見證了中國軟件收入從1998年的325億到2017年5.5萬億的增長,同時他也清楚的知道在最核心的CPU、操作系統和數據庫上,過去我們並未取得商用意義上的重大突破。基礎軟件的自研技術有多難,馮柯再清楚不過了,但他也堅定的認為自研技術的價值值得我們這麼去做。

國內自研軟件產品的發展一路走來都是波折頗多,先是被盜版商用軟件掠奪,後來又被開源生態套路。基於開源能讓我們技術水平快速提升,但同時也在一定程度上束縛了我們的思維,而自研技術給予了我們基礎創新的源動力。

自研技術的另一個好處就是可以實現差異化價值。以Oceanbase為例,從最開始的構想就是要基於自身積累的核心金融業務場景實現差異化價值,所以在架構設計上就與Oracle、DB2完全不一樣,OceanBase的分佈式系統更多是通過系統架構和軟件實現系統高可靠。現在,Oceanbase不僅承擔了螞蟻金服“雙十一”全部核心業務的重壓,還在6家商業銀行落地。

3.搞自研,傳統廠商的大優勢可能會是大包袱,而互聯網企業可以輕裝上陣

“中興事件”更像是一場大浪淘沙,原本被淹沒的國產基礎軟件的聲音一下子被完全釋放出來了,文章開頭我們寫了很多人都對互聯網企業的基礎軟件開發寄予厚望,為什麼會出現這種情況?與傳統的基礎軟件廠商相比,它們各有什麼優勢呢?

馮柯在入職螞蟻金服之前,曾在數據庫廠商神舟通用任CTO。既待過傳統數據庫廠商,同時也在互聯網企業搞研發的他,自然是這個問題的最好回答者。“老牌數據庫公司,有完整的生態系統,這是巨大優勢。但老牌數據庫廠商的大優勢,同時也是大包袱。”

過去國內做自研數據庫,實際上是在走一條追趕、模仿商用數據庫公司的發展道路,真正能夠做出差異化的東西很少,而現在做數據庫從技術思路上就發生了轉變,從集中式數據庫技術形態到分佈式技術形態。

而這一轉變,讓傳統廠商的生態優勢反倒可能成為包袱。眾所周知,傳統廠商當年做數據庫時PC服務器可靠性非常差,也沒有最近才發展起來的高可用、高可靠的分佈式架構。在這種情況下,傳統廠商想要創新自研就像是大車掉頭,需要兼顧的方面很多,而互聯網企業則可以輕裝上陣。

4.總結

自研技術的難度眾所周知,但螞蟻金服在自主研發、自主創新這條路上從不怕挑戰,從支付寶擔保交易,到風險識別、智能客服,再到更基礎的數據庫、中間件等均有技術創新。

在即將到來的DTCC 2018大會上(2018年5月10-12日,北京國際會議中心),除了馮柯會帶來主題演講,講述自研分佈式數據庫背後的故事,螞蟻金服的其它技術研發專家會帶來更多分佈式事務處理、大規模圖計算、數據分析等領域的應用和案例分享。

螞蟻金服OceanBase馮柯:自研技術這條路很難,但我們會堅持下去

中國數據庫技術大會(簡稱 DTCC)是國內數據庫及大數據領域規模最大、最受歡迎的技術交流盛會,每年一屆。

2018 年 5 月 10-12 日,第九屆中國數據庫技術大會(DTCC2018)將如約而至。在本屆大會中,螞蟻金服將帶來以下主題分享:

一、DTCC主論壇

1、DTCC與OceanBase共同成長,一路走來

【 演講時間及簡介:2018/5/10 08:40-08:45 】

自2015 年起,OceanBase 團隊從各個渠道引進數據庫人才,經過不斷的努力,並最終實現了數據庫的重構,推出了真正面向雲時代的分佈式數據庫。從 2017 年開始,OceanBase開始了向傳統金融賦能的實踐過程。2017 年年底,OceanBase 在南京銀行正式上線,OceanBase 還出口到了印度和美國等地。至此,OceanBase真正實現了從研發實踐,到正式對外商用的轉型。回顧9年來,中國數據庫技術大會,作為一個分享的平臺,如實地記錄了OceanBase的關鍵研發應用過程,見證了OceanBase的成長曆程。

【 嘉賓介紹:陽振坤 螞蟻金服 高級研究員,OceanBase自主研發數據庫研發創始人 】

2、自研技術在螞蟻金服的發展、實踐與未來

【 演講時間及簡介:2018/5/10 13:30-14:10 】

作為自主研發的金融級分佈式數據庫,多年來OceanBase穩定地支持了螞蟻金服雙十一峰值流量,並於2017年創造了25.6萬筆支付每秒的世界紀錄。作為新一代的關係數據庫,OceanBase在擴展性、高可用、高性能、低成本等方面解決了一系列世界性技術難題,為上層應用提供了“不停機縮擴容”、“彈性大促”、“多地多活”等多項核心能力。今天,我們將為你一一解開OceanBase背後的“技術秘密”。

嘉賓介紹:馮柯螞蟻金服資深總監,OceanBase首席架構師

2014年加入螞蟻金服,入職前在數據庫廠商神舟通用任CTO,浙江大學計算機應用專業博士,十五年數據庫研發和產業化經驗。目前在基礎數據部(OceanBase團隊)任架構師,參與OB 1.0的設計和研發工作,主要研究領域分佈式關係數據庫、數據存儲、性能診斷和優化。

二、金融級核心基礎技術應用實踐專場

1、OceanBase:螞蟻金服自主研發的金融級分佈式數據庫

【 演講時間及簡介:2018/5/10 13:30-14:10 】

作為自主研發的金融級分佈式數據庫,多年來OceanBase穩定地支持了螞蟻金服雙十一峰值流量,並於2017年創造了25.6萬筆支付每秒的世界紀錄。作為新一代的關係數據庫,OceanBase在擴展性、高可用、高性能、低成本等方面解決了一系列世界性技術難題,為上層應用提供了“不停機縮擴容”、“彈性大促”、“多地多活”等多項核心能力。今天,我們將為你一一解開OceanBase背後的“技術秘密”。

【 嘉賓介紹:陳萌萌螞蟻金服資深技術專家 】

目前在OceanBase團隊負責SQL相關方向的開發工作。2006年畢業於清華大學,2006年到2008年在歐洲核子研究中心(CERN)負責網格計算調度器的開發工作,2009年5月在美國威斯康辛大學麥迪遜分校獲得計算機碩士學位,先後在Oracle、華為美國研究所從事數據庫的開發和研究。

2、分佈式事務:核心金融場景下的實踐與演進

【 演講時間及簡介:2018/5/10 14:10-14:50 】

性能與數據一致性保證是金融交易場景中永恆的挑戰。經過多年的雙十一大促、新春紅包等場景,螞蟻金服對極限性能場景下的分佈式事務有非常完整、深入的理論認知,自身做了很多創新,形成了一套完整分佈式事務解決方案。本次演講主要呈現螞蟻金服分佈式事務解決方案技術演進過程,其中對事務一致性、極限性能優化、容災、平滑擴縮容、業務接入分佈事務框架複雜度、方案通用性等方面的深入思考。

【 嘉賓介紹:尹博學螞蟻金服資深技術專家 】

3、螞蟻數據分析平臺的演進歷程

【 演講時間及簡介:2018/5/10 15:10-15:50 】

螞蟻數據分析平臺以實現阿里生態”分析民主化”為使命,不斷的增強數據分析特性和降低分析的門檻,過去一年,該服務在財富、微貸、保險、集團客戶體驗事業群等10+BU得到廣泛應用,極大提高了分析的效率和分析的全面性。同時很多業務線都基於螞蟻數據分析平臺快速構建垂直數據應用,極大的提升了50%的構建效率。而應對如此豐富的數據分析場景,我們如何去構建一個數據分析平臺來支撐這些場景成為了我們技術的核心挑戰。在本次分享中我將會從業務場景出發,和大家一起來推演是如何將業務問題轉換成技術問題,並且如何去解決這些技術的問題。

【 嘉賓介紹:張榮華螞蟻金服高級技術專家 】

現任螞蟻金服數據分析平臺負責人,目前負責螞蟻金服數據分析平臺,包含商業智能分析產品,和科學計算相關的產品。在互聯網領域工作多年,在計算機科學與技術,抽象與架構,以及數據分析等方面有較為體系化的理解和沉澱。

4、大規模圖計算平臺GeaBase及其在螞蟻的應用

【 演講時間及簡介:2018/5/10 15:50-16:30 】

隨著大數據應用越來越廣泛,人們逐漸開始關注海量數據之間的內在關係。如何在巨大的關係網絡中快速發現有價值的信息將是未來數年大數據領域的一大挑戰。Gea Base 是螞蟻金服完全自主研發的新一代金融級實時圖數據庫。支撐的螞蟻金服風控關係網絡、資金關係網絡等多個關鍵應用場景都達到百億個節點,千億條邊的海量數據規模,保障了支付的風險控制、反洗錢、反套現、金融案件審理和好友推薦、理財資訊推薦等眾多的業務。本次分享我們將介紹該圖數據庫及圖計算平臺,及其在螞蟻業務中的應用。

【 嘉賓介紹:付志嵩螞蟻金服圖計算及存儲技術團隊高級專家

2015年加入螞蟻金服,現任螞蟻金服圖計算及存儲技術團隊高級專家。作為主要架構設計和研發人員參與了實時圖數據庫GeaBase的開發,實現了對超大規模關係網絡毫秒級的複雜查詢及變更。目前團隊的主要職責是研發新一代的圖數據庫和圖計算產品。本科畢業於浙江大學計算機科學系並從美國猶他大學取得博士學位。後加入美國圖數據庫公司BlazeGraph,領導了分佈式圖計算系統的設計和開發。

想要吸收更多技術乾貨的朋友,就親自到DTCC 2018的大會現場來聆聽吧!

— END —


分享到:


相關文章: