10月18日~22日期間，一年一度的全球技術盛會“QCon2018全球軟件開發大會”在上海舉辦。今天是會議專題演講的最後一天，來自國內外45位技術專家分別圍繞微服務實踐、大數據系統架構、國際化互聯網業務架構、AI、智能製造等10個主題分享了行業最前沿的研究和實踐經驗，現場科技狂熱氣氛爆至頂峰！
在近年最熱的大數據、人工智能和區塊鏈三大科技中，人工智能和區塊鏈雖然被譽為最具潛力技術，但大數據絕對是其中發展最快、技術突破最多、應用性最強的技術。事實上，對很多公司來講，對大數據技術的需要更為迫切——業務的增長帶來大量數據，如何搭建大數據平臺來提高數據分析和處理能力，對企業決策和發展至關重要。
大數據系統架構專場，6大技術專家火力全開
今天，大數據系統架構的專題正是關注大數據平臺技術選型、搭建、系統遷移和優化方面的經驗，來自甜橙金融、Dell EMC、eBay、阿里巴巴、百度、騰訊的資深架構師、技術專家就大數據架構做了精彩分享，整體來看，今天的分享內容兼具前沿性和實用性。
上午，甜橙金融大數據總監謝巍盛就傳統互聯網企業如何進行企業大數據體系建設做了分享，包括如何進行數據體系建設與應用、企業自助BI分析平臺、數據科學平臺與流計算系統建設等；DELL EMC軟件開發總監滕昱對其支持實時流數據和分析的開源平臺Project Pravega存儲平臺進行了介紹；eBay大數據架構師俞育才分享了將MPP DBMS數倉遷移至Spark的經驗。下午，阿里巴巴資深技術專家王紹翾分享了阿里如何基於Apache Flink打造大數據計算引擎Blink來支持複雜的運算，並服務各種BI和AI業務；百度資深研發工程師程怡介紹了百度自研的DStream3流式計算系統，搜索廣告和建庫、信息流等應用時提高時效性、數據準確性和數據流的穩定性；騰訊T4專家、資深架構師彭淵分享了騰訊自研bitmap技術的大數據系統“鋒刃”和 olap全新驅動模式的架構戰略如何突破大數據分析架構瓶頸，做到秒級實時查看每分鐘指標、全維度的用戶olap自助分析、閉環的動態運營體系。
（大數據系統架構專題會議現場）
實用至上，甜橙金融從0到1建設企業大數據全案例分享
技術研發創新固然值得稱讚，技術應用創新的成功經驗也應得到重視和傳播。
在這些分享中，需要特別引起注意的，是來自甜橙金融大數據總監謝巍盛的分享，他詳解了甜橙金融從0到1構建企業大數據的過程並對各部分實踐中的技術痛點進行剖析與解答，對於國內目前正在進行或嘗試向數據驅動轉型的公司來說，是一次全面可借鑑的經驗分享。
謝巍盛分享了甜橙金融在開源基礎上自主研發大數據體系建設的經驗。甜橙金融是中國電信旗下金融科技公司，是三大運營商中移動支付業務做的最突出的，目前註冊用戶突破5億，月活用戶超過4000萬，業務的增長帶來了海量的數據，為大數據平臺帶來了嚴峻的挑戰。
（甜橙金融大數據總監 謝巍盛）
自主研發的甜橙BI分析平臺面向大數據分析, 融合了多個SQL計算引擎, 支持短時, 交互式及長時批量查詢, 滿足多用戶高併發量查詢需求並做到百億數據秒級查詢, 20億+數據毫秒級計算的能力; 基於業務部門在模型開發上的痛點——模型開發人員編碼能力弱、人員間協調度低及大數據量化分佈式計算工程量高，甜橙金融自主研發大規模分佈式數據科學平臺，實現從數據清洗、特徵工程、模型訓練及驗證上線一站式拖拽式服務，真正做到“平民化”機器學習，以最低門檻賦能業務人員進行業務模型開發與應用。同時，甜橙金融將流計算應用於實時業務監控、實時交易風控監測等場景支持千萬級秒併發與秒級/毫秒級計算延遲，利用複雜網絡進行精準營銷及團體反欺詐等。
此外，謝巍盛還分享了甜橙金融在諸如集群規劃建設，作業調度優化，權限中心建設，標籤體系構建及AI算法模型落地等方面的經驗與建議。
作為國內金融科技領域重要成員之一，甜橙金融非常重視基礎技術自主研發和應用，無論研發資金還是人才引進都做了重點佈局。本次受邀出席演講的甜橙金融大數據總監謝巍盛，正是甜橙近年為大數據平臺建設引進的一流技術人才。謝巍盛此前供職於Intel，在亞太研發中心大數據部門負責大數據開源工作, 專注分佈式機器學習模型與優化算法，也是Apache Spark 及 Hadoop生態的貢獻者。
新技術的興起需要更多企業的嘗試與落地才能實現真正意義上的“技術普惠”，推動社會發展，相信這也是主辦方將甜橙金融演講放在第一位置的用心所在。未來，期待甜橙金融技術團隊完成更多創新技術研發與應用，也為業界帶來更多高實用性的案例分享，推動互聯網圈技術生態均衡化發展。
閱讀更多 科技圈速遞 的文章
