Data Lake Analytics-數據分析時代迎來新變革

前言

近期阿里雲重磅推出新的數據分析引擎Data Lake Analytics,Data Lake Analytics是Serverless化的交互式聯邦查詢服務。無需ETL,使用標準SQL即可分析與集成對象存儲(OSS)、數據庫(PostgreSQL/MySQL/SQL Server等)、NoSQL(TableStore等)數據源的數據。本文將重點剖析Data Lake Analytics的出現,給傳統數據分析帶來了哪些變革。

Data Lake Analytics-數據分析時代迎來新變革

請輸入圖片描述

極大的降低運行成本

傳統解決方案裡,做數據分析,需要先購買一些分析節點實例(計算和存儲一體化),無論是計算還是存儲任何一方先到達瓶頸,都要線性的擴服務器資源,分析任務空閒的時候,計算資源的成本依舊需要承擔。Data Lake Analytics是基於Serverless架構的數據分析引擎,意味著客戶使用分析服務無需購買或者管理服務器,升級透明,Data Lake Analytics基於ECS輕鬆做到彈性伸縮服務。能讓業務真正做到按需擴存儲,按使用量付費分析,不分析只需要擁有存儲成本,整個方案成本極低。

數據分析架構更加靈活

無論是自建Hadoop、開源的Greenplum等方案,存儲和計算成本都是一體化的。選擇了這些大數據分析技術後,存儲和計算的方案都是固化的。而Data Lake Analytics的出現,則打破了這一架構侷限性,使得數據分析方案更加靈活。客戶可以選擇將海量的KV查詢的數據存儲TableStore中,Data Lake Analytics可以高速的查詢處理TableStore中的數據。可以將業務流水數據存儲在關係型數據庫(MySQL、SQL Server、PostgreSQL)中,Data Lake Analytics可以對上述數據存儲就地分析,賦予了上述數據庫複雜的查詢能力。用戶可以將日誌或者歸檔數據存儲在OSS中,使用Data Lake Analytics快速的分析處理OSS中的數據。在對於雲上中小企業來說,可以結合業務的特點選擇最廉價的存儲搭配最普惠靈活的的分析能力,同時Data Lake Analytics還可以很好的將上述眾多數據源做聯邦查詢。

ETL搬數據時代結束

以往數據分析,需要將各路數據源(關係型數據庫、日誌、NoSQL等),按照天或者小時級別做抽取,彙總到數據倉庫中做數據關聯處理。Data Lake Analytics設計之初天然具有聯邦分析能力,使得客戶的數據不再需要搬遷至數據倉庫彙總分析,而是就地分析。同時還能很好的跨異構數據源做關聯分析、迴流至關係型數據庫或者OLAP引擎。

分析時效性大幅提升

傳統數倉,無論是H+1 還是T+1方案,由於數據同步週期長,架構鏈路長,導致時效性很差。Data Lake Analytics的多數據源聯邦查詢處理能力,避免了數據搬遷的同時,大大提升了數據處理的時效性,同時由於縮短了採集、存儲、計算的鏈路,方案運行更加穩定。

總結

傳統數據分析的抽取-裝載-轉換-迴流的架構支撐了數據倉庫多年的發展,而Data Lake Analytics的出現,給傳統數據分析架構帶來革新的同時,也賦予了雲上目前OSS、TableStore、關係型數據庫(PostgreSQL/MySQL/SQL Server等)存儲強大的OLAP分析能力。對於雲上中小企業來說,可以選擇用最廉價、最適合業務場景的存儲,來搭配最普惠靈活的的分析能力。

阿里雲Data Lake Analytics正是最普惠靈活的分析能力的實踐者,目前公測期間免費試用,歡迎大家前來體驗。

Data Lake Analytics產品詳情:

https://www.aliyun.com/product/datalakeanalytics

瞭解更多大數據家族產品詳情,歡迎點擊:

https://et.aliyun.com/bigdatarelease

點擊觀看大數據家族產品發佈會:

https://yq.aliyun.com/webinar/play/508

【阿里雲新品發佈】開啟新一代數據智能開發之路:

https://yq.aliyun.com/roundtable/325525

原文 https://m.aliyun.com/yunqi/articles/634914?tk=dRse9Igx2yGXggZH%2F%2B%2Fajo4RSK7p6FRRcrmcB%2BGCSt0%3D&from=timeline&isappinstalled=0


分享到:


相關文章: