大數據時代你應該懂點ETL

DT時代,把數據轉換為信息、知識,已成為企業提高核心競爭力的關鍵。目前,大多數企業和政府採用傳統的數據庫腳本方式來處理數據,但腳本方式可讀性差,過分依賴人,無論是程序的遷移還是系統維護,都極為不便,而ETL(Extact-Transform-Load,數據的抽取、交換、加載)則成為主要的一個技術手段。

ETL負責將分佈的、異構數據源中的數據如關係數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成,最後加載到數據倉庫或數據集市中,成為數據分析、數據挖掘的基礎。

大數據時代你應該懂點ETL

ETL全過程圖

隨著各種ETL工具的湧現,在眾多花樣百出的ETL工具中,今天給大家推薦的是億信華辰旗下的數據工廠軟件(EsDataFactory)。數據工廠是億信華辰經過十多年的數據倉庫和商業智能項目管理以及實施經驗總結、知識沉澱,全力打造的一款同時滿足大中小型數據集成和數據管控的實施利器,很大程度上能降低數據集成實施技術門檻,使複雜、重複性的工作簡單及智能化。

下面,我們就來看一下數據工廠的厲害之處吧。

大數據時代你應該懂點ETL

數據工廠登錄界面


多視角多方式可視化建模

數據工廠提供了可視化定義的方式來完成數據模型的創建,支持自定義創建,同時也可從現有的數據結構(數據庫表、視圖、文件等)中挑選字段進行創建,提供全局視圖用於呈現模型以及模型與維度之間的關聯關係,支持範式模型、星型模型和雪花模型的定義。

大數據時代你應該懂點ETL


增量捕獲和數據裝載

數據工廠提供了基於時間戳、MD5、觸發器、全表比較等多種方式變化數據捕獲機制,對用戶透明,只需要簡單設置即可完成增量數據獲取,提供數據覆蓋、數據追加、數據更新和更新插入等多種數據的落地裝載策略,全面覆蓋數據落地場景。

大數據時代你應該懂點ETL


拖拽式流程設計器

數據工廠採用全拖拽式流程設計器,用戶只需要在簡單拖拽數據資源和加工組件就可完成複雜的ETL作業和作業流程的定義,“零”編碼,易操作、易閱讀、易維護。另外,支持完整圖形編輯功能,如複製、粘貼、撤銷、重做、自動對齊等。


大數據時代你應該懂點ETL


可視化調試和預裝載

支持流程調試,如順序執行、執行到功能,可以查看每步的執行狀態、執行時長和執行結果集,同時面向開發人員設置了預裝載機制和數據抽樣加載,方便開發人員快速驗證流程和調試腳本。


大數據時代你應該懂點ETL


豐富的數據處理組件

數據工廠提供了50餘種數據處理組件,用於完成數據的傳輸、清洗轉換、裝載落地。扁平化圖標設計,詳細的在線幫助手冊和案例庫,讓用戶很輕易就能上手使用。

大數據時代你應該懂點ETL


多重登錄認證

提供Ukey簽名及用戶角色權限雙重認證機制,從訪問資源控制系統受控訪問,杜絕非法訪問,降低事件風險發生率。

大數據時代你應該懂點ETL


小結:數據工廠區別於其它工具的特性可遠遠不止這些,數據工廠也不僅僅只是ETL喲。數據工廠廣泛適用於所有數據類的實施場合,包含數據整合、數據遷移、數據同步、數據交換等。同時全面兼容各行各業的業務系統數據,完成各業務域系統的數據融合、數據關聯、數據共享等應用場景,不愧是快捷自動的新一代數據倉庫工具。


分享到:


相關文章: