ETL，用來描述將數據從來源端經過抽取(extract)、轉換(transform)、加載(load)至目的端的過程。舉個例子，某電商公司分析人員根據訂單數據進行用戶特徵分析。這時需要基於訂單數據，計算一些相應的分析指標，如每個用戶的消費頻次，銷售額最大的單品，用戶復購時間間隔等。這些指標都要通過計算轉換得到，這時候ETL的作用就顯現出來了。
ETL是BI項目中重要的一個環節，用戶從數據源抽取出所需的數據，經過數據清洗，最終按照預先定義好的數據模型，將數據加載到數據倉庫中去，為後續的數據分析提供數據支撐。
市場面上大多BI工具都不含ETL功能，在進行數據分析項目時，通常會用到BI、ETL兩個工具，成本高、花費時間長。而億信ABI基於這個需求，依賴十餘年數倉經驗，推出可視化ETL功能，包含完整抽取、轉換、加載過程，通過簡單的拖拽就可以完成ETL過程。
以下，我們將從億信ABI中ETL功能的核心亮點與應用場景入手，帶你瞭解ETL是如何高效實現數據抽取、轉化、清洗過程。
核心亮點
1 程序設計人性化，操作更易用
一般情況下，ETL過程設計需要用到大量的代碼，且重複利用率較低。億信ABI中的ETL功能充分結合大量項目人員實施習慣，操作敏捷易用，可以快速的建立起ETL工程，屏蔽複雜的編碼任務，提高速度，降低實施難度。
億信ABI的ETL過程支持批量創建，數據抽樣，開發過程支持多人協同定義，共享資料庫，使得數據處理過程更高效。在此基礎上，系統內部封裝大量清洗轉換規則，極大程度的降低技術門檻，只需簡單的拖拽配置，即可玩轉數據處理。
2 豐富的數據處理組件
億信ABI中的ETL組件豐富多樣，面向數據分析師精心打造，滿足各種各樣的數據處理場景。之前的一個簡單的數據處理需求，前期在技術人員這裡可能徘徊2，3天的樣子，更何況還有後期的修改，有了豐富的可視化ETL組件，複用率高，操作簡單，數據處理更高效。
億信ABI中內置組件包括：輸入輸出組件，轉換組件，流程組件，統計組件，數倉組件、腳本組件、大數據組件、其他組件。
以轉換組件裡面的清洗組件為例，清洗組件支持記錄級清洗和字段級清洗，內置50多種規則，支持在一個組件中完成多次清洗轉換設置。支持清洗前後結果預覽。
3 靈活的調度任務
用戶只需簡單操作，即可實現複雜的調度任務。億信ABI的ETL調度導向，深度考慮各使用場景，在便捷易用的同時，滿足數據處理時不同的用戶需求。
- 支持基於時間或事件的調度機制,如:任意事件週期、文件到達、腳本事件等；
- 調度設置支持crontab表達式；
- 調度設置能指定到月份、星期、日期、小時、分鐘的粒度；
- 支持設置調度的時間窗口，重調時間間隔等；
4 隔離設計，應用更穩定
為保證運行環境的穩定可靠，提供了設計區與運行區隔離的機制，所有作業的修訂和更改通過在設計區完成調試和試運行後，通過發佈機制，發佈到穩定的運行環境，保證開發和運行兩不耽誤。
二 場景應用
1 通過數據清洗加工獲取目標數據
場景說明：需要根據已知的基礎工資和獎金數據，導出實際工資數據。
步驟一：抽取
拖拽表輸入組件到設計面板，從SCOTT數據庫抽取EMP表.並可以預覽數據
步驟二：轉換
拖拽清洗組件，並把獎金字段的NULL值替換成0，具體操作如圖。
增加表達式組件，增加工資字段=基礎工資+獎金.定義字段為浮點型,字段長度7,精度2。
步驟三：加載
拖拽表輸出組件，加載到LE_TE數據庫,新建EMP表.還可以預覽最終數據。
以上通過億信ABI,完成了簡單的拖拽式ETL過程。
2 串聯ETL過程
場景說明：抽取到最新的學生信息、成績信息、課程信息，計算學生總成績並實現每日數據抽取。
步驟一：製作ETL過程流,拉取學生信息,考試成績信息,課程信息。
步驟二：通過貼源抽取到最新的學生信息,成績信息,課程信息.計算學生總成績。
步驟三：設置調度任務,定時執行ETL過程流。這樣，一個串行的ETL過程就完成了。
億信ABI除了高效的數據處理能力，還擁有智能分析引擎、高擴展性、高集成性等亮點功能，在數據填報、數據處理、大屏可視化、自助分析、預測挖掘等場景的的應用效果也首屈一指。歡迎持續關注，瞭解更多功能特性。
閱讀更多 億信華辰 的文章
