每天百億條銀行數據共享交換,這個平臺如何運作的

隨著金融業務快速發展和產品創新驅動的要求,金融行業對數據的使用需求呈現爆發式增長,同時對數據的明細程度、採集類型、實時性和安全性等提出更高的要求,相應地金融行業數據架構必須隨之進行匹配建設,需對整個企業的數據流轉進行統一管理和規劃。

本文以國內某政策性銀行為例,深度解讀金融行業如何應用數據共享交換平臺實現現代化管理的道路。

每天百億條銀行數據共享交換,這個平臺如何運作的

項目背景

為配合國內某政策性銀行新一代核心業務系統的建設,根據IT整體規劃中的數據架構規劃,在新一代核心等上游生產系統和下游數據消費系統(數據倉庫、報表平臺等)之間建設一套數據交換平臺,以替代老的數據傳輸平臺。

新的數據交換平臺是一套集數據交換任務管理、ETL控制與調度及交換任務跟蹤監控為一體的數據交換系統,支持通過該平臺對銀行企業網的數據交換進行全過程、高可控、高效率的跟蹤和管理,將進一步規範銀行數據流轉,提升數據共享水平,避免各系統煙囪式的數據加工模式繼續擴大,有效發揮銀行數據資產價值。該項目由華宇軟件與億信華辰共同合作完成。

項目規劃

億信華辰基於自主研發的傳輸交換平臺2.0產品,為國內某政策性銀行建設了全行級數據交換平臺,該平臺利用數據總線架構模式,承擔全行數據傳輸的樞紐工作,統一維護行內各個系統之間的數據接口,統一協調數據資源,統一為各個系統提供數據交換共享。

其數據交換平臺集數據交換任務管理、數據傳輸與調度及交換任務跟蹤監控為一體,功能強大、使用便捷、運維高效,並支持通過該平臺對銀行企業網的數據交換進行全過程、高可控、高效率的跟蹤和管理,進一步規範銀行數據流轉,提升數據共享水平,更加有效發揮銀行數據資產價值。

平臺總體架構圖如下:

每天百億條銀行數據共享交換,這個平臺如何運作的

根據國內某政策性銀行的實際情況,主要針對多個源業務系統的數據通過億信華辰數據交換平臺進行採集抽取,並通過數據轉義、碼值轉換等實現數據標準化,並將處理後的數據以文件或庫表等形式下發給消費系統。具有以下幾項主要意義:

  • 統一數據交換標準,數交平臺是整個數據體系的基礎和樞紐,集成了所有異構數據源的數據,支持定向推送和主動抽取兩種方式採集數據,實現文件傳輸、文件拆分等。
  • 減少數據在途時間,作為數據倉庫的唯一數據源,為數倉提供一致同構的數據,以提高數倉的處理效率和分析質量。
  • 提高數據共享性,數交平臺統一實現數據標準化,保證數據交換平臺分發的數據滿足行內數據標準,促進數據的共享使用。
  • 減少數據重複處理,數交平臺提供轉碼、拆分、合併等簡單的數據加工服務,統一實現數據複製、數據轉義、數據一致性,減少數據消費系統的重複數據處理。
  • 豐富數據交換場景,數交平臺兼容廣泛的數據採集類型(數據庫、文件、表格等),適用於數據庫之間、文本之間、以及不同類型之間進行數據交換等數據交換場景。同時通過產品內置的交換組件和清洗轉換組件,可支持常用的聚合、集合、連接、過濾、排序、路由、表達式組件等, 滿足多種數據靈活處理場景需要,全方面滿足數據加工、數據交換和數據傳輸需求。

平臺數據流圖如下:

每天百億條銀行數據共享交換,這個平臺如何運作的


項目心得

從數據角度來看:數據交換平臺將對現有數據傳輸功能進行取代和升級,將建成銀行數據提供系統和數據消費系統之間進行批量數據交換的統一平臺,同時成為總行向分行進行數據分發的統一平臺。

從數據加工角度來看:數據交換平臺將提供轉碼、拆分、合併等簡單的數據加工服務,一方面幫助數據供應系統減輕數據下發壓力;一方面通過提供增量數據及共性數據加工,幫助數據消費系統較少數據處理時間,提高效率。

總體來看,國內某政策性銀行數據交換平臺作為數據生產系統和數據消費系統之間批量交換的統一平臺,同時作為總行向分行數據分發的傳輸平臺,一方面幫助數據供應系統減輕數據下發壓力,一方面通過提供增量數據及共性數據加工,幫助數據消費系統較少數據處理時間,提高整體數據使用效率。


分享到:


相關文章: