你知道數據質量管理元數據有哪兩個來源嗎?

數據質量管理元數據根據數據質量管理的要求,支撐數據質量檢查的相關功能。這些元數據作為數據質量檢查的方法和標準,用於監控大數據系統的數據質量和系統運行情況。

你知道數據質量管理元數據有哪兩個來源嗎?

數據質量管理元數據有兩個來源:一個是系統各個處理環節的技術元數據,反映的是系統技術層面的處理情況,如數據量和指標值是否合理、處理過程應該在什麼週期內什麼時間段內完成;另一個是業務規則和指標口徑等業務元數據,通常是根據業務規則信息轉化成的規則、算法和度量標準,如指標間的稽核關係。具體描述如下。

(1)規則庫

規則是數據質量檢查的具體標準,主要包括大數據的約束規則、合理性規則和檢查規則等。規則分為三類:約束規則、計算規則和條件規則。

你知道數據質量管理元數據有哪兩個來源嗎?

■ 約束規則描述了一種必須為真或假的強制規則。這種約束可以是結構化約束,也可以是行為約束。

➢ 結構化約束:當創建術語或者改變術語之間的關係時,結構化約束能夠保證術語的完整性。

➢ 行為約束:典型地被定義為“前置條件”和“後置條件”。只有在符合“前置條件”的情況下,操作才能夠正確地執行;“後置條件”保證了操作結果的正確性,“後置條件”表示該行為是否滿足了其預期的結果。例如,客戶在開戶時餘額為0,在能夠使用移動業務之前,必須先充值,這裡的前置條件就是必須先充值,而後置條件是指所辦理的業務是否成功辦理。

你知道數據質量管理元數據有哪兩個來源嗎?

■ 計算規則描述了計算關係。例如,月末餘額=上月末餘額+本月充值金額-本月消費金額。

■ 條件規則描述了當條件成立時,觸發相關的事件或事務。例如,預付費客戶的賬戶餘額小於0,則對其實施停機操作。

(2)算法庫

算法庫主要是指支撐上述規則所需要的基本算法的集合,這些算法結合具體的規則由數據質量檢查相關功能調用。

你知道數據質量管理元數據有哪兩個來源嗎?

(3)度量信息

度量信息是數據質量檢查的基本依據,它反映了數據質量的衡量標準,也是元數據管理模塊技術元數據的一個重要組成部分。

度量信息是經驗的積累,需要在數據質量不斷建設的過程中逐步精確化。隨著衡量標準的不斷細化和精確,大數據系統的數據質量也會不斷提高。



分享到:


相關文章: