Hadoop 數據管理平臺 Apache Falcon

Apache Falcon 提供了一個用於治理和編排 Hadoop 內部和周邊數據流的數據處理框架。該框架為獲取和處理數據集、複製與保留數據集、重新定向位於非Hadoop擴展中的數據集、維護審核跟蹤與沿襲提供了關鍵性的管控框架。Knox拓展了Hadoop的安全邊界,實現了與LDAP、用於證書管理的活動目錄等框架進行了充分整合,為跨Hadoop和所有相關項目的授權提供了一個通用服務。

整體架構:

Hadoop 數據管理平臺 Apache Falcon

Feed Schedule flow

Hadoop 數據管理平臺 Apache Falcon

Process Schedule flow

Hadoop 數據管理平臺 Apache Falcon


分享到:


相關文章: