Debezium構建在Kafka之上的CDC事件流解決方案

Debezium是一個為了捕獲數據變更(CDC)的開源的分佈式平臺。Debezium記錄的是數據庫錶行級別的變更事件,包括insert/update/delete等等操作。同時debezium是構建在kafka之上的,與kafka深度耦合,所以提供了Debezium Connector。支持的數據庫有MySQL、MongoDB、PostgreSQL、Oracle、SQL server。當前穩定版本是1.0。

Debezium構建在Kafka之上的CDC事件流解決方案

Debezium構建在Kafka之上的CDC事件流解決方案

最常見的情況是,Debezium是通過Kafka connect部署的。Kafka Connect是一個用於實現和操作的框架和運行時。

  • Source connectors,如Debezium,從數據源中提取數據,併發送到Kafka;
  • Sink connectors,從Kafka topic中獲取數據,並傳遞到其他系統;

下圖顯示了一個基於Debezium的CDC管道的架構:

Debezium構建在Kafka之上的CDC事件流解決方案



分享到:


相關文章: