Debezium是一個為了捕獲數據變更(CDC)的開源的分佈式平臺。Debezium記錄的是數據庫錶行級別的變更事件,包括insert/update/delete等等操作。同時debezium是構建在kafka之上的,與kafka深度耦合,所以提供了Debezium Connector。支持的數據庫有MySQL、MongoDB、PostgreSQL、Oracle、SQL server。當前穩定版本是1.0。
最常見的情況是,Debezium是通過Kafka connect部署的。Kafka Connect是一個用於實現和操作的框架和運行時。
- Source connectors,如Debezium,從數據源中提取數據,併發送到Kafka;
- Sink connectors,從Kafka topic中獲取數據,並傳遞到其他系統;
下圖顯示了一個基於Debezium的CDC管道的架構:
閱讀更多 軟件架構 的文章