Kakfa MirrorMaker 是Kafka 官方提供的跨資料中心的流資料同步方案。其實現原理，其實就是通過從Source Cluster消費訊息然後將訊息生產到Target Cluster，即普通的訊息生產和消費。使用者只要通過簡單的consumer配置和producer配置，然後啟動Mirror，就可以實現準實時的資料同步

背景

Kakfa MirrorMaker是Kafka 官方提供的跨資料中心的流資料同步方案。其實現原理，其實就是通過從Source Cluster消費訊息然後將訊息生產到Target Cluster，即普通的訊息生產和消費。使用者只要通過簡單的consumer配置和producer配置，然後啟動Mirror，就可以實現準實時的資料同步

概述

MirrorMaker工具將源Kafka叢集映象到目標(映象)Kafka叢集。該工具使用Kafka使用者使用來自源叢集的訊息，並使用嵌入式Kafka生成器將這些訊息重新發布到本地(目標)叢集。

如何設定一個映象

bin/kafka-mirror-maker.sh --consumer.config sourceCluster1Consumer.config --consumer.config sourceCluster2Consumer.config --num.streams 2 --producer.config targetClusterProducer.config --whitelist=".*"
 

參考

https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=27846330