kafka集群同步(MirrorMaker).txt
立即下载
نسر الصحراء
2024-05-14
kafka
zookeeper
配置
数据
同步
Mirror
ClusterProducer.config
添加
查看
Consumer.config
1.4 KB
同步之前确保kafka版本一直(不同版本之间的kafka,数据同步可能会出现问题)1.启动zookeeper(目标zookepper) nohup bin/zookeeper-server-start.sh config/zookeeper.properties >zk.log & (日志归类报错，方便以后出错，查看日志信息) 备注:zookeeper.properties默认的配置(这里使用的是kafka自带的zookeeper)2.修改kafka的配置(也可以在server.properties配置文件中指定zookeeper集群的IP:port) 添加： advertised.host.name=外网IP advertised.port=外部端口 启动kafka集群： nohup bin/kafka-server-start.sh config/server.properties >kafka.log&3.查看zookeeper和kafka进程 netstat -tupln | grep 2181 (zookeeper) netstat -tupln | grep 9092 (kafka)4.启动MirrorMarker nohup bin/kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config /opt/kafka_2.10-0.9.0.0/config/sourceClusterConsumer.config --num.streams 2 --producer.config /opt/kafka_2.10-0.9.0.0/config/targetClusterProducer.config --whitelist=".*" > MirrorMaker.log & 其中:sourceClusterConsumer.config和targetClusterProducer.config是配置文件，需要手动添加(confluence有说明)5.验证数据是否同步成功(如果是实时的数据可直接看到topic,如果是历史数据需要刷新一次) bin/kafka-topics.sh --list --zookeeper localhost:2181(查看topic的
kafka/zookeeper/配置/数据/同步/Mirror/ClusterProducer.config/添加/查看/Consumer.config/
kafka/zookeeper/配置/数据/同步/Mirror/ClusterProducer.config/添加/查看/Consumer.config/
-->