kafka学习(七)
阅读原文时间:2023年07月12日阅读:3

跨集群镜像的使用场景

1.区域集群和中心集群

2.冗余,发生紧急情况下使用第二个集群,保存相同的数据。

3.云迁移

多集群架构

跨集群中心通信的一些现实情况

1.高延迟

2.有限的宽带

3.高成本

hub和spoke架构

这种架构适用于一个中心kafka集群对应多个本地kafka集群的情况。

双活架构,集群交互过多

主备架构 常见的故障转移

延展集群

kafka集群消息复制工具mirrorMaker

kafka提供了一个简单的工具,用于在两个数据中心之间镜像数据。 mirrorMaker为每个消费者分配一个线程,消费者从源集群的主题和分区上读取数据,然后通过公共生产者将数据发送到目标集群上。

如何配置

mirrorMaker是高度可配置的。

consumer.config 该参数用于指定消费者的配置文件。

producer.config 该参数用于指定生产者的配置文件

new.consumer

num.starams 一个流就是一个消费者。

whitelist 这是一个正则表达式,代表了需要进行镜像的主题名字。

mirrorMaker 调优这个去看kafka官方对几个配置设置

但是mirrorMaker 是kafka提供的 但是并不能满足一些要求。

这里还有其他解决方案,如优步uRelicator ,confluent的Replicator