kafka消费
阅读原文时间:2023年07月08日阅读:1

消费模型

kafka模型使用了 发布/订阅、点对点模型。

消息发布

在producer端,通过分片策略,找到对应topic下面的Partition leader,把消息发送到当前Partition

消息订阅

新建一个消费组,消费组消费topic下的消息

点对点模式

一个消费组内只有一个消费者消费Partition的消息

数据分片

一个topic下面可以设置Partition数量,表示把数据分片存储,分担单节点压力,提升kafka集群的扩展性。每个Partition可以设置备份,多个Partition备份之间选举

出Partition leader,producer发送消息时,都与当前Partition leader所在的broker进行交互。