教育行业A股IPO第一股(股票代码 003032)

全国咨询/投诉热线:400-618-4000

Kafka生产、消费数据的工作流程

更新时间:2021年10月19日13时44分 来源:传智教育 浏览次数:


生产者先从 zookeeper 的 "/brokers/topics/主题名/partitions/分区名/state"节点找到该 partition 的leader.

1634611987174_生产者写入数据流程.png

l  生产者在ZK中找到该ID找到对应的broker

Kafka数据写入流程、Kafka数据消费流程

l  broker进程上的leader将消息写入到本地log中

l  follower从leader上拉取消息,写入到本地log,并向leader发送ACK

l  leader接收到所有的ISR中的Replica的ACK后,并向生产者返回ACK。

Kafka数据写入流程、Kafka数据消费流程

Kafka数据消费流程

有2种消费模式:

1634612029573_消费者的2种消费模式.png

l kafka采用拉取模型,由消费者自己记录消费状态,每个消费者互相独立地顺序拉取每个分区的消息

l 消费者可以按照任意的顺序消费消息。比如,消费者可以重置到旧的偏移量,重新处理之前已经消费过的消息;或者直接跳到最近的位置,从当前的时刻开始消费。

Kafka消费数据流程

1634612038132_kafka消费者拉取数据流程.png

l 每个consumer都可以根据分配策略(默认RangeAssignor),获得要消费的分区

l  获取到consumer对应的offset(默认从ZK中获取上一次消费的offset)

l  找到该分区的leader,拉取数据

l  消费者提交offset

猜你喜欢:

为什么选择kafka采集数据?

什么是Kafka?Kafka诞生的背景是什么?

什么是Apache Kafka?

kafka自定义拦截器实例教程[传智教育]

传智教育Python+大数据开发培训

0 分享到:
和我们在线交谈!