让我们按顺序:)
1 - 当生产者正在生成消息时 - 它将指定要将消息发送到的主题,是吗?它关心分区吗?
默认情况下,生产者不关心分区。您可以选择使用自定义分区程序来获得更好的控制,但它完全是可选的。
2 - 当订户正在运行时 - 它是否指定了其组ID,以便它可以是同一主题的消费者群集的一部分,或者是该群体消费者感兴趣的几个主题?
是的,消费者加入(或创建,如果他们独自一人)一个消费者群体来共享负载。同一组中没有两个消费者会收到相同的消息。
3 - 每个消费者组在代理上是否有相应的分区,或者每个消费者都有一个分区?
都不是。在两个条件下,消费者组中的所有消费者都被分配了一组分区:同一组中没有两个消费者具有共同的任何分区 - 并且为每个现有分区分配整个消费者组。
4 - 代理是否创建了分区,因此不关心消费者?
它们不是,但你可以从3看到,拥有比现有分区更多的消费者是完全没用的,所以它是你消费的最大并行度水平。
5 - 由于这是一个每个分区都有一个偏移量的队列,因此消费者有责任指定它想要读取的消息吗?是否需要保存其状态?
是的,消费者为每个分区保留每个主题的偏移量。这完全由卡夫卡处理,不用担心。
6 - 从队列中删除邮件时会发生什么? - 例如:保留时间为3小时,然后时间过去了,两侧的偏移量如何处理?
如果消费者曾经请求代理上的分区不可用的偏移量(例如,由于删除),则它进入错误模式,并最终将此分区的自身重置为可用的最新消息或最旧消息(取决于auto.offset.reset配置值),并继续工作。