在Kafka / RabbitMQ中的每个消息确认

作者: 陆离
发布时间: 2024-12-29 06:53:21 (1月前)
转自：

5 条回复

0#
回复此人
猫南北 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 我也遇到了同样的问题。如果我想以简单的方式放置，RabbitMQ会保留每个 </p> <OL> <LI> 已发布但未消费 </LI> <LI> 已发布，已消费且未确认的消息。 </LI> </醇> <P> 卡夫卡没有，所以你不能把它做好，你必须自己实施。 </p> <P> 虽然有可用的选项，使用kmq，性能将低于50％，看看 </p> <P> <a href="https://softwaremill.com/kafka-with-selective-acknowledgments-performance/" rel="nofollow noreferrer"> https://softwaremill.com/kafka-with-selective-acknowledgments-performance/ </A> </p> </DIV>

编辑
1#
回复此人
一号位 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 除非您轮询新邮件，否则不会增加您的邮件偏移量。所以你必须担心重新处理你的消息。 </p> <P> 如果要将数据处理结果存储到Kafka群集，可以使用 <a href="https://www.confluent.io/blog/transactions-apache-kafka/" rel="nofollow noreferrer"> 卡夫卡的交易特征 </A> 。这样您就可以支持一次交付。您的所有更改都将被保存，或者不会存储任何更改。 </p> <P> 另一种方法是使您的处理方案具有幂等性。您将为Kafka中的每封邮件分配唯一的ID。处理消息时，将ID存储在数据库中。崩溃后，通过查看数据库检查您的消息ID是否已处理。 </p> </DIV>

编辑
2#
回复此人
威斯特 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 您应该阅读一下卡夫卡的消息消费方式。这是官方Kafka文档的消费者部分的链接： <a href="https://kafka.apache.org/documentation/#theconsumer" rel="nofollow noreferrer"> https://kafka.apache.org/documentation/#theconsumer </A> </p> <P> 基本上，在Kafka中，只有在经过足够的时间后才会删除消息，并且使用 <code> log.retention.hours </code> ， <code> log.retention.minutes </code> 和 <code> log.retention.ms </code> 就像@Amin说的那样。 </p> <P> 在Kafka中，任何数量的消费者都可以随时开始使用来自任何主题的消息，无论其他消费者是否已经从同一主题消费。 Kafka使用存储在Kafka本身的偏移来跟踪每个主题/分区上每个消费者的位置。因此，如果您的消费者需要消费消息100，就像您在问题中描述的那样，您可以简单地“回放”到所需的消息，并再次开始正常消费。如果您以前使用它，或者其他消费者是否正在阅读该主题，则无关紧要。 </p> <P> 来自官方Kafka文档： </p> <BLOCKQUOTE> <P> 消费者可以故意回退到旧的偏移量重新消费数据。这违反了队列的通用合同，但是对许多消费者来说，这是一个必不可少的功能。例如，如果消费者代码有错误并在某些消息后被发现如果被消费，消费者可以在错误消失后重新使用这些消息是固定的。 </p> </BLOCKQUOTE> </DIV>

编辑
3#
回复此人
纾潆锦袖迷子 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> Kafka不会删除主题中的消息，除非它到达其中一个 <code> log.retention.bytes </code> <code> log.retention.hours </code> <code> log.retention.minutes </code> <code> log.retention.ms </code> CONFIGS。因此，如果偏移量增加，则不会丢失先前的消息，您只需将偏移量更改为所需的位置即可。 </p> </DIV>

编辑

登录后才能参与评论