PROSAGA码农传奇-Kafka-卡夫卡简单的消费者间歇性地丢失了消息

卡夫卡简单的消费者间歇性地丢失了消息

作者: 土豆
发布时间: 2024-12-19 07:24:52 (6天前)
转自：

<div class =“post-text”itemprop =“text”>
  <P>
     <code>
      kafka-simple-consumer.sh
    </code>
     只需创建一个从一个分区读取消息的使用者。所以你的命令只是读取一条消息
     <code>
      partition 0 of myTopic
    </code>
     从
     <code>
      brokerhost:9092
    </code>
    。如果分区1不在同一代理中，则它将不像您所做的那样工作。 （有关更多信息，请检查
    <a href="https://github.com/apache/kafka/blob/0.8.2/core/src/main/scala/kafka/tools/SimpleConsumerShell.scala" rel="nofollow">
      来自GitHub的代码
    </A>
    ）
  </p>
  <P>
    如果您可以访问Zookeeper主机，则只需检查分区在群集中的分布方式
  </p>
   <pre>
    <code>
      bin/kafka-topics.sh --describe --zookeeper zookeeperhost:2181 --topic myTopic

</code>
  </pre>
  <P>
    但如果您无法访问Zookeeper主机，我可以通过两种方式来考虑。
  </p>
  <OL>
    <LI>
      提供一个包含所有代理作为参数的列表，并尝试从0到N的分区号。您可以提供多个代理
       <code>
        --broker-list
      </code>
       格式为
       <code>
        broker1:port2,broker2:port2,broker3:port3
      </code>
      。然后，您可以确定整个群集中存在多少个分区，但您仍然不知道哪个代理具有哪些分区。
    </LI>
    <LI>
      手动检查每个代理的日志目录。校验
       <code>
        /tmp/kafka-logs
      </code>
       （如果您使用的是默认日志目录）。你会找到像这样的目录
       <code>
        myTopic-0
      </code>
      ，
       <code>
        myTopic-1
      </code>
      ，...格式为
       <code>
        topic-partition#
      </code>
      。您可以使用此方法检查哪个代理手动具有哪些分区。
    </LI>
  </醇>
</DIV>