具有多个kafka输入的Logstash


甲基蓝
2025-03-18 02:35:40 (21天前)
  1. 我想过滤


卡夫卡
</跨度>
来自多个主题的事件,但是一旦过滤了来自一个主题的所有事件,logstash就无法从另一个主题获取事件

卡夫卡
</跨度>
话题。我正在使用3 …分区和2次重复的主题这是我的logstash配置文件

输入{


卡夫卡
</跨度>
{
auto_offset_reset =&gt; “最小”
consumer_id =&gt; “logstashConsumer1 ……

2 条回复
  1. 0# 不浪漫 | 2019-08-31 10-32



    这是一个非常晚的回复,但如果你想输入多个主题和输出到另一个kafka多输出,你可以做这样的事情:




    1. input {
      enter code herekafka {
      topics => [“topic1”, topic2”]
      codec => json
      bootstrap_servers => kafka-broker-1:9092,kafka-broker-2:9092,kafka-broker-3:9092
      decorate_events => true
      group_id => logstash-multi-topic-consumers
      consumer_threads => 5
      }
      }

    2. output {
      if [kafka][topic] == topic1 {
      kafka {
      codec => json
      topic_id => new_topic1
      bootstrap_servers => output-kafka-1:9092
      }
      }
      else if [kafka][topic] == topic2 {
      kafka {
      codec => json
      topic_id => new_topic2
      bootstrap_servers => output-kafka-1:9092
      }
      }
      }

    3. </code>


    详细说明引导服务器时要小心,给出kafka广告听众的名称。



    REF-1:

    https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html#plugins-inputs-kafka-group_id



    REF-2:

    https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html#plugins-inputs-kafka-decorate_events


登录 后才能参与评论