ELK删除使用未来日期创建的索引


凯撒
2024-12-30 06:39:37 (2月前)
  1. 我有一个问题,外部数据(我无法控制!)被导入我们的


麋鹿
</跨度>
环境。数据有时包含未来的时间戳,即明天的一个或更远的时间戳

2 条回复
  1. 0# ࿏自ོ༾由ོ༽人͙⃡⌇ | 2019-08-31 10-32



    这是一个使用a的例子

    ruby

    过滤。
    出于说明目的,我发送给stdin的消息仅由具有格式的日期组成

    dd/MM/yyyy




    1. input {
      stdin {}
      }
      filter {
      date {
      match => [“message”, dd/MM/yyyy”]
      }
      ruby {
      code =>
      if event[‘@timestamp’] > Time.now
      event.cancel
      end

      }
      }
      output {
      stdout {
      codec => rubydebug
      }
      }

    2. </code>


    因此,如果您使用上面的配置启动logstash,您将获得以下输出:




    1. 10/08/2016 <—- today is accepted
      {
      message => 10/08/2016”,
      @version => 1”,
      @timestamp => 2016-08-09T22:00:00.000Z”,
      host => iMac-de-Consulthys.local
      }
      11/08/2016 <—- tomorrow is dropped
      10/09/2016 <—- a date in a month from now is dropped
      09/07/2016 <—- a date a month ago is accepted
      {
      message => 09/07/2016”,
      @version => 1”,
      @timestamp => 2016-07-08T22:00:00.000Z”,
      host => iMac-de-Consulthys.local
      }

    2. </code>

登录 后才能参与评论