我不能说我在这个问题上有很多经验,但这就是我的想法。
我想如果 Logstash 将作为服务运行,它将更多地依赖于API的输出来处理重复项。
Logstash
同时,如果在响应中定义唯一标识符,则可以告诉Logstash避免重复。
从 在elasticsearch中更改ID
elasticsearch { host => yourEsHost cluster => "yourCluster" index => "logstash-%{+YYYY.MM.dd}" document_id => "%{someFieldOfMyEvent}" }