Flume TAILDIR来源于Kafka Sink-静态拦截器问题

作者: 易米烊光
发布时间: 2025-02-06 02:05:03 (25天前)
转自：

2 条回复

0#
回复此人
Hey ou | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 所以问题来自Kafka Consumer。它从水槽收到完整的消息 </p> <pre> <code> Interceptor + some garbage characters + message </code> </pre> <P> 如果其中一个垃圾字符是\ n（Linux系统中的LF），那么它将假设其2条消息，而不是1条消息。 </p> <P> 我在Streamsets中使用Kafka Consumer元素，因此更改消息分隔符很简单。我做到了\ r \ n，现在它工作正常。 </p> <P> 如果您将完整的消息作为字符串处理并想要在其上应用正则表达式或想要将其写入文件，那么最好用空字符串替换\ r和\ n。 </p> <P> 的<strong> 可以在此处找到答案的完整演练： </强> </p> <P> <a href =“https://community.cloudera.com/t5/Data-Ingestion-Integration/Flume-TAILDIR-Source-to-Kafka-Sink-Static-Interceptor-Issue/mp/86388#M3508"rel =” nofollow noreferrer“> https://community.cloudera.com/t5/Data-Ingestion-Integration/Flume-TAILDIR-Source-to-Kafka-Sink-Static-Interceptor-Issue/m-p/86388#M3508 </A> </p> </DIV>

编辑

登录后才能参与评论