Kafka Connect自定义timestamp.extractor

作者: 圈圈红
发布时间: 2024-01-26 11:20:55 (2月前)
转自：

2 条回复

0#
回复此人
撩心 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 要使自定义时间戳提取器类可用于S3连接器，您将需要以下内容： </p> <UL> <LI> <P> 添加带有自定义类的jar以及其他连接器的依赖项。例： </p> <P> 保存下 <code> ./share/java/kafka-connect-s3 </code> 如果你想要这个仅适用于S3连接器或中 <code> ./share/java/kafka-connect-storage-common </code> 让它可用所有存储接收器连接器（当前为S3和HDFS连接器）。 </p> </LI> <LI> 确保您的自定义类实现了 <code> io.confluent.connect.storage.partitioner.TimestampExtractor </code> 接口。 </LI> <LI> <P> 设置时使用完全限定的类名 <code> timestamp.extractor </code> 连接器配置中的属性，当然要确保它与您在jar中定义和打包的包匹配。例如： </p> <P> <code> timestamp.extractor=me.connectors.MyTimestampExtractor </code> </p> </LI> </UL> <P> 最后，您将遵循类似的过程，使连接器可以使用自定义分区程序。 </p> </DIV>

编辑

登录后才能参与评论