Kafka hdfs connect中+ tmp的目的

作者: 一生浮华
发布时间: 2024-01-21 04:08:33 (3月前)
转自：

2 条回复

0#
回复此人
不浪漫 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 当Kafka消费者写入HDFS时，它首先写入WAL。 <code> +tmp </code> dir包含所有临时文件，这些文件一起压缩成更大的HDFS文件。然后将其移动到实际定义的位置。 </p> <P> 事实上，您可以参考实际的实现来深入理解。 </p> <P> <a href =“https://github.com/confluentinc/kafka-connect-hdfs/blob/121a69133bc2c136b6aa9d08b23a0799a4cd8799/src/main/java/io/confluent/connect/hdfs/TopicPartitionWriter.java#L611"rel =”nofollow noreferrer “> https://github.com/confluentinc/kafka-connect-hdfs/blob/121a69133bc2c136b6aa9d08b23a0799a4cd8799/src/main/java/io/confluent/connect/hdfs/TopicPartitionWriter.java#L611 </A> </p> </DIV>

编辑

登录后才能参与评论