我使用Flume Source TAILDIR在Flume上将数据从本地目录附加到HDFS。
我的用例是做Delta Load如果新行出现在本地目录的源文件中,那么……
问题陈述中提到的Flume.conf存在问题。
的 TAILDIR SOURCE 强> :观察指定的文件,并在检测到新行附加到每个文件后几乎实时拖尾。如果正在写入新行,则此源将重试读取它们以等待写入完成。
虽然在这种情况下编写filegroups属性目录可能包含多个文件,但应该提到它们 的 目录路径/。 filestype。 强>
agent.sources.r1.filegroups.f1=/home/flume/Documents/spooldir/.*txt.*
然后运行flume.conf并检查结果它将正常工作。
这里 是代码。它在110号线坠毁。请确保 的 水槽 强> 用户可以访问该JSON文件,并且文件格式正确。