我尝试使用Flume 1.7将数据加载到HDFS中。我创建了以下配置:
#以:/ opt / flume / bin / flume-ng agent -n Agent -c conf -f /opt/flume/conf/test.conf开头#命名…
我自己找到了解决方案。据我了解,我对两个接收器使用了相同的通道。因此,更快的接收器接管所有条目,并且只有一些条目被传递到hdfs接收器。
使用不同的通道并包括使用参数扇形化源
Agent.sources.Netcat.selector.type = replicating
Flume按预期写入本地文件和hdfs。