Flume代理必须从源中提取数据,发布到通道,然后写入接收器。
您可以在本地或远程配置中安装Flume代理。但是,请记住,如果您担心这一点,将其设置为远程会为您的事件处理增加一些网络延迟。您还可以“复用”Flume代理以拥有一个远程聚合代理,然后在每个Web服务器上使用各个本地代理。
假设使用Spooldir或exec源在本地安装了水槽代理,它基本上就是这样 tail 任何文件或在本地运行该命令。这是从日志中获取数据的方式。
tail
如果将Flume代理设置为Syslog或TCP源(请参阅网络源上的数据提取部分),则它可以位于远程计算机上,您必须在日志记录应用程序中建立网络套接字以将消息发布到其他服务器。这与Apache Kafka类似。