flume总体集群建设方案
立即下载
不见你
2024-12-09
数据
Flume
agent
collector
storage
日志
保证
效率
接受
系统
588.2 KB
Flume 集群
Flume 介绍
Flume 是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统，支持在系统中
定制各类数据发送方，用于收集数据；同时， Flume 提供对数据进行简单处理，并写到各种数据
接受方（可定制）的能力。
Flume 的逻辑架构：
Flume 逻辑上分三层架构： agent ，collector ，storage
agent
用于采集数据， agent 是 flume 中产生数据流的地方，同时， agent 会将产生的数据流传输到
collector 。
collector
collector 的作用是将多个 agent 的数据汇总后，加载到 storage 中。
storage
storage 是存储系统，可以是一个普通 file ，也可以是 HDFS，HIVE，HBase等。
Master
Master 是管理协调 agent 和 collector 的配置等信息，是 flume 集群的控制器。
在 Flume 中，最重要的抽象是 data flow （数据流），data flow 描述了数据从产生，传输、
处理并最终写入目标的一条路径。
对于 agent 数据流配置就是从哪得到数据，把数据发送到哪个 collector 。
对于 collector 是接收 agent 发过来的数据，把数据发送到指定的目标机器上。
Flume 的特性
? Reliability ：Flume 提供 3 中数据可靠性选项，包括 End-to-end 、Store on failure
和 Best effort 。其中 End-to-end 使用了磁盘日志和接受端 Ack 的方式，保证 Flume 接
受到的数据会最终到达目的，但是效率是最差的。 Store on failure 在目的不可用的时
候，数据会保持在本地硬盘，效率会比 end-to-end 高，但是会出现日志丢失的情况。
Best effort 不做任何 QoS保证，效率最高，日志记录没有保证。
? Scalability ：Flume 的 3大组件： collector 、master 和 storage tier 都是可伸缩的。
需要注意的是， Flume 中对事件的处理不需要带状态，它的 Scalabil
数据/Flume/agent/collector/storage/日志/保证/效率/接受/系统/
数据/Flume/agent/collector/storage/日志/保证/效率/接受/系统/
-->