5-filebeat+kafka+ELK部署.docx

立即下载 作者: 大黑骡子王
上传时间: 2025-05-12
关键词: 部署 logstash 安装 kafka elasticsearch elk-01 操作 02 日志 03
大小 1 MB
描述
ELK 包含logstash, elasticsearch,kibana
架构说明
filebeat作为日志收集器，将日志信息发送到kafka。
logstash从kafka中消费日志信息，并可进行更复杂的日志操作，进而将日志存储到elasticsearch
kibana从elasticsearch中获取信息进行web端页面展示。
app-server(filebeat) -> kafka -> logstash -> elasticsearch -> kibana
由于节点有限，本文档只有4个服务器可用，其部署关系如下
主机名 ip 部署应用
nginxphp-01 172.16.100.41 filebeat
elk-01 172.16.100.254 logstash,elasticsearch,kibana,kafka,zookeeper
elk-02 172.16.100.253 logstash,elasticsearch, kafka,zookeeper
elk-03 172.16.100.252 logstash,elasticsearch, kafka,zookeeper
kafka,zookeeper,logstash由于没有更多的节点，只好和elasticsearch部署在一起了。
提示：
1，注意集群各节点之间的时间同步
2，能不采用yum安装或者rpm包安装的情况下，我尽量不采用
3，关闭iptable和selinux
4，公司要求尽可能每个服务使用单独的用户启动，并且部署在/app目录
目录
一，安装部署zookeeper （elk-01,02,03的操作相同） 2
二，安装部署kafka （elk-01,02,03的操作基本相同） 3
三，在elk-01上安装kafka-manager（kafka-web管理界面） 7
四，在nginxphp-01上安装部署filebeat 10
五，安装部署logstash （elk-01,02,03操作基本相同） 13
六，安装部署elasticsearch集群（elk-01,02,03操作基本相同） 15
七，在elk01上部署kibana 17
八，filebeat日志采集的补充 22
一，安装部署zookeeper （elk-01,02,03的操作相同）

目录
部署/logstash/安装/kafka/elasticsearch/elk-01/操作/02/日志/03/ 部署/logstash/安装/kafka/elasticsearch/elk-01/操作/02/日志/03/