1、ELK可以帮助我们解决哪些问题
日志分布在多台不同的服务器上,业务一旦出现故障,需要一台台查看日志
单个日志文件巨大,无法使用常用的文本工具分析,检索困难;
2、架构设计分析
Filebeat和Logstash
ELK架构中使用Logstash收集、解析日志,但是Logstash对内存、cpu、io等资源消耗比较高。相比 Logstash,
Beats所占系统的CPU和内存几乎可以忽略不计
架构图解读
第一层、数据采集层
最左边的是业务服务器集群,上面安装了filebeat做日志采集,同时把采集的日志分别发送给两个logstash服务。
第二层、数据处理层,数据转发层
logstash服务把接受到的日志经过格式处理,转存到ES DataNode。
第三层、数据持久化存储
ES DataNode 会把收到的数据,写磁盘,建索引库。
第四层、数据检索,数据展示
ES Master + Kibana 主要协调ES集群,处理数据检索请求,数据展示。
3、elk实操
IP 角色 所属集群
192.168.232.100 业务服务器+filebeat 业务服务器集群
192.168.232.104 Logstash 数据转发
192.168.232.104 ES DataNode1 Elasticsea