ELK优化之Filebeat部署

1.安装配置Nginx

2.安装 Filebeat

3.设置 filebeat 的主配置文件

4.修改Logstash配置

5.启动配置

6.kibana验证

主机名	ip地址	主要软件
es01	192.168.9.114	ElasticSearch
es02	192.168.9.115	ElasticSearch
es03	192.168.9.116	ElasticSearch、Kibana
nginx01	192.168.9.113	nginx、Logstash
NA	192.168.9.111	nginx、Filebeat

初始化操作，所有服务器操作
systemctl disable --now firewalld
setenforce 0
vim /etc/selinux/config
SELINUX=disabled

1.安装配置Nginx

cd /etc/yum.repos.d/
上传nginx.repo文件
yum install -y nginx
systemctl enable --now nginx
cd /usr/share/nginx/html
  #准备测试页面
echo '<h1>this is web page</h1>' > test.html
echo '<h1>this is web2 page</h1>' > test1.html

2.安装 Filebeat

上传软件包 filebeat-6.7.2-linux-x86_64.tar.gz 到/opt目录
tar xf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64 /usr/local/filebeat

3.设置 filebeat 的主配置文件

cd /usr/local/filebeat
cp filebeat.yml filebeat.yml.bak
vim filebeat.yml
filebeat.inputs:
- type: log         #指定 log 类型，从日志文件中读取消息
  enabled: true     #24行
  paths:
    - /var/log/nginx/access.log       #28行指定监控的日志文件
    - /var/log/nginx/error.log
  tags: ["filebeat"]		#设置索引标签
  fields:           #46行可以使用 fields 配置选项设置一些参数字段添加到 output 中
    service_name: nginx
    log_from: 192.168.9.111

--------------output-------------------
(全部注释掉)

----------------Logstash output---------------------
output.logstash:    #162行
  hosts: ["192.168.9.113:5044"]      #164行指定 logstash 的 IP 和端口

4.修改Logstash配置

cd /etc/logstash/conf.d
vim filebeat.conf
input {
    beats {
        port => "5044"
    }
}

#filter {}

output {
     elasticsearch {
                  hosts => ["192.168.9.114:9200", "192.168.9.115:9200", "192.168.9.116:9200"]
                  index => "nginx-%{+yyyy.MM.dd}"
     }

}


logstash -t -f filebeat.conf  #检查文件