前言
目前，efk 全家桶已经更新到版本8 了，本章节我们使用8版本的elk搭建日志收集系统，了解它的配置运行过程，方便以后在更复杂的环境中更好的使用。
版本默认就是8+最新的，也可以自己指定其他8的版本
- elasticsearch: 8.14.1
- filebeat: 8.14.1
- kibana: 8.14.1
- docker： docker-ce-26.1.4
操作系统说明
用的centos7.7 版本，内核版本3.10+
[root@kube-master ~]# uname -a
Linux kube-master 3.10.0-1062.18.1.el7.x86_64 #1 SMP Tue Mar 17 23:49:17 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux
[root@kube-master ~]# cat /etc/redhat-release
CentOS Linux release 7.7.1908 (Core)
安装过程
服务器主机需要能访问互联网，方便起见本文所有安装包均采用 yum 安装。
安装顺序如下：
1、系统初始化
2、 docker-ce
3、elasticsearch
4、 kibana
5 、filebeat
在阅读本文前，最好对dockerd日志管理有一定的了解。具体可以参考https://blog.csdn.net/margu_168/article/details/131075337
系统初始化
系统初始化分为以下几步：
1、修改主机名
2、关闭selinux 和 firewalld
3、配置国内yum源
4、校对时间
修改主机名
host名字没啥影响，大家可以随意改，我这复用了我之前的环境。
[root@kube-master ~]# hostnamectl set-hostname kube-master
[root@kube-master ~]# hostname kube-master
[root@kube-master ~]# echo "192.168.10.128 kube-master" >> /etc/hosts
#断开会话重新连接
[root@kube-master ~]# hostname
kube-master
关闭selinux 和 firewalld
关闭 selinux
[root@kube-master ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@kube-master ~]# systemctl disable firewalld
[root@kube-master ~]# setenforce 0
配置国内yum源
[root@kube-master ~]# cd /etc/yum.repos.d/
#centos-7源
[root@kube-master yum.repos.d]# curl http://mirrors.aliyun.com/repo/Centos-7.repo -o Centos-7.repo
#docker-ce源
[root@kube-master yum.repos.d]# curl http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -o docker-ce.repo
#epel-7源
[root@kube-master yum.repos.d]# curl http://mirrors.aliyun.com/repo/epel-7.repo -o epel-7.repo
#efk源
[root@kube-master yum.repos.d]# cat << EOF > elasticstack.repo
[elasticstack]
name = elasticstack
gpgcheck = 0
baseurl = https://mirrors.tuna.tsinghua.edu.cn/elasticstack/yum/elastic-7.x/
EOF
校对时间
[root@kube-master ~]# yum install -y ntpdate
#任君选
[root@kube-master ~]# ntpdate tiger.sina.com.cn
28 Jun 11:47:21 ntpdate[6027]: step time server 202.108.0.246 offset -4.277028 sec
[root@kube-master ~]# ntpdate ntp1.aliyun.com
28 Jun 11:48:20 ntpdate[6186]: adjust time server 120.25.115.20 offset -0.009092 se
Docker-ce
安装docker-ce
[root@kube-master ~]# yum install -y docker-ce
添加docker-ce 配置
[root@kube-master ~]# mkdir /etc/docker/
[root@kube-master ~]# cat << 'EOF' > /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"],
"registry-mirrors": [
"https://5sssm2l6.mirror.aliyuncs.com",
"http://hub-mirror.c.163.com/",
"https://docker.mirrors.ustc.edu.cn/",
"https://registry.docker-cn.com"
],
"data-root": "/data/docker",
"storage-driver": "overlay2",
"log-driver": "json-file",
"log-opts": {
"max-size": "100m",
"max-file": "3"
}
}
修改系统参数并启动 docker
# 注意该下面参数是之前安装k8s的时候设置，应该也是可以使用的
[root@kube-master ~]# cat /etc/sysctl.d/k8s.conf
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1
net.ipv4.neigh.default.gc_stale_time = 120
net.ipv4.conf.all.rp_filter = 0
net.ipv4.conf.default.rp_filter = 0
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
net.ipv4.ip_forward = 1
net.ipv4.tcp_max_tw_buckets = 5000
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 1024
net.ipv4.tcp_synack_retries = 2
# 要求iptables不对bridge的数据进行处理
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-arptables = 1
net.netfilter.nf_conntrack_max = 2310720
fs.inotify.max_user_watches=89100
fs.may_detach_mounts = 1
fs.file-max = 52706963
fs.nr_open = 52706963
vm.overcommit_memory=1
vm.panic_on_oom=0
vm.swappiness = 0
# https://github.com/moby/moby/issues/31208
# ipvsadm -l --timout
# 修复ipvs模式下长连接timeout问题 小于900即可
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 10
#下面命令可以查看当前系统设置的参数
[root@kube-master ~]# sysctl --system
#启动docker
[root@kube-master ~]# systemctl enable docker; systemctl start docker
#查看docker信息
[root@kube-master ~]# docker info
Elasticsearch
Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。安装过程如下：
安装elasticsearch
[root@kube-master ~]# yum install -y elasticsearch
#在安装过程中会有以下的输出内容
--------------------------- Security autoconfiguration information ------------------------------
Authentication and authorization are enabled.
TLS for the transport and HTTP layers is enabled and configured.
The generated password for the elastic built-in superuser is : _EEznFSkBmHWaNAEwC=4
If this node should join an existing cluster, you can reconfigure this with
'/usr/share/elasticsearch/bin/elasticsearch-reconfigure-node --enrollment-token <token-here>'
after creating an enrollment token on your existing cluster.
You can complete the following actions at any time:
Reset the password of the elastic built-in superuser with
'/usr/share/elasticsearch/bin/elasticsearch-reset-password -u elastic'.
Generate an enrollment token for Kibana instances with
'/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana'.
Generate an enrollment token for Elasticsearch nodes with
'/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s node'.
-------------------------------------------------------------------------------------------------
### NOT starting on installation, please execute the following statements to configure elasticsearch service to start automatically using systemd
sudo systemctl daemon-reload
sudo systemctl enable elasticsearch.service
请仔细查看以上上面的输出内容，注意如果在安装的时候没有上面的输出，应该是服务器之前安装过elasticsearch，需要将之前的目录（/var/lib/elasticsearch）删除干净后再次安装。
注意，这里用户名为：elastic 密码为： _EEznFSkBmHWaNAEwC=4，后面可以自行修改。
修改默认配置文件
[root@kube-master ~]# cd /etc/elasticsearch/
#修改操作前，一定要做好源文件的备份
[root@kube-master ~]# cp -a elasticsearch.yml elasticsearch.yml.init
# 修改后的配置文件
[root@kube-master elasticsearch]# egrep -v "^#|^$" elasticsearch.yml
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 192.168.10.128
xpack.security.enabled: true
xpack.security.enrollment.enabled: true
xpack.security.http.ssl:
enabled: true
keystore.path: certs/http.p12
xpack.security.transport.ssl:
enabled: true
verification_mode: certificate
keystore.path: certs/transport.p12
truststore.path: certs/transport.p12
cluster.initial_master_nodes: ["kube-master"]
http.cors.enabled: true
http.cors.allow-origin: "*"
启动elasticsearch
启动完成后，elasticsearch会监听 9200 和 9300
[root@kube-master ~]# systemctl enable elasticsearch; systemctl start elasticsearch
[root@kube-master elasticsearch]# netstat -ntplu | egrep '9200|9300'
tcp 0 0 0.0.0.0:9200 0.0.0.0:* LISTEN 18194/java
tcp 0 0 192.168.10.128:9300 0.0.0.0:* LISTEN 18194/java
测试， elasticsearch 8 中，无法使用 http 访问， 需要使用https： https://192.168.10.128:9200/
注意过程中需要输入账号密码，就是上面安装时自动生成的elastic账号和密码。 也可以使用下面的命令进行测试
[root@kube-master kibana]# curl --cacert /etc/elasticsearch/certs/http_ca.crt -u elastic:_EEznFSkBmHWaNAEwC=4 -XGET "https://192.168.10.128:9200/"
Kibana
Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。
安装kibana
[root@kube-master ~]# yum install -y kibana
生成kibana需要的相关证书
由于上面的es开启了xpack，所以不能直接以http的方式访问，需要使用到相关的证书。在生成证书的过程中要输入密码，具体密码可以通过/usr/share/elasticsearch/bin/elasticsearch-keystore show xpack.security.http.ssl.keystore.secure_password查看。
[root@kube-master certs]# pwd
/etc/elasticsearch/certs
[root@kube-master certs]# ll /etc/elasticsearch/certs/
total 44
-rw-rw----. 1 root elasticsearch 1915 Jul 2 12:56 http_ca.crt
-rw-rw----. 1 root elasticsearch 10013 Jul 2 12:56 http.p12
-rw-rw----. 1 root elasticsearch 5822 Jul 2 12:56 transport.p12
# Private Key 私钥
[root@kube-master certs]# openssl pkcs12 -in http.p12 -nocerts -nodes > client.key
# Public Certificate 公共证书
[root@kube-master certs]# openssl pkcs12 -in http.p12 -clcerts -nokeys > client.cer
# CA Certificate 签署公共证书的CA
[root@kube-master certs]# openssl pkcs12 -in http.p12 -cacerts -nokeys -chain > client-ca.cer
[root@kube-master certs]# mkdir /etc/kibana/config/
[root@kube-master certs]# cp /etc/elasticsearch/certs/client* /etc/kibana/config/
修改 kibana 配置文件
注意：使用的是kibana账户，密码不知道可以用elasticsearch-reset-password（/usr/share/elasticsearch/bin/elasticsearch-reset-password -u kibana）命令进行重置。
[root@kube-master ~]# cd /etc/kibana/
#修改前，备份源文件
[root@kube-master ~]# cp -a kibana.yml kibana.yml.init
#修改后的配置如下
[root@kube-master certs]# egrep -v "^#|^$" /etc/kibana/kibana.yml
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["https://192.168.10.128:9200"]
elasticsearch.username: "kibana"
elasticsearch.password: "lUES4rBM327_eNH1NO5u"
elasticsearch.ssl.certificate: /etc/kibana/config/client.cer #相关路径最好写绝对路径
elasticsearch.ssl.key: /etc/kibana/config/client.key
elasticsearch.ssl.certificateAuthorities: /etc/kibana/config/client-ca.cer
elasticsearch.ssl.verificationMode: certificate
logging:
appenders:
file:
type: file
fileName: /var/log/kibana/kibana.log
layout:
type: json
root:
appenders:
- default
- file
pid.file: /run/kibana/kibana.pid
i18n.locale: "zh-CN"
启动kibana
[root@kube-master ~]# systemctl daemon-reload
[root@kube-master ~]# systemctl enable kibana ; systemctl start kibana
#kibana监听地址默认为：5601
[root@kube-master ~]# netstat -ntplu | egrep 5601
[root@kube-master ~]# netstat -ntplu | egrep 5601
tcp 0 0 0.0.0.0:5601 0.0.0.0:* LISTEN 19208/node
通过浏览器访问kibana
Filebeat
安装 filebeat
[root@kube-master ~]# yum install -y filebeat
到此，所有安装的软件包都已经安装就位，接下来就是配置的修改及调整。由于filebeat涉及到收集各种不同情况下的日志，所以配置不定。下面以收集 nginx 容器日志为例，进行调试配置。
配置调试过程
配置说明
在编写 filebeat 配置文件之前，先了解下 filebeat 配置文件结构，建议参考官方文档：
https://www.elastic.co/guide/en/beats/filebeat/8.14/directory-layout.html
通过configure目录可以看到配置有很多项，主要要添加的有inputs 和 output 两部分，我们先来看看 inputs，可以看到此版本已经没有docker相关的input了，我们直接查看container input
container input 使用如下：
可以直接使用官方提供的示例。
接下来，查看 output 部分。可以看到output的选择也有多种，elasticsearch、redis、kafka等都是常见的。在这直接选用elasticsearch
目前我们处于配置调试节点，可以将日志收集直接打印在控制台展示，如果数据没问题，再进行配置到 elasticsearch 中，所以这里直接通过 Console输出。
综上，下面我们开始修改配置文件：
调试
注意配置文件的正确目录（使用绝对路径和相对路径都可），否则无法使用调试模式启动。
[root@kube-master ~]# cd /etc/filebeat/
[root@kube-master ~]# cat > /etc/filebeat/docker-nginx.yml <<EOF
filebeat.inputs:
- type: container
paths:
- '/data/docker/containers/*/*.log' #注意与实际使用中的位置一致，后面不在说明
output.console:
pretty: true
EOF
通过 filebeat 调试模式启动。
[root@kube-master filebeat]# filebeat -e -c docker-nginx.yml
2024-06-28T16:02:28.383+0800 INFO [registrar] registrar/registrar.go:109 States Loaded from registrar: 23
2024-06-28T16:02:28.383+0800 INFO [crawler] beater/crawler.go:71 Loading Inputs: 1
2024-06-28T16:02:28.383+0800 INFO [crawler] beater/crawler.go:117 starting input, keys present on the config: [filebeat.inputs.0.paths.0 filebeat.inputs.0.type]
2024-06-28T16:02:28.383+0800 WARN [cfgwarn] log/input.go:89 DEPRECATED: Log input. Use Filestream input instead.
2024-06-28T16:02:28.384+0800 INFO [input] log/input.go:171 Configured paths: [/data/docker/containers/*/*.log] {"input_id": "8767ef10-291f-44c7-9475-ccbd3ec07e90"}
2024-06-28T16:02:28.384+0800 INFO [crawler] beater/crawler.go:148 Starting input (ID: 17511724858553739275)
2024-06-28T16:02:28.384+0800 INFO [crawler] beater/crawler.go:106 Loading and starting Inputs completed. Enabled inputs: 1
出现如上信息，并占用控制台则表示启动成功，等待着日志的打印。
下面我们一个启动 nginx 容器
#新开一个窗口
[root@kube-master ~]# docker run --name ngx -p 80:80 -d nginx:alpine
# 当容器启动成功后，filebeat 控制台就会打印如下信息日志：
{
"@timestamp": "2024-07-03T06:33:55.456Z",
"@metadata": {
"beat": "filebeat",
"type": "_doc",
"version": "8.14.1"
},
"message": "2024/07/03 06:33:55 [notice] 1#1: start worker process 33",
"input": {
"type": "container"
},
"ecs": {
"version": "8.0.0"
},
"host": {
"name": "kube-master"
},
"agent": {
"version": "8.14.1",
"ephemeral_id": "f5c36e56-068b-48f6-8f59-6bda1985f121",
"id": "142a9309-4240-4fc0-99b9-631405d51c57",
"name": "kube-master",
"type": "filebeat"
},
"log": {
"offset": 2197,
"file": {
"path": "/data/docker/containers/750f085f966d91f180a4303304ec3bd84eb0eacb32b03fd614c171dd12cf57e8/750f085f966d91f180a4303304ec3bd84eb0eacb32b03fd614c171dd12cf57e8-json.log"
}
},
"stream": "stderr"
}
出现这样的信息，说明filebeat 已经捕获到了 容器的日志信息
接下来就要对日志信息进行筛选，大段的日志信息有很多我们并不需要过多的去关注，因此需要剔除无用的信息，继续查看官方文档，文档中有个processors，这个 Processors 可以理解为 filter ，筛选器的意思
在 Processors 子类中，找到了 drop_fields 删除字段配置，打开查看。
通过官方示例查看，when 当…时候… 这里就是通过条件筛选进行字段的删除，目前我们这里没有条件筛选，尝试直接删除字段。
注意：通过官方文档查看 processors 是与 input 和 output 平级的，所以注意格式。
于是，配置文件又修改为如下：
[root@kube-master ~]# cat > /etc/filebeat/docker-nginx.yml <<EOF
filebeat.inputs:
- type: container
paths:
- '/data/docker/containers/*/*.log'
processors:
- drop_fields:
fields: ["log","agent","ecs"]
output.console:
pretty: true
EOF
在刚才的控制台 ctrl + c 结束，重新启动。并在另一个终端使用curl访问Nginx。
[root@kube-master filebeat]# filebeat -e -c docker-nginx.yml
#会有类似以下输出
{
"@timestamp": "2024-07-03T06:37:58.196Z",
"@metadata": {
"beat": "filebeat",
"type": "_doc",
"version": "8.14.1"
},
"stream": "stdout",
"message": "172.17.0.1 - - [03/Jul/2024:06:37:58 +0000] \"GET / HTTP/1.1\" 200 615 \"-\" \"curl/7.29.0\" \"-\"",
"input": {
"type": "container"
},
"host": {
"name": "kube-master"
}
}
到目前为止，已经提取出来对我们有用的日志信息，接下来就可以存储到 elasticsearch 中，查看官方文档如何存储到 es 中。
可以看到，如果开启了 https ，如果采用basic认证，需要添加相应的用户名和密码。修改 filebeat 配置如下：
filebeat.inputs:
- type: container
enabled: true
paths:
- '/data/docker/containers/*/*.log'
processors:
- drop_fields:
fields: ["log","ecs","agent"]
output.elasticsearch:
hosts: ["https://192.168.10.128:9200"]
ssl.verification_mode: "none"
username: "elastic"
password: "qz_n3JE==VqIIrPYEnGH"
index: "docker-nginx-%{+yyyy.MM.dd}"
setup.ilm.enabled: false # 关闭索引生命周期
setup.template.enabled: false # 允许自动生成index模板
setup.template.overwrite: true # 如果存在模块则覆盖
重启控制台，测试
#ctrl+c后执行
[root@kube-master ~]# filebeat -e -c docker-nginx.yml
#重启一个终端
[root@kube-master elasticsearch]# curl http://192.168.10.128
#浏览器访问 nginx 容器生成日志，然后通过 curl 查看 es 中所有索引信息：
[root@kube-master filebeat]# curl --cacert /etc/elasticsearch/certs/http_ca.crt -u elastic:qz_n3JE==VqIIrPYEnGH -XGET "https://192.168.10.128:9200/_cat/indices?v"
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size dataset.size
green open .internal.alerts-transform.health.alerts-default-000001 YF2DqWchTXOwk9UyEIw6Kg 1 0 0 0 249b 249b 249b
green open .internal.alerts-observability.logs.alerts-default-000001 jVc1NW8pSa6NiiX-udEOyQ 1 0 0 0 249b 249b 249b
green open .internal.alerts-observability.uptime.alerts-default-000001 VQeUg9lSRzGR9BCUOPd9Yw 1 0 0 0 249b 249b 249b
green open .internal.alerts-ml.anomaly-detection.alerts-default-000001 Nzhc5VgIQLWezHR3uf-37w 1 0 0 0 249b 249b 249b
green open .internal.alerts-observability.slo.alerts-default-000001 5eI0d1-mQfKJtm7OySZcog 1 0 0 0 249b 249b 249b
green open .internal.alerts-default.alerts-default-000001 V5mTo8DSQVWXBxjYtioKTg 1 0 0 0 249b 249b 249b
green open .internal.alerts-observability.apm.alerts-default-000001 9y2hyDdiQ4CJQyhze3dFAg 1 0 0 0 249b 249b 249b
green open .internal.alerts-observability.metrics.alerts-default-000001 JKhsfXPRQOKkhg4MTfO0oQ 1 0 0 0 249b 249b 249b
yellow open docker-nginx-2024.07.03 P1WtaXoeRIiNW3VXgGz8nw 1 1 4 0 15.8kb 15.8kb 15.8kb
green open .kibana-observability-ai-assistant-conversations-000001 -Uq0kdc2QpuxCulxmLsx6A 1 0 0 0 249b 249b 249b
yellow open filebeat-8.14.1 TlurNMXVR0mHeYtQkSpmQw 1 1 34 0 30.3kb 30.3kb 30.3kb
green open .internal.alerts-ml.anomaly-detection-health.alerts-default-000001 jHcoxn-ZQD2_HD9Sb-OXQQ 1 0 0 0 249b 249b 249b
green open .internal.alerts-observability.threshold.alerts-default-000001 3vx1_2frSLaSjApUS_Aehw 1 0 0 0 249b 249b 249b
green open .kibana-observability-ai-assistant-kb-000001 5UwmPLpITZawQqG3BhZt2Q 1 0 0 0 249b 249b 249b
green open .internal.alerts-security.alerts-default-000001 tLakcVM6TVaBSE4AVV42oQ 1 0 0 0 249b 249b 249b
green open .internal.alerts-stack.alerts-default-000001 z5qMabVfRhWy_0dpHVlV-Q 1 0 0 0 249b 249b 249b
可以看到docker-nginx这一条就是我们通过 filebeat 存储进去的日志信息。因为存储的是nginx 容器的日志，开始就做好将索引名修改为 nginx 相关的名字，这样就可以通过索引名确定存储的数据信息。
官网参考内容如下： output -> elasticsearch 相关文档信息
接下来就可以通过 kibana 展示出来。访问地址为IP+5601端口。
然后选择discovery，这样就将 nginx 容器的日志信息收集展示出来了。
后续只需要将 docker-nginx.yml 配置信息整合到 主配置文件 filebeat.yml 中就行了。
进阶配置
现在的数据就简化了很多，只保留对我们有用的信息。接下来就要考虑几个问题：
- nginx 日志分为 access.log 和 error.log 如何区分存储？
- 如果多个容器如果区分不同的容器日志？
stdout 及 stderr 存入不同索引
对于 nginx来说，有时候我们可能只需要关注错误日志，如何区分存储呢？其实查看上面控制台输出的日志内容不难发现一个字段：stream
#kibana界面查看的
{
"@timestamp": [
"2024-07-03T09:59:37.389Z"
],
"host.name": [
"kube-master"
],
"host.name.keyword": [
"kube-master"
],
"input.type": [
"container"
],
"input.type.keyword": [
"container"
],
"message": [
"172.17.0.1 - - [03/Jul/2024:09:59:37 +0000] \"GET / HTTP/1.1\" 200 615 \"-\" \"curl/7.29.0\" \"-\""
],
"message.keyword": [
"172.17.0.1 - - [03/Jul/2024:09:59:37 +0000] \"GET / HTTP/1.1\" 200 615 \"-\" \"curl/7.29.0\" \"-\""
],
"stream": [
"stdout"
],
"stream.keyword": [
"stdout"
],
"_id": "Jc8OeJABFRRxL93Ei_Nk",
"_index": "docker-nginx-2024.07.03",
"_score": null
}
其实对于 nginx 这样的容器，遵循一个标准，标准输出到 stdout 标准错误输出到 stderr 可进入容器查看：
[root@kube-master filebeat]# docker exec -it 75 /bin/sh
/ # ls -l /var/log/nginx/
total 0
lrwxrwxrwx 1 root root 11 Dec 29 2021 access.log -> /dev/stdout
lrwxrwxrwx 1 root root 11 Dec 29 2021 error.log -> /dev/stderr
所以，对于 stream: stderr 就是需要关注的 错误日志，所以根据字段条件进行区分，修改 filebeat 调试配置文件如下：
[root@kube-master filebeat]# cat docker-nginx.yml
filebeat.inputs:
- type: container
paths:
- '/data/docker/containers/*/*.log'
processors:
- drop_fields:
fields: ["log","agent","ecs"]
output.elasticsearch:
hosts: ["https://192.168.10.128:9200"]
ssl.verification_mode: "none"
username: "elastic"
password: "qz_n3JE==VqIIrPYEnGH"
indices:
- index: "docker-nginx-access-%{+yyyy.MM.dd}"
when.contains:
stream: "stdout"
- index: "docker-nginx-error-%{+yyyy.MM.dd}"
when.contains:
stream: "stderr"
setup.ilm.enabled: false
setup.template.enabled: false
setup.template.overwrite: true
开始调试，调试 filebeat 时，先关闭 filebeat服务
[root@kube-master filebeat]# systemctl stop filebeat
[root@kube-master filebeat]# filebeat -e -c docker-nginx.yml
通过curl命令访问nginx，一个正常能访问的uri和一个并不存在的 uri 让其生成错误日志，然后查看索引：
#另开终端
[root@kube-master filebeat]# curl http://192.168.10.128
[root@kube-master filebeat]# curl http://192.168.10.128/123
[root@kube-master filebeat]# !1124
curl http://192.168.10.128:9200/_cat/indices?v
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
green open .geoip_databases xZCNQt1qSXmYVt_ZruchyQ 1 0 33 0 31.2mb 31.2mb
yellow open docker-nginx-access-2024.07.01 IHOUT7PJR2i1prqtBHhUPA 1 1 2 0 5.3kb 5.3kb
green open .kibana_task_manager_7.17.22_001 DoS2iFZNTPeRYCduvqRrXA 1 0 17 3058 434.7kb 434.7kb
green open .apm-custom-link trobzSMtS6iAUbG7jwGSuQ 1 0 0 0 227b 227b
green open .kibana_7.17.22_001 sHUgOQ3cRzG-oie60O7fpQ 1 0 29 13 2.3mb 2.3mb
yellow open docker-nginx-2024.07.01 f5sBI4EMRvWg5-WdPdX7bA 1 1 3 0 10.3kb 10.3kb
green open .apm-agent-configuration IO4Qcc4tR0GnJnoOVeXimw 1 0 0 0 227b 227b
yellow open filebeat-7.17.22-2024.07.01-000001 yVVnQ8B-QgCKjbSw7CTh9g 1 1 1 0 5.1kb 5.1kb
green open .async-search r6ov63XgSD2DZJfb00ovUA 1 0 0 0 250b 250b
yellow open docker-nginx-error-2024.07.01 FITBpG-BSqukRs-mFTU_zw 1 1 1 0 5.2kb 5.2kb
[root@kube-master filebeat]#
可以看到已经生成 了docker-nginx-access和docker-nginx-error两个索引。然后再kibana中设置，将不同是索引展示出来。
docker-nginx-error-* 也如上添加展示。然后通过discovery查看，可以看到错误日志中就是刚刚访问的不存在的地址。
这样， 就可以通过不同的索引展示各种所需日志数据。
总结：该部分解决的问题是：单容器，正常日志和错误日志分类存放的问题。
不同业务容器存入不同索引
容器使用场景，肯定会存在不同的程序或者不同的业务都运行于容器当中。举个最简单的架构 lnmp ，如果将nginx 和 php 的日志如果存储在同一个索引里，日后查询排错还不如直接查看源日志文件，这就违背了搭建日志收集系统的初衷。
通过上面 filebeat 中 inputs 可以看到是 通过解析容器日志目录来获取日志信息的，而容器的名称和ID 都会随着生命周期而变动的，因此无法像物理或者虚拟主机一样通过IP联系起来。这个时候就需要为容器打标签，通过打标签的形式区分不同业务的容器集合。
注意：做这一部分示例前，请将运行中的容器关闭并删除。
[root@kube-master filebeat]# docker rm -f `docker ps -aq`
为容器打标签，以下方式二选一，推进还是使用docker-compose。下面启动两个不同的 web 服务， 一个开启80端口，一个开启 8081 端口，并需要将它们日志存储到不同的索引里。
docker 直接启动打标签
[root@kube-master filebeat]# docker run --name nginx -p 80:80 --label service=nginx --log-opt labels=service -d nginx:alpine
[root@kube-master filebeat]# docker run --name httpd -p 8090:80 --label service=httpd --log-opt labels=service -d httpd
通过docker-compose 打标签
[root@kube-master filebeat]# cat docker-compose.yml
### docker-compose.yml
version: "3"
services:
#web服务
nginx:
container_name: "nginx"
image: nginx:alpine
environment:
- "TZ=Asia/Shanghai"
labels:
service: nginx
logging:
options:
labels: "service"
ports:
- "80:80"
# 8081 web 服务
httpd:
container_name: "httpd"
image: httpd:latest
environment:
- "TZ=Asia/Shanghai"
labels:
service: httpd # 标记
logging:
options:
labels: "service"
ports:
- "8081:80"
[root@kube-master filebeat]# docker-compose up -d
[+] Running 2/2
⠿ Container nginx Started 0.7s
⠿ Container httpd Started
上面两种方式，任意执行一种。下面查看日志
[root@kube-master filebeat]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
d86461ba1e10 httpd:latest "httpd-foreground" 22 seconds ago Up 4 seconds 0.0.0.0:8081->80/tcp httpd
9dd4970f1da8 nginx:alpine "/docker-entrypoint.…" 22 seconds ago Up 4 seconds 0.0.0.0:80->80/tcp nginx
[root@kube-master filebeat]# tail -1 /data/docker/containers/9dd4970f1da81433f61ae5c91c9953a737922e32e179705e5a103a33672357b0/9dd4970f1da81433f61ae5c91c9953a737922e32e179705e5a103a33672357b0-json.log
{"log":"2024/07/04 13:10:50 [notice] 1#1: start worker process 26\n","stream":"stderr","attrs":{"service":"nginx"},"time":"2024-07-04T05:10:50.872134724Z"}
通过nginx的日志可以看到，日志中多有 attrs 属性字段，就是打的标签，然后下面通过 filebeat output 中 when 条件来过滤。编写修改 filebeat 配置文件：
#文件目录： /etc/filebeat/docker-compose-web.yml
[root@kube-master filebeat]# cat docker-nginx.yml
filebeat.inputs:
- type: container
paths:
- '/data/docker/containers/*/*.log'
processors:
- drop_fields:
fields: ["log","agent","ecs"]
output.elasticsearch:
hosts: ["https://192.168.10.128:9200"]
ssl.verification_mode: "none"
username: "elastic"
password: "qz_n3JE==VqIIrPYEnGH"
indices:
- index: "web-nginx-access-%{+yyyy.MM.dd}"
when.contains:
# 日志中包括 docker.attrs.service==nginx 且 stream=stdout 存入web-nginx-access-%{+yyyy.MM.dd}
docker.attrs.service: "nginx"
stream: "stdout"
- index: "web-nginx-error-%{+yyyy.MM.dd}"
when.contains:
# 日志中包括 docker.attrs.service==nginx 且 stream=stderr 存入web-nginx-error-%{+yyyy.MM.dd}
docker.attrs.service: "nginx"
stream: "stderr"
- index: "web-httpd-access-%{+yyyy.MM.dd}"
when.contains:
# 日志中包括 docker.attrs.service==httpd 且 stream=stdout 存入web-httpd-access-%{+yyyy.MM.dd}
docker.attrs.service: "httpd"
stream: "stdout"
- index: "web-httpd-error-%{+yyyy.MM.dd}"
when.contains:
# 日志中包括 docker.attrs.service==httpd 且 stream=stderr 存入web-httpd-error-%{+yyyy.MM.dd}
docker.attrs.service: "httpd"
stream: "stderr"
setup.ilm.enabled: false
setup.template.enabled: false
setup.template.overwrite: true
启动：
[root@kube-master filebeat]# filebeat -e -c docker-nginx.yml
#另开终端，通过curl访问后，查看索引
[root@kube-master filebeat]# curl localhost
[root@kube-master filebeat]# curl localhost:8081
[root@kube-master filebeat]# curl localhost/1234 #生成nginx的错误索引
[root@kube-master filebeat]# curl localhost:8081/abcd
[root@kube-master filebeat]# curl --cacert /etc/elasticsearch/certs/http_ca.crt -u elastic:qz_n3JE==VqIIrPYEnGH -XGET "https://192.168.10.128:9200/_cat/indices?v"
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size dataset.size
green open .internal.alerts-transform.health.alerts-default-000001 YF2DqWchTXOwk9UyEIw6Kg 1 0 0 0 249b 249b 249b
green open .internal.alerts-observability.logs.alerts-default-000001 jVc1NW8pSa6NiiX-udEOyQ 1 0 0 0 249b 249b 249b
green open .internal.alerts-observability.uptime.alerts-default-000001 VQeUg9lSRzGR9BCUOPd9Yw 1 0 0 0 249b 249b 249b
yellow open web-nginx-access-2024.07.04 msnfHiqfTSe8LBQfECf0TQ 1 1 2 0 8.7kb 8.7kb 8.7kb
green open .internal.alerts-ml.anomaly-detection.alerts-default-000001 Nzhc5VgIQLWezHR3uf-37w 1 0 0 0 249b 249b 249b
yellow open web-nginx-error-2024.07.04 iUnCj98qQyWKByVe1HNvnQ 1 1 1 0 8.8kb 8.8kb 8.8kb
green open .internal.alerts-observability.slo.alerts-default-000001 5eI0d1-mQfKJtm7OySZcog 1 0 0 0 249b 249b 249b
green open .internal.alerts-default.alerts-default-000001 V5mTo8DSQVWXBxjYtioKTg 1 0 0 0 249b 249b 249b
green open .internal.alerts-observability.apm.alerts-default-000001 9y2hyDdiQ4CJQyhze3dFAg 1 0 0 0 249b 249b 249b
yellow open docker-nginx-2024.07.04 tEN-PUNgTQGwE0xC9ulhTw 1 1 53 0 32.8kb 32.8kb 32.8kb
green open .internal.alerts-observability.metrics.alerts-default-000001 JKhsfXPRQOKkhg4MTfO0oQ 1 0 0 0 249b 249b 249b
yellow open docker-nginx-2024.07.03 P1WtaXoeRIiNW3VXgGz8nw 1 1 4 0 15.8kb 15.8kb 15.8kb
green open .kibana-observability-ai-assistant-conversations-000001 -Uq0kdc2QpuxCulxmLsx6A 1 0 0 0 249b 249b 249b
yellow open filebeat-8.14.1 TlurNMXVR0mHeYtQkSpmQw 1 1 34 0 30.3kb 30.3kb 30.3kb
green open .internal.alerts-ml.anomaly-detection-health.alerts-default-000001 jHcoxn-ZQD2_HD9Sb-OXQQ 1 0 0 0 249b 249b 249b
green open .internal.alerts-observability.threshold.alerts-default-000001 3vx1_2frSLaSjApUS_Aehw 1 0 0 0 249b 249b 249b
yellow open web-httpd-access-2024.07.04 -bmRhMRbScadgv28_wgJ8w 1 1 1 0 8kb 8kb 8kb
green open .kibana-observability-ai-assistant-kb-000001 5UwmPLpITZawQqG3BhZt2Q 1 0 0 0 249b 249b 249b
green open .internal.alerts-security.alerts-default-000001 tLakcVM6TVaBSE4AVV42oQ 1 0 0 0 249b 249b 249b
green open .internal.alerts-stack.alerts-default-000001 z5qMabVfRhWy_0
查看es中的索引可以发现生成了3个我们期望的索引。但是web-httpd-error的相关索引始终没有生成。下面我们来排查原因。
[root@kube-master filebeat]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
d86461ba1e10 httpd:latest "httpd-foreground" 22 minutes ago Up 22 minutes 0.0.0.0:8081->80/tcp httpd
9dd4970f1da8 nginx:alpine "/docker-entrypoint.…" 22 minutes ago Up 22 minutes 0.0.0.0:80->80/tcp nginx
[root@kube-master filebeat]# tail -1 /data/docker/containers/d86461ba1e10bc93a19c91f85a50e0482260f7c429728749786954bf41c1e8e2/d86461ba1e10bc93a19c91f85a50e0482260f7c429728749786954bf41c1e8e2-json.log
{"log":"172.19.0.1 - - [04/Jul/2024:13:31:44 +0800] \"GET /abcd HTTP/1.1\" 404 196\n","stream":"stdout","attrs":{"service":"httpd"},"time":"2024-07-04T05:31:44.660845556Z"}
[root@kube-master filebeat]#
可以看到，在httpd服务中，404的相关日志它也是通过stdout输出的，与nginx有一定成差别。下面模拟其他错误来输出到httpd服务的stdout中。
#修改一个需要访问文件的权限
[root@kube-master filebeat]# docker exec -it d8 /bin/sh
# pwd
/usr/local/apache2
# touch htdocs/abcd.html
# chmod -r htdocs/abcd.html
#退出容器，再测试
[root@kube-master filebeat]# curl localhost:8081/abcd.html
<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>
<title>403 Forbidden</title>
</head><body>
<h1>Forbidden</h1>
<p>You don't have permission to access this resource.</p>
</body></html>
[root@kube-master filebeat]# tail -1 /data/docker/containers/d86461ba1e10bc93a19c91f85a50e0482260f7c429728749786954bf41c1e8e2/d86461ba1e10bc93a19c91f85a50e0482260f7c429728749786954bf41c1e8e2-json.log
{"log":"[Thu Jul 04 13:49:13.584204 2024] [core:error] [pid 9:tid 140382130132736] (13)Permission denied: [client 172.19.0.1:47432] AH00132: file permissions deny server access: /usr/local/apache2/htdocs/abcd.html\n","stream":"stderr","attrs":{"service":"httpd"},"time":"2024-07-04T05:49:13.653158214Z"}
[root@kube-master filebeat]#
可以看到，没有权限的403错误是通过stderr输出。web-httpd-error也已经自动生成。
这里就通过不同的条件将不同业务不同类型的日志进行了分开存储，然后在 kibana 如上配置，就可以分类查看。如下：
从截图也可以看出我们创建的4种索引，并且web-httpd-error中也有我们无权限访问的日志。
补充
下面补充一个重置es初始化密码的步骤
1、 停止Elasticsearch服务
/opt/elasticsearch-arm64/esctl stop
2、编辑elasticsearch.yml文件，设置以下两项为false;
#vim /opt/elasticsearch-arm64/config/elasticsearch.yml
xpack.security.enabled: false
xpack.security.transport.ssl.enabled: false
3、 重启es服务，删除.security-7索引
/opt/elasticsearch-arm64/esctl start
curl -XDELETE -u elastic:changeme http://localhost:9200/.security-7
4、 关闭ES服务设置以下两项为true;
#vim /opt/elasticsearch-arm64/config/elasticsearch.yml
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
5、 重启es服务，进入es的bin目录下
#/opt/elasticsearch-arm64/esctl stop
#/opt/elasticsearch-arm64/esctl start
#cd /opt/elasticsearch-arm64/bin/
#./elasticsearch-setup-passwords interactive
依次设置每个账号密码即可。
更多关于EFK的知识分享，请前往博客主页。编写过程中，难免出现差错，敬请指出
