每日一更 EFK日志分析系统

需要docker和docker-compose环境

下面时docker-compose.yaml文件

[root@node1 docker-EFK]# cat docker-compose.yaml 
version: '3.3'

services:

  elasticsearch:
    image: "docker.elastic.co/elasticsearch/elasticsearch:7.17.5"
    container_name: elasticsearch
    restart: always
    environment:
    - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    - "discovery.type=single-node"
    - "cluster.name=myes"
    - "node.name=jeven"
    # - xpack.security.enabled: "false"
    ulimits:
      memlock:
        soft: -1
        hard: -1 
    networks:
      myefk:
        ipv4_address: 172.29.120.10
        aliases:
        - es
        - jeven
    ports:
    - "9200:9200"
    - "9300:9300"
    volumes:
    - /home/docker-EFK/config/:/usr/share/elasticsearch/config
    - /home/docker-EFK/efk/es/data/:/usr/share/elasticsearch/data
  
  kibana:
    image: "docker.elastic.co/kibana/kibana:7.17.5"
    restart: always
    environment:
      ELASTICSEARCH_URL: http://10.23.3.2:9200
      ELASTICSEARCH_HOSTS: '["http:/10.23.3.2:9200"]'
      I18N_LOCALE: zh-CN
    networks:
      myefk:
        ipv4_address: 172.29.120.20
        aliases:
          - kibana
          - kib
    ports:
    - "5601:5601"
    links:
    - "elasticsearch"

  filebeat:
    image: "docker.elastic.co/beats/filebeat:7.17.5"
    restart: always
    networks:
      myefk:
        ipv4_address: 172.29.120.30
        aliases:
          - filebeat
          - fb
    user: root
    command: ["--strict.perms=false"]
    volumes:
    - /home/docker-EFK/efk/filebeat.yaml:/usr/share/filebeat/filebeat.yml
    - /var/lib/docker:/var/lib/docker:ro
    - /var/run/docker.sock:/var/run/docker.sock
    links:
    - "elasticsearch"
    - "kibana"
  
  elasticsearch-head:
    image: "tobias74/elasticsearch-head"
    container_name: elasticsearch-head
    restart: always
    networks:
      myefk:
        ipv4_address: 172.29.120.50
    ports:
    - "9100:9100"
    links:
    - "elasticsearch"

networks:
  myefk:
    driver: bridge
    ipam:
      config:
        - subnet: 172.29.120.0/24

使用docker-compose up -d执行

使用docker ps 看容器状态。

[root@node1 docker-EFK]# docker ps
CONTAINER ID   IMAGE                                                  COMMAND                  CREATED          STATUS                          PORTS                                                                                  NAMES
42581fc03590   tobias74/elasticsearch-head                            "/bin/sh -c 'grunt s…"   5 minutes ago    Up 5 minutes                    0.0.0.0:9100->9100/tcp, :::9100->9100/tcp                                              elasticsearch-head
ce1464dc2726   docker.elastic.co/beats/filebeat:7.17.5                "/usr/bin/tini -- /u…"   19 minutes ago   Up 19 minutes                                                                                                          docker-efk_filebeat_1
fc979274d0f1   docker.elastic.co/kibana/kibana:7.17.5                 "/bin/tini -- /usr/l…"   19 minutes ago   Up 19 minutes                   0.0.0.0:5601->5601/tcp, :::5601->5601/tcp                                              docker-efk_kibana_1
f5f94ba61d0b   docker.elastic.co/elasticsearch/elasticsearch:7.17.5   "/bin/tini -- /usr/l…"   19 minutes ago   Up 18 minutes                   0.0.0.0:9200->9200/tcp, :::9200->9200/tcp, 0.0.0.0:9300->9300/tcp, :::9300->9300/tcp   elasticsearch

elasticsearch是日志存放的数据库，elasticsearch下的索引(Index)类似于关系型的一个数据库。文档(Document)：Elasticsearch中的数据单位，可以理解为一条记录或一条消息。

elasticsearch-head就是一款能连接ElasticSearch搜索引擎，并提供可视化的操作页面对ElasticSearch搜索引擎进行各种设置和数据检索功能的管理插件。

ES相关术语

文档 Document

Document 文档就是用户存在 es 中的一些数据，它是 es 中存储的最小单元。（类似于表中的一行数据。）注意：每个文档都有一个唯一的 ID 表示，可以自行指定，如果不指定 es 会自动生成

索引 Index

索引其实是一堆文档 Document 的集合。（它类似数据库的中的一个表）

字段 Filed

在 ES 中，Document就是一个 Json Object，一个Json Object其实是由多个字段组成的，每个字段它有不同的数据类型。

ES术语总结

ES索引、文档、字段关系小结：
一个索引里面存储了很多的 Document 文档，一个文档就是一个json object，一个json object是由多个不同或相同的 filed 字段组成；

操作原理
ES的操作和我们传统的数据库操作不太一样，它是通过 RestfulAPI 方式进行对ES进行操作，其实本质上就是通过 http的方式去变更我们的资源状态。   
通过 URI 的方式指定要操作的资源，比如 Index、Document等。   
通过 Http Method 指明资源操作方法，如GET、POST、PUT、DELETE 等。

访问elasticsearch两种方式
  • curl命令本地访问
  • 安装kibana访问

kibana是一个

分析和可视化数据。搜索隐藏的见解，编制图表仪表板，仪表、地图和其他可视化显示您发现的内容，并与他人分享。
搜索、观察和保护你的数据。向你的应用或网站添加搜索框，分析日志，指标，并发现安全漏洞。
管理、监控和保护 Elastic Stack。管理您的索引和摄入管道，监控 Elastic Stack 集群的运行状况，并控制哪些用户可以访问哪些特征和数据。

kibana对es的增删改查，

kibana操作elasticsearch的索引
创建索引
#创建索引
PUT /cry_index

查看索引

#查看全部索引名 
GET _cat/indices

#查看指定索引 GET  索引名
GET filebeat-2024.06.29

PUT /ly_index 创建索引                {
                                      "acknowledged" : true,
                                      "shards_acknowledged" : true,
                                      "index" : "ly_index"
                                      }
GET /ly_index   查看索引


{
  "ly_index" : {
    "aliases" : { },
    "mappings" : { },
    "settings" : {
      "index" : {
        "routing" : {
          "allocation" : {
            "include" : {
              "_tier_preference" : "data_content"
            }
          }
        },
        "number_of_shards" : "1",
        "provided_name" : "ly_index",
        "creation_date" : "1720143452731",
        "number_of_replicas" : "1",
        "uuid" : "FRaCW3lgSny9e11v8WSUmw",
        "version" : {
          "created" : "7170599"
        }
      }
    }
  }
}
DELETE /ly_index     删除索引


{
  "acknowledged" : true
}

kibana操作elasticsearch的文档

PUT /ly_index_01       创建索引

POST /ly_index_01/_doc/1          创建索引下的文档
{
  "username": "oldxu",
  "age": 18,
  "salary": 1000000
}

_doc为文档名

oldxu_index为索引名  ，没有将会自动创建

1 为文档id  如果不指定会随机创建

指定id的，

POST /oldxu_index/_doc/1
{
  "username": "oldqiang",
  "age": 30,
  "salary": 300
}
结果：
{
  "_index" : "oldxu_index",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 1,
。。。。。。。

不指定id的

POST /oldxu_index/_doc
{
  "username": "oldqiang",
  "age": 30,
  "salary": 300
}
结果
{
  "_index" : "oldxu_index",
  "_type" : "_doc",
  "_id" : "wtKTgJAB9dAZABV53ccy",
  "_version" : 1,

查询文档

查询文档时，需要指定要查询的文档id，不指定无法查找

GET /oldxu_index/_doc/1

GET /oldxu_index/_doc/1
结果
{
  "_index" : "oldxu_index",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 1,
  "_seq_no" : 1,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "username" : "oldqiang",
    "age" : 30,
    "salary" : 300
  }
}

不指定id，无法查找

GET /oldxu_index/_doc

结果
{
  "error" : "Incorrect HTTP method for uri [/oldxu_index/_doc?pretty=true] and method [GET], allowed: [POST]",
  "status" : 405
}

查询，搜索所有文档，用_search

GET /oldxu_index/_search

filebeat这里就是一个测试源，可以关闭，对es没有影响，后期需要安装到收集日志的服务器上。

问题1：

创建elasticsearch 是初期没有挂在config文件夹，后期则无法更改elasticsearch.yaml文件，但是再docker-compose.yaml中加入- /home/docker-EFK/config/:/usr/share/elasticsearch/config  后elasticsearch启动一直报错，起不来。查看logs 发现无法打开/usr/share/elasticsearch/config下的文件。解决的方法是，先不映射/usr/share/elasticsearch/config，启动后docker cp 容器id:/usr/share/elasticsearch/config  （宿主机目录）/home/docker-EFK/config/ 。把容器的这个目录拷贝到宿主机，然后再在yaml中加入- /home/docker-EFK/config/:/usr/share/elasticsearch/config。这样就可以了。

问题2:elasticsearch-head 启动成功后，浏览器http://10.23.3.2:9100可以正常访问，但是连不上elasticsearch，后查了一下，需要在elasticsearch.yaml添加两行内容

http.cors.enabled: true

http.cors.allow-origin: "*"

[root@node1 config]# cat elasticsearch.yml 
cluster.name: "docker-cluster"
network.host: 0.0.0.0
http.cors.enabled: true   
http.cors.allow-origin: "*"

重启容器 docker restart es的容器id，重启后,连接成功。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/779290.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

process.env 管理 Vue 项目的环境变量（Vue项目中环境变量的配置及调用）

process.env 管理 Vue 项目的环境变量（Vue项目中环境变量的配置及调用）

简述：在构建 Vue 应用时，管理配置是开发中的一个重要部分。不同的环境（如开发、测试和生产）往往需要不同的配置，例如 API、 基础 URL、第三方服务的密钥等。使用环境变量可以帮助我们更好地管理这些配置。这里将介绍如…
阅读更多...
2 极/2 零 （2P2Z） 补偿器

2 极/2 零 （2P2Z） 补偿器

极/2 零 （2P2Z） 补偿器是模拟 II 型控制器的数字实现。它是一种滤波器，通过考虑两个极点和一个零点，将特定的增益和相位升压引入系统。您必须战略性地选择每个极点和零点的频率位置，这将有助于实现所需的系统性能。在该…
阅读更多...
当需要对大量数据进行排序操作时，怎样优化内存使用和性能？

当需要对大量数据进行排序操作时，怎样优化内存使用和性能？

文章目录 一、选择合适的排序算法1. 快速排序2. 归并排序3. 堆排序 二、数据结构优化1. 使用索引2. 压缩数据3. 分块排序 三、外部排序1. 多路归并排序 四、利用多核和并行计算1. 多线程排序2. 使用并行流 五、性能调优技巧1. 避免不必要的内存复制2. 缓存友好性3. 基准测试和性…
阅读更多...
手把手教你从零开始构建 AI 视频生成模型

手把手教你从零开始构建 AI 视频生成模型

在 GitHub 上发现一篇教程，作者详细介绍了如何使用 Python 语言，从零开始构建一个文本到视频生成模型。 涵盖了从理解理论概念到架构编码，最终实现输入文本提示即可生成视频的全过程。 相关链接 GitHub：github.com/FareedKhan-…
阅读更多...
PD协议诱骗芯片，XSP08Q，XSP16应用笔记

PD协议诱骗芯片，XSP08Q，XSP16应用笔记

XSP08Q是3C数码或小家电产品的Type-C接口控制芯片，它负责和PD充电器通讯，获取充电器的快充电压档位，如5V4A，9V3A，12V2A，15V3A，20V5A等等。 XSP08Q支持PD协议，BC1.2协议，Q…
阅读更多...
Rakis: 免费基于 P2P 的去中心化的大模型

Rakis: 免费基于 P2P 的去中心化的大模型

是一个开源的，完全在浏览器中运行的去中心化 AI 推理网络，用户无需服务器，打开即可通过点对点网络使用 Llama-3、Mistral、Gemma-2b 等最新开源模型。 你可以通过右上角的 Scale Worker ，下载好模型后挂机就能作为节点加入到这个…
阅读更多...
【全面讲解下Foxit Reader】

【全面讲解下Foxit Reader】

🎥博主：程序员不想YY啊 💫CSDN优质创作者，CSDN实力新星，CSDN博客专家 🤗点赞🎈收藏⭐再看💫养成习惯 ✨希望本文对您有所裨益，如有不足之处，欢迎在评论区提出…
阅读更多...
便携式气象站：探索自然的智慧伙伴

便携式气象站：探索自然的智慧伙伴

在探索自然奥秘、追求科学真理的道路上，气象数据始终是我们不可或缺的指引。然而，传统的气象站往往庞大而笨重，难以在偏远地区或移动环境中灵活部署。 便携式气象站，顾名思义，是一种小巧轻便、易于携带和安装的气象观测…
阅读更多...
农资销售网站-计算机毕业设计源码54432

农资销售网站-计算机毕业设计源码54432

目录 摘要 Abstract 1绪论 1.1研究背景 1.2研究意义 1.3论文结构与章节安排 2农资销售网站系统分析 2.1可行性分析 2.1.1技术可行性分析 2.1.2经济可行性分析 2.1.3法律可行性分析 2.2系统功能分析 2.2.1功能性分析 2.2.2非功能性分析 2.3系统用例分析 2.4系统流…
阅读更多...
比赛获奖的武林秘籍：03 好的创意选取-获得国奖的最必要前提

比赛获奖的武林秘籍：03 好的创意选取-获得国奖的最必要前提

比赛获奖的武林秘籍：03 好的创意选取-获得国奖的最必要前提 摘要 本文主要介绍了大学生电子计算机类比赛和创新创业类比赛创意选取的重要性，并列举了好的创意选取和坏的创意选取的例子，同时说明了好的创意选取具有哪些特点，同时…
阅读更多...
Tkinter布局助手

Tkinter布局助手

免费的功能基本可以满足快速开发布局， https://pytk.net/ iamxcd/tkinter-helper: 为tkinter打造的可视化拖拽布局界面设计小工具 (github.com) 作者也把项目开源了，有兴趣可以玩玩
阅读更多...
Java中线程的常用方法(并发编程基础)

Java中线程的常用方法(并发编程基础)

Java中线程的常用方法 sleep 调用sleep会让当前线程从Running进入TIMED WAITING状态其它线程可以使用 interrupt 方法打断正在睡眠的线程,这时sleep方法会抛出InterruptedException睡眠结束后的线程未必会立刻得到执行建议用TimeUnit的sleep代替Thread的sleep来获得更好的可读…
阅读更多...
如何在PD虚拟机中开启系统的嵌套虚拟化功能？pd虚拟机怎么用 Parallels Desktop 19 for Mac

如何在PD虚拟机中开启系统的嵌套虚拟化功能？pd虚拟机怎么用 Parallels Desktop 19 for Mac

PD虚拟机是一款可以在Mac电脑中运行Windows系统的应用软件。使用 Parallels Desktop for Mac 体验 macOS 和 Windows 的最优性能，解锁强大性能和无缝交互。 在ParallelsDesktop（PD虚拟机）中如何开启系统的嵌套虚拟化功能？下面我们…
阅读更多...
vulhub-activemq(CVE-2015-5254)

vulhub-activemq(CVE-2015-5254)

Apache ActiveMQ 5.13.0版本之前到5.x版本的安全漏洞，该程序引起的漏洞不限制代理中可以序列化的类。远程攻击者可以制作一个特殊的序列化 Java 消息服务 (JMS) ObjectMessage 对象，利用该漏洞执行任意代码。 Apache ActiveMQ 5.x ~ Apache ActiveMQ 5.1…
阅读更多...
【人工智能】-- 智能机器人

【人工智能】-- 智能机器人

个人主页：欢迎来到 Papicatch的博客 课设专栏 ：学生成绩管理系统 专业知识专栏： 专业知识 文章目录 🍉引言 🍉机器人介绍 🍈机器人硬件 🍍机械结构 🍍传感器 🍍控…
阅读更多...
基于Android Studio电影购票系统

基于Android Studio电影购票系统

目录 项目介绍 图片展示 运行环境 获取方式 项目介绍 主要实为了方便用户随时随地进行电影购票。在配色方面选择了一些富有电影元素的颜色。主要能够实现的功能与流程为： 1.用户首先需要注册用户名填写密码。 2.用户可以用之前注册的用户名和密码进行登录。 3.登…
阅读更多...
键盘异常的检测与解决方案

键盘异常的检测与解决方案

今天对象用Word写文档，按下Ctrl的时候，页面不停地上下滑动，导致无法正常编辑文本。 重启之后，仍然无法解决，推断是键盘坏了。 但是当按下Fn或其他功能键，焦点移除，页面就不会再抖动了。 现在…
阅读更多...
[CP_AUTOSAR]_分层软件架构_内容详解

[CP_AUTOSAR]_分层软件架构_内容详解

目录 1、软件分层内容1.1、Microcontroller Abstraction Layer1.2、ECU Abstraction Layer1.2.1、I/O HW Abstraction1.2.2、Communication Hardware Abstraction1.2.3、Memory Hardware Abstraction1.2.4、Onboard Device Abstraction1.2.5、Crypto Hardware Abstraction 1.3、…
阅读更多...
Docker安装遇到问题：curl: (7) Failed to connect to download.docker.com port 443: 拒绝连接

Docker安装遇到问题：curl: (7) Failed to connect to download.docker.com port 443: 拒绝连接

问题描述 首先，完全按照Docker官方文档进行安装： Install Docker Engine on Ubuntu | Docker Docs 在第1步：Set up Dockers apt repository，执行如下指令： sudo curl -fsSL https://download.docker.com/linux/ubu…
阅读更多...
超赞的8款生活APP推荐！

超赞的8款生活APP推荐！

AI视频生成：小说文案智能分镜智能识别角色和场景批量Ai绘图自动配音添加音乐一键合成视频https://aitools.jurilu.com/每天都会有几十个应用程序发布，一款用得好的应用程序可以极大地丰富您的生活。对于那些不知道哪个应用程序适合您以及您需要哪个应用程…
阅读更多...
最新文章

Copyright @ 2022~2023