使用docker部署ELK实战

目录

  • 什么是ELK
  • ELK简介
    • Elasticsearch
    • Logstash
    • Kibana
  • docker安装ELK
    • 安装es
    • 安装 Kibana
    • 安装logstash

什么是ELK

ELK是一个开源的数据分析平台，由三个开源项目Elasticsearch、Logstash和Kibana组成，因此被称为ELK Stack。ELK Stack主要用于处理和分析大量的日志数据，支持实时搜索、数据可视化和分析。其中，Elasticsearch是一个分布式搜索引擎和分析引擎，能够实现实时搜索和分析大规模的数据集。Logstash是一个数据收集、处理和转换工具，能够从不同来源收集、处理和传输数据。Kibana是一个数据可视化工具，能够通过仪表盘、图形和地图等方式展示数据。ELK Stack的三个组件相互配合，能够构建一个强大的、可扩展的日志分析平台，支持数据的快速检索、可视化和分析。

ELK简介

Elasticsearch

Elasticsearch是一个基于Lucene库的分布式搜索引擎和数据分析引擎，能够实现实时搜索和分析大规模的数据集，支持文本、数字、地理位置等多种类型的数据检索和分析。Elasticsearch是一个开源的、高度可扩展的平台，能够处理海量的数据，并支持分布式的数据存储和处理。Elasticsearch的主要特点包括：

  1. 分布式搜索引擎：Elasticsearch能够对海量的数据进行快速的搜索和查询，并支持实时搜索。

  2. 分布式数据存储：Elasticsearch能够将数据分散存储在多个节点上，以提高数据的可用性和可靠性。

  3. 多数据类型支持：Elasticsearch支持多种数据类型，包括文本、数字、日期、地理位置等。

  4. 实时数据分析：Elasticsearch能够对数据进行实时的聚合、过滤和分析，并支持数据可视化。

  5. 可扩展性：Elasticsearch能够扩展到数百个节点，处理PB级别的数据。

  6. 开源：Elasticsearch是一个开源的软件，源代码可以公开获取和修改。 Elasticsearch广泛应用于企业搜索、日志分析、安全分析和商业智能等领域。它提供了丰富的API和工具，包括RESTful API、Java API和Python API等，方便开发人员集成和使用。

Logstash

Logstash是一个开源的数据收集、处理和转换工具，能够从不同来源收集、处理和传输数据。，主要用于处理和分析大量的日志数据，支持多种数据源和格式，包括文本文件、数据库、日志文件、消息队列等。Logstash能够实现以下功能：

  1. 数据收集：Logstash能够从不同的数据源收集数据，并支持多种数据格式，包括JSON、CSV、XML等。

  2. 数据处理：Logstash能够对收集到的数据进行处理和转换，例如过滤、分析、标准化等。

  3. 数据传输：Logstash能够将处理后的数据传输到目标位置，例如Elasticsearch、Kafka、Redis等。

  4. 插件扩展：Logstash提供了丰富的插件，方便用户扩展和定制功能。

  5. 实时数据处理：Logstash能够实现实时数据处理，支持流式数据处理。 Logstash是一个高度可扩展的工具，能够处理大量的数据，并支持分布式部署。它能够与Elasticsearch、Kibana、Beats等工具集成，构建一个强大的、可扩展的数据分析平台。Logstash提供了丰富的文档和社区支持，方便用户学习和使用。

Kibana

Kibana是一个数据可视化工具，能够通过仪表盘、图形和地图等方式展示数据。主要用于展示和分析从Elasticsearch中获取的数据。Kibana能够实现以下功能：

  1. 数据可视化：Kibana能够通过仪表盘、图形和地图等方式展示数据，支持多种数据类型和格式。

  2. 数据查询：Kibana能够实现对Elasticsearch中存储的数据进行查询和搜索。

  3. 仪表盘管理：Kibana能够创建、管理和共享仪表盘，方便用户展示和分享数据。

  4. 可视化插件：Kibana提供了丰富的可视化插件，方便用户扩展和定制功能。

  5. 数据分析：Kibana能够实现对数据进行聚合、过滤和分析，支持实时数据处理。 Kibana的主要优点包括易用性、可扩展性和丰富的功能。它能够与Elasticsearch、Logstash、Beats等工具集成，构建一个强大的、可扩展的数据分析平台。Kibana提供了丰富的文档和社区支持，方便用户学习和使用。

docker安装ELK

安装es

1.下载es镜像

docker pull elasticsearch:7.12.1

2.运行es并导出es配置文件

# 创建一个docker 网络环境，名为elk
docker network create elk
# 运行es容器
docker run -d --name es --net elk -P -e "discovery.type=single-node" elasticsearch:7.12.1
# 宿主机创建es目录
mkdir es
chmod 666 es
# 进入es目录
cd es
# 查看当前目录
/root/work/es
# 将es容器中的配置文件复制到es目录中
docker cp es:/usr/share/elasticsearch/config/elasticsearch.yml /root/work/es/elasticsearch.yml
# 在es目录中创建data目录
mkdir data
# 准备工作已完成，删除临时创建的es容器
docker rm -f es

3.运行es

# 运行新的容器
docker run -d --name es \
--net elk \
-p 9200:9200 -p 9300:9300 \
-e "discovery.type=single-node" \
--privileged=true \
-v $PWD/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v $PWD/data/:/usr/share/elasticsearch/data \
elasticsearch:7.12.1

4.验证es是否运行成功

[root@localhost es]# curl 127.0.0.1:9200
{
  "name" : "57df77848d46",
  "cluster_name" : "docker-cluster",
  "cluster_uuid" : "mYN2JAk_RGqn58QcPho3Pw",
  "version" : {
    "number" : "7.12.1",
    "build_flavor" : "default",
    "build_type" : "docker",
    "build_hash" : "3186837139b9c6b6d23c3200870651f10d3343b7",
    "build_date" : "2021-04-20T20:56:39.040728659Z",
    "build_snapshot" : false,
    "lucene_version" : "8.8.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

安装 Kibana

1.下载kibana镜像

docekr search kibana
docker pull kibana：7.12.1

# 启动 kibana 容器并连接同一网络
docker run -d --name kibana --net elk -P -e "ELASTICSEARCH_HOSTS=http://es:9200" -e "I18N_LOCALE=zh-CN" kibana:7.12.1

2.复制kibana配置文件

cd /root/work
mkdir kibana
docker cp kibana:/usr/share/kibana/config/kibana.yml kibana/
chmod 666 kibana/kibana.yml

3.修改配置文件

server.name: kibana
server.host: "0"
elasticsearch.hosts: [ "http://192.168.2.6:9200" ]
monitoring.ui.container.elasticsearch.enabled: true
# 开启 kibana 的汉化
i18n.locale: zh-CN

4.重新启动容器

docker rm -f kibana
docker run -d --name kibana \
-p 5601:5601 \
-v $PWD/kibana/kibana.yml:/usr/share/kibana/config/kibana.yml \
--net elk \
kibana:7.12.1

5.访问kibana

通过ip:5601 可访问kibana，如图

在这里插入图片描述

安装logstash

1.拉取镜像并复制配置文件

docker pull logstash:7.12.1

docker run -d -P --name logstash --net elk logstash:7.12.1

mkdir logstash

# 拷贝数据
docker cp logstash:/usr/share/logstash/config logstash/
docker cp logstash:/usr/share/logstash/data logstash/
docker cp logstash:/usr/share/logstash/pipeline logstash/

#文件夹赋权
chmod -R 777 logstash/

2.修改logstash相关配置文件

  • 修改 logstash/config 下的 logstash.yml 文件，主要修改 es 的地址：
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://192.168.2.6:9200" ]
  • 修改 logstash/pipeline 下的 logstash.conf 文件：
input {
  tcp {
    mode => "server"
    host => "0.0.0.0"  # 允许任意主机发送日志
    port => 5044
    codec => json_lines    # 数据格式
  }
}

output {
  elasticsearch {
      hosts  => ["http://192.168.2.6:9200"]   # ElasticSearch 的地址和端口
      index  => "elk"         # 指定索引名
      codec  => "json"
  }
  stdout {
    codec => rubydebug
  }
}

3.重新启动容器

#注意先删除之前的容器
docker rm -f logstash

# 启动容器并挂载
docker run -d --name logstash --net elk \
--privileged=true \
-p 5044:5044 -p 9600:9600 \
-v $PWD/logstash/data/:/usr/share/logstash/data \
-v $PWD/logstash/config/:/usr/share/logstash/config \
-v $PWD/logstash/pipeline/:/usr/share/logstash/pipeline \
logstash:7.12.1

4.查看日志

docker logs -f logstash

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/28940.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

pytorch实现图像分类器

pytorch实现图像分类器

pytorch实现图像分类器 一、定义LeNet网络模型1，卷积 Conv2d2，池化 MaxPool2d3，Tensor的展平：view()4，全连接 Linear5，代码：定义 LeNet 网络模型 二、训练并保存网络参数1，数据预处理…
阅读更多...
Exception in thread “main“ java.lang.UnsupportedClassVersionError 50报错处理

Exception in thread “main“ java.lang.UnsupportedClassVersionError 50报错处理

之间正常走jenkinsdocker自动化部署的项目，今天改了一个文件，点了一下，竟然没有部署上去，提示如上，如下 Exception in thread "main" java.lang.UnsupportedClassVersionError: com/coocaa/tsp/sys/user/Use…
阅读更多...
采用UWB定位技术开发的室内定位系统源码

采用UWB定位技术开发的室内定位系统源码

UWB精准定位系统源码 UWB是什么？ UWB(Ultra Wideband)超宽带技术是一种全新的、与传统通信技术有极大差异的通信新技术。它不需要使用传统通信体制中的载波，而是通过发送和接收具有纳秒或纳秒级以下的极窄脉冲来传输数据，实现精准定位。 技术…
阅读更多...
机器鸟实现摆动尾巴功能

机器鸟实现摆动尾巴功能

1. 功能说明 本文示例将实现R329样机机器鸟摆动尾巴的功能。 2. 电子硬件 在这个示例中，我们采用了以下硬件，请大家参考： 主控板 Basra主控板（兼容Arduino Uno）‍ 扩展板 Bigfish2.1扩展板‍ 电池7.4V锂电池 电路连接…
阅读更多...
【头歌-Python】9.1 X射线衍射曲线绘制(project)第1~2关

【头歌-Python】9.1 X射线衍射曲线绘制(project)第1~2关

第1关：X 射线衍射曲线 任务描述 本关任务：读文件中的数据绘制线图形。 相关知识 为了完成本关任务，你需要掌握： 1.python 读取文件 2.使用 matplotlib 绘制图形 python 读取文件 python读取文件可以用以下函数实现&#xff1…
阅读更多...
chatgpt赋能python：Python收费介绍

chatgpt赋能python：Python收费介绍

Python收费介绍 什么是Python? Python是一种高级的、解释性、面向对象、纯粹的动态语言，多用于快速应用程序开发、脚本编写、系统管理任务等。它有一个简单直观优美的语法，非常容易学习。 Python的收费形式 Python语言本身是免费的，任何…
阅读更多...
如何使用Jmeter进行http接口测试？

如何使用Jmeter进行http接口测试？

目录 前言： 一、开发接口测试案例的整体方案： 二、接口自动化适用场景： 三、接口测试环境准备 四、创建工程： 总结： 前言： 本文主要针对http接口进行测试，使用Jmeter工具实现。 Jmter工具设…
阅读更多...
1.2 Scala变量与数据类型

1.2 Scala变量与数据类型

一、变量声明 (一）、利用val声明变量 案例演示 （二）利用var声明变量 案例演示 （三）换行输入语句（续行） （四）同时声明多个变量 Scala还可以将多个变量放在一起…
阅读更多...
射频电路layout总结

射频电路layout总结

射频电路板设计由于在理论上还有很多不确定性，因此常被形容为一种“黑色艺术”，但这个观点只有部分正确，RF电路板设计也有许多可以遵循的准则和不应该被忽视的法则。在实际设计时，真正实用的技巧是当这些准则和法则因各种设计约束…
阅读更多...
RTU遥测终端机的应用场景有哪些？

RTU遥测终端机的应用场景有哪些？

遥测终端机又称智能RTU遥测终端机，是一种用于采集、传输和处理遥测数据的设备。在现代科技的发展中，遥测终端机扮演着重要的角色。它是一种能够实现远程监测和控制的关键设备，广泛应用于各个领域，包括水文水利、环境监测、工业自动…
阅读更多...
创新案例｜专注在线 协作平台 设计产品中国首家PLG独角兽企业蓝湖如何实现98%的头部企业渗透率

创新案例｜专注在线 协作平台 设计产品中国首家PLG独角兽企业蓝湖如何实现98%的头部企业渗透率

蓝湖起步于2015年，是一款服务于产品经理、设计师、工程师的产品设计研发在线协作工具， 2021年10月，蓝湖宣布完成C轮融资，融资额高达10亿人民币，称为中国2B市场中首家采用PLG发展的独角兽企业，并实现了从100…
阅读更多...
Web 自动化测试Selenium 之PO 模型

Web 自动化测试Selenium 之PO 模型

目录 1. po 模型介绍 2. PageObject 设计模式 3. PO 的核心要素 4. 非PO 实现 5. PO 实现 6. 总结 7. PO 模式的特点 总结： 1. po 模型介绍 在自动化中，Selenium 自动化测试中有一个名字经常被提及 PageObject (思想与面向对象的特征相同)&#x…
阅读更多...
MySQL数据库高级操作

MySQL数据库高级操作

目录 MySQL中6种常见的约束克隆表清空表的数据记录临时表创建外键约束，保证数据的完整性和一致性。 MySQL中6种常见的约束 主键约束（primary key）外键约束（foreign key）非空约束（not null）唯一…
阅读更多...
安卓端Google隐私沙盒归因报告聚焦

安卓端Google隐私沙盒归因报告聚焦

自2022年2月Google首次提出将推出隐私沙盒至今已一年有余。现在，安卓端的隐私沙盒Beta测试已针对特定Android13设备正式开始。作为早期测试者，Adjust很高兴与 Google一同迈出增强用户隐私的第一步，并在接下来的旅程中继续携手同行。为帮助移动…
阅读更多...
opencv初学记录

opencv初学记录

准备工作： 1.找一张图片 2.准备python运行环境，并导入库，pip install opencv-python 读取文件，并打印维度 import cv2 #为什么是cv2不是cv呢，这个2指的是c的api，是为了兼容老板，cv指的就是c&am…
阅读更多...
今天面了一个来字节要求月薪23K，明显感觉他背了很多面试题...

今天面了一个来字节要求月薪23K，明显感觉他背了很多面试题...

最近有朋友去字节面试，面试前后进行了20天左右，包含4轮电话面试、1轮笔试、1轮主管视频面试、1轮hr视频面试。 据他所说，80%的人都会栽在第一轮面试，要不是他面试前做足准备，估计都坚持不完后面几轮面试。 其实&…
阅读更多...
ChatGPT/InstructGPT详解

ChatGPT/InstructGPT详解

前言 GPT系列是OpenAI的一系列预训练文章，GPT的全称是Generative Pre-Trained Transformer，顾名思义，GPT的目的就是通过Transformer为基础模型，使用预训练技术得到通用的文本模型。目前已经公布论文的有文本预训练GPT-1&#xff…
阅读更多...
【操作系统】计算机操作系统知识点总结

【操作系统】计算机操作系统知识点总结

文章目录 前言一、操作系统的概念与发展二、操作系统的结构与功能1、操作系统的结构2、操作系统的功能 三、进程管理1、进程2、进程的创建3、进程管理的实现4、进程控制块 四、内存管理1、内存2、内存管理3、内存管理的实现 五、文件系统1、文件系统2、文件系统的主要任务3、文…
阅读更多...
Java开发 - 带你了解集群间的相互调用，你还在等什么？

Java开发 - 带你了解集群间的相互调用，你还在等什么？

目录 前言 导读 项目准备 集群准备 父工程引入子项目 服务调用方HelloService准备 pom文件 yml文件 Controller文件 服务提供方HelloWorld准备 pom文件 yml文件 Controller文件 运行此两个工程 hello_world组集群 集群调用测试 RestTemplate换成Dubbo行不行…
阅读更多...
Word 2021入门指南：详细解读常用功能

Word 2021入门指南：详细解读常用功能

软件安装：办公神器office2021安装教程，让你快速上手_正经人_____的博客-CSDN博客 一、 新建文档 打开Word 2021后，可以看到左上角的“文件”选项，点击它，在弹出的菜单中选择“新建”选项。然后可以选择空白文档或者使…
阅读更多...
最新文章

Copyright @ 2022~2023