使用metricbeat 监控多ES集群

背景

ES 本身自带 监控，属于xpack 中的内容，为商业版，需要收费；

并且 monitor 功能必须要在security开启后才能使用，还有就是集群监控自己，将采集到的性能数据保存到本集群，这是一个比较差的设计方式，因为对于生产集群，它不得不为监控提供额外的资源；还有就是集群故障之后，监控数据不可见，在集群恢复之前，无法查看监控数据；

metricbeat

Metricbeat是一个轻量级的托运程序，可以安装在服务器上，定期从操作系统和服务器上运行的服务收集度量。Metricbeat获取它收集的度量和统计数据，并将它们发送到您指定的输出，例如Elasticsearch或Logstash。

Metricbeat 本身可以向kibana 发送dashboard 的模板，用于kibana 的对监控信息的图形化展示；

Kibana

Kibana是Elasticsearch的官方UI工具，它提供了强大的可视化和搜索功能，可以用于监控和调优Elasticsearch集群。Kibana提供了许多内置的仪表盘和可视化组件，可以用来展示Elasticsearch的性能指标、日志和事件数据等。开发者和运维人员可以使用Kibana来监控集群的健康状况、索引状态、搜索响应时间等。

架构

  1. 部署单独用于保存监控数据的ES 集群(单节点也是可以的) + 用于展示监控数据的 kibana;

  2. 一个 metricbeat 用于收集所有的 被监控的ES 集群；(也可以一个ES cluster 一个对应的metricbeat，这样更改一个的配置就不影响其他的信息收集)

  3. 被监控的cluster 需要开启相关配置，允许被采集监控信息；（目前是在全部相同的ES 版本上采集，对于要监控的cluster ES 版本不同的情况未测试）

实现步骤

1， 配置被监控的cluster

配置启动收集监控数据

在 elasticsearch.yml 添加 xpack.monitoring.collection.enabled: true

也可以在 kibana 中执行：

PUT /_cluster/settings
{
  "persistent": {
    "xpack.monitoring.collection.enabled": true
  }
}

这样被监控cluster 就可以被收集监控指标了；

2，配置 metricbeat

配置要收集的cluster 和 monitor ES 地址；

2.1 启用 elasticsearch-xpack module

user@EBJ1214112 metricbeat-7.10.1-1 % ./metricbeat modules enable elasticsearch-xpack    
Enabled elasticsearch-xpack
user@EBJ1214112 metricbeat-7.10.1-1 % ./metricbeat modules list
Enabled:
elasticsearch-xpack

2.2 配置要被监控的ES cluster

# 上面的命令执行后，可以配置 modules.d/elasticsearch-xpack.yml 了，向其中添加 elasticsearch module
# 由于没有开启 xpack, 无需配置 username 和 password
user@EBJ1214112 metricbeat-7.10.1-1 % cat modules.d/elasticsearch-xpack.yml

# Module: elasticsearch
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/7.10/metricbeat-module-elasticsearch.html

- module: elasticsearch
  metricsets:
    - ccr
    - cluster_stats
    - enrich
    - index
    - index_recovery
    - index_summary
    - ml_job
    - node
    - node_stats
    - pending_tasks
    - shard
  xpack.enabled: true
  period: 10s
  hosts: ["http://cluster1:9201"]
  scope: cluster
  #username: "user"
  #password: "secret"

- module: elasticsearch
  metricsets:
    - ccr
    - cluster_stats
    - enrich
    - index
    - index_recovery
    - index_summary
    - ml_job
    - node
    - node_stats
    - pending_tasks
    - shard
  xpack.enabled: true
  period: 10s
  hosts: ["http://cluster2:9202"]
  scope: cluster
  #username: "user"
  #password: "secret"

2.3 配置 metricbeat.yml

metricbeat.yml 其中包含了 elasticsearch out 信息、展示监控指标kibana的地址

# cat metricbeat.yml

# ======================= Elasticsearch template setting =======================
# 用于向 monitor ES 发送 template 的配置
setup.template.settings:
  index.number_of_shards: 1
  index.codec: best_compression
  #_source.enabled: false
  
# =================================== Kibana ===================================

# Starting with Beats version 6.0.0, the dashboards are loaded via the Kibana API.
# This requires a Kibana endpoint configuration.
# 向该kibana发送dashboard 信息
setup.kibana:
  host: "monitor:5601"

# ---------------------------- Elasticsearch Output ----------------------------
# 采集的监控数据将被收到下面的ES 中
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["monitor:9200"]

  # Protocol - either `http` (default) or `https`.
  #protocol: "https"

  # Authentication credentials - either API key or username/password.
  #api_key: "id:api_key"
  #username: "elastic"
  #password: "changeme"

2.4 启动 metricbeat

# 首先是预发执行：
# setup : 向kibana 发出dashboard ,还有向 ES 发出template
# 查看下面日志：
# 1， 定义的 ILM， 用于控制监控数据的大小，及时删除旧数据；
# 2， 向ES 发送了 template ，用于指导 index 的创建；
# 3， Kibana dashboards successfully loaded
user@EBJ1214112 metricbeat-7.10.1-darwin-x86_64 % ./metricbeat setup -e
……
2024-01-06T17:59:07.978+0800	INFO	[index-management]	idxmgmt/std.go:261	Auto ILM enable success.
2024-01-06T17:59:07.986+0800	INFO	[index-management.ilm]	ilm/std.go:139	do not generate ilm policy: exists=true, overwrite=false
2024-01-06T17:59:07.986+0800	INFO	[index-management]	idxmgmt/std.go:274	ILM policy successfully loaded.
2024-01-06T17:59:07.986+0800	INFO	[index-management]	idxmgmt/std.go:407	Set setup.template.name to '{metricbeat-7.10.1 {now/d}-000001}' as ILM is enabled.
2024-01-06T17:59:07.986+0800	INFO	[index-management]	idxmgmt/std.go:412	Set setup.template.pattern to 'metricbeat-7.10.1-*' as ILM is enabled.
2024-01-06T17:59:07.986+0800	INFO	[index-management]	idxmgmt/std.go:446	Set settings.index.lifecycle.rollover_alias in template to {metricbeat-7.10.1 {now/d}-000001} as ILM is enabled.
2024-01-06T17:59:07.987+0800	INFO	[index-management]	idxmgmt/std.go:450	Set settings.index.lifecycle.name in template to {metricbeat {"policy":{"phases":{"hot":{"actions":{"rollover":{"max_age":"30d","max_size":"50gb"}}}}}}} as ILM is enabled.
2024-01-06T17:59:07.991+0800	INFO	template/load.go:183	Existing template will be overwritten, as overwrite is enabled.
2024-01-06T17:59:08.175+0800	INFO	template/load.go:117	Try loading template metricbeat-7.10.1 to Elasticsearch
2024-01-06T17:59:08.430+0800	INFO	template/load.go:109	template with name 'metricbeat-7.10.1' loaded.
2024-01-06T17:59:08.430+0800	INFO	[index-management]	idxmgmt/std.go:298	Loaded index template.
2024-01-06T17:59:08.818+0800	INFO	[index-management]	idxmgmt/std.go:309	Write alias successfully generated.
Index setup finished.
Loading dashboards (Kibana must be running and reachable)
2024-01-06T17:59:08.818+0800	INFO	kibana/client.go:119	Kibana url: http://localhost:5601
2024-01-06T17:59:09.083+0800	INFO	kibana/client.go:119	Kibana url: http://localhost:5601
2024-01-06T17:59:10.880+0800	INFO	[add_cloud_metadata]	add_cloud_metadata/add_cloud_metadata.go:89	add_cloud_metadata: hosting provider type not detected.
2024-01-06T18:00:52.056+0800	INFO	instance/beat.go:815	Kibana dashboards successfully loaded.
Loaded dashboards


# 上面准备工作执行完成，就可以真正的采集数据了
user@EBJ1214112 metricbeat-7.10.1-darwin-x86_64 % ./metricbeat -e
3，monitor ES

可以通过 kibana 查看ES 中的数据：

GET .monitoring-es-7-mb-2024.01.07/_search
{
  "size": 200, 
  "sort": [
    {
      "timestamp": {
        "order": "desc"
      }
    }
  ]
}

# 多次执行，发现数据有变动，说明数据已经已经存在了；
4，kibana

到目前为止，很顺利，我们在kibana 上看到了监控集群，但是点进去看一下详细信息的时候，发生了一下的提示，意思是由于被监控的集群的 license 是 basic ，所以不支持查看。

通过修改 metric 数据改变license 版本类型： 

哈哈，license 变了，之后再聊怎么变的。

点进一个cluster ，可以看到监控了：

5，elasticsearch

由于 监控数据中保存了 原始集群的 license 信息，所以我们改一下就好；

# 保存监控数据index为 .monitoring-es-7-mb-2024.01.07
# 先为 license 添加mapping,使其可以被查询, 并可以改变
PUT /.monitoring-es-7-mb-2024.01.07/_mapping
{
  "properties": {
    "license": {
      "properties": {
        "type": {
          "type": "keyword"
        }
      }
    }
  }
}

# 定义 pipeline 用于改变 license 
PUT _ingest/pipeline/set-license
{
  "description" : "sets license",
  "processors" : [ {
      "set" : {
        "field": "license.type",
        "value": "platinum"  # 这里改为 铂金版
      }
  } ]
}

# 执行 更改数据 ，查到 license.type=basic 改为 license.type=platinum
POST .monitoring-es-7-mb-2024.01.07/_update_by_query?pipeline=set-license
{
  "query": {
    "term": {
      "license.type": {
        "value": "basic"
      }
    }
  }
}

上面的改变数据license需要考验手速，在 metricbeat period: 10s 之间改完，然后点进cluster 监控dashbard 进去就可以慢慢看了。 

ToDo

上述的方案虽然能实现多ES集群的监控，但是由于需要拼手速是不完美的。改进的方案为

1， 另外起一个 进程不断地更新license.type 为 basic 为 platinum；

2，在monitor ES中安装一个 plugin ： 其中定义 ActionFilter ，用于过滤 bulk index 的请求，改变其中的请求body ,将 license.type 为 basic 为 platinum （推荐，但有开发量，但不多）

 

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/300585.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

全网最全postman接口测试教程和项目实战~从入门到精通！！！

全网最全postman接口测试教程和项目实战~从入门到精通！！！

Postman实现接口测试内容大纲一览： 一、什么是接口？为什么需要接口？ 接口指的是实体或者软件提供给外界的一种服务。 因为接口能使我们的实体或者软件的内部数据能够被外部进行修改。从而使得内部和外部实现数据交互。所以需要接口。 比如&…
阅读更多...
05 Ciso模拟器连接腾讯云物联网开发平台

05 Ciso模拟器连接腾讯云物联网开发平台

Ciso声明：本篇文章基于使用腾讯云物联网平台连接自定义esp8266物联网设备(腾讯连连控制开关实现) - CSDN App改编 一、总体概览 功能描述： 使用腾讯连连小程序进行控制， Alarm（警铃）：开的时候&#xff…
阅读更多...
python编程从入门到实践（3+4）操作列表+if语句

python编程从入门到实践（3+4）操作列表+if语句

文章目录 第四章 列表操作4.1遍历整个列表：可能会发生变化的数值，列表可修改4.1.2遍历中的缩进 4.3创建数值列表4.3.1 使用range（）函数range（i，m）输出从i到m-1range(m) 打印从0到m-1 4.3.1 使用…
阅读更多...
UVa12419 Heap Manager

UVa12419 Heap Manager

题目链接 UVa12419 - Heap Manager 题意 内存以内存单元为基本单位，每个内存单元用一个固定的整数作为标识，称为地址。地址从0开始连续排列，地址相邻的内存单元被认为是逻辑上连续的。我们把从地址i开始的s个连续的内存单元称为首地址为i长度…
阅读更多...
【Maven笔记3】Maven基础入门案例

【Maven笔记3】Maven基础入门案例

本篇通过一个最基础的入门案例，熟悉一下maven最基础的使用方法。 编写POM maven项目的核心是pom.xml文件，pom定义了项目的基本信息，用于描述项目如何构建，声明项目依赖等等。 这里我们新建一个maven-demo-hello项目，…
阅读更多...
thinkphp学习03-url访问模式

thinkphp学习03-url访问模式

多应用&#xff1a;http://serverName/index.php/应用/控制器/操作/参数/值…&#xff1b;单应用&#xff1a;http://serverName/index.php/控制器/操作/参数/值…&#xff1b; http://localhost:8506/index.php Contoller下新建Test.php <?php namespace app\controlle…
阅读更多...
Linux第14步_安装FTP服务器

Linux第14步_安装FTP服务器

安装“vim编辑器”后&#xff0c;我们紧接着“安装FTP服务器”。 1、在安装前&#xff0c;要检查虚拟机可以上网&#xff0c;否则可能会导致安装失败。 2、在虚拟机界面右击鼠标&#xff0c;弹出下面的对话框 3、点击“打开终端(E)”&#xff0c;得到下面的界面 &#xff1a;…
阅读更多...
软件测试|Linux下Python安装配置指南

软件测试|Linux下Python安装配置指南

在Linux中安装Python是一个简单而且重要的过程&#xff0c;因为Python是一种广泛使用的编程语言&#xff0c;许多系统工具和应用都依赖于它。在本文中&#xff0c;我将详细介绍如何在Linux系统中安装Python。 请注意&#xff0c;在本文中&#xff0c;我将以Centos为例&#xf…
阅读更多...
Spring mvc WebDataBinder数据绑定器

Spring mvc WebDataBinder数据绑定器

前言 DataBinder 是数据绑定器&#xff0c;它的作用是把一组属性值绑定到目标对象上&#xff0c;参数绑定的方式一般是通过 Java 反射。WebDataBinder 顾名思义&#xff0c;它是专门在 Web 环境使用的数据绑定器。 “数据绑定”对于框架而言是一项基础能力&#xff0c;很多地方…
阅读更多...
裁员+失恋或许不能比这更遭了，敬一塌糊涂与充满感动的2023，也敬曾经的挚爱与寒冬的冰霜

裁员+失恋或许不能比这更遭了，敬一塌糊涂与充满感动的2023，也敬曾经的挚爱与寒冬的冰霜

~ 随机抽取评论区的 3位 小伙伴送上精美礼品 ~ 参与方式&#xff1a;关注、点赞、收藏&#xff0c;评论 "2024&#xff0c;一天当做两天卷&#xff01;" 活动时间&#xff1a;截止到 2024-01-21 00:00:00 礼品清单&#xff1a;CSDN活动周边、自选图书 本文目录 序 …
阅读更多...
Java---网络编程

Java---网络编程

文章目录 1. 网络编程概述2. InetAddress3. 端口和协议4. Java网络API5. URL6. URLConnection类 1. 网络编程概述 1. 计算机网络&#xff1a;是指将地理位置不同的具有独立功能的多台计算机及其外部设备&#xff0c;通过通信线路连接起来&#xff0c;在网络操作系统、网络管理软…
阅读更多...
Unity 0GC或者最大限度降低GC方案

Unity 0GC或者最大限度降低GC方案

文章目录 GC带来的问题性能瓶颈玩家体验受损 优化关键点1. **对象池技术**&#xff1a;2. **内存管理优化**&#xff1a;3. **UGUI优化**&#xff1a;4. **ECS架构下的优化**&#xff1a;5. **资源管理**&#xff1a;6. **自定义数据结构与算法**&#xff1a;7. **开启增量GC&a…
阅读更多...
网络嗅探器的设计与实现(2024)-转载

网络嗅探器的设计与实现(2024)-转载

1.题目描述 参照 raw socket 编程例子&#xff0c;设计一个可以监视网络的状态、数据流动情况以及网络上传输 的信息的网络嗅探器。 2.运行结果 3.导入程序需要的库 请参考下面链接: 导入WinPcap到Clion (2024)-CSDN博客 4.参考代码 #define HAVE_REMOTE #define LINE_LEN …
阅读更多...
一起玩儿物联网人工智能小车（ESP32）——24. 变量与函数（二）

一起玩儿物联网人工智能小车（ESP32）——24. 变量与函数（二）

摘要&#xff1a;本文介绍变量和函数的基本知识 在前面一篇中了解了变量&#xff0c;接着就来了解一下函数。函数是程序中的一个关键概念&#xff0c;它可以简化程序的编写&#xff0c;使代码更加模块化、可复用&#xff0c;提高程序的可读性。其实在之前已经多次遇到函数了&am…
阅读更多...
VELO维乐携手【晓饰记】创始人胡晓，引领潮流新饰界！

VELO维乐携手【晓饰记】创始人胡晓，引领潮流新饰界！

不知道大家还记不记得2023年维乐带着自己满满的诚意闪现英伦时尚之都为全世界带来了一场无与伦比的视觉盛宴&#xff01;而依照维乐固有的执念&#xff0c;从不会让自己止步的精神&#xff0c;维乐又带着自己的维乐坐垫找到了CoCo胡晓&#xff0c;【晓饰记】的首饰品牌创始人、…
阅读更多...
Video classification with UniFormer基于统一分类器的视频分类

Video classification with UniFormer基于统一分类器的视频分类

本文主要介绍了UniFormer: Unified Transformer for Efficient Spatial-Temporal Representation Learning 代码&#xff1a;https://github.com/Sense-X/UniFormer/tree/main/video_classification UNIFormer 动机 由于视频具有大量的局部冗余和复杂的全局依赖关系&#xf…
阅读更多...
Matplotlib for C++不完全手册

Matplotlib for C++不完全手册

matplotlib-cpp是Matplotlib&#xff08;MPL&#xff09;为C提供的一个用于python的matplotlib绘图库的C包装器。它的构建类似于Matlab和matplotlib使用的绘图API。 However, the function signatures might differ and Matplotlib for C does not support the full functional…
阅读更多...
Java学习苦旅（二十六）——反射，枚举和lamda表达式

Java学习苦旅（二十六）——反射，枚举和lamda表达式

本篇博客将讲解反射&#xff0c;枚举和lamda表达式。 文章目录 反射定义用途反射基本信息反射相关的类Class类Class类中相关的方法 反射示例反射的优缺点优点缺点 枚举背景及定义常用方法枚举优缺点优点缺点 Lambda表达式背景语法函数式接口定义基本使用 变量捕获Lambda在集合…
阅读更多...
在drawio中使用BPMN2.0绘制详细的业务流程图和编排模型

在drawio中使用BPMN2.0绘制详细的业务流程图和编排模型

在drawio中使用BPMN2.0绘制详细的业务流程图和编排模型 drawio是一款强大的图表绘制软件&#xff0c;支持在线云端版本以及windows, macOS, linux安装版。 如果想在线直接使用&#xff0c;则直接输入网址draw.io或者使用drawon(桌案), drawon.cn内部完整的集成了drawio的所有功…
阅读更多...
Qt pro文件

Qt pro文件

1. 项目通常结构 2.pri文件 pri文件可定义通用的宏&#xff0c;例如创建一个COMMON.pri文件内容为 COMMON_PATH D:\MyData 然后其它pri或者pro文件如APPTemplate.pro文件中通过添加include(Common.pri) &#xff0c;QtCreator就会自动在项目结构树里面创建对应的节点 3.变量…
阅读更多...
最新文章

Copyright @ 2022~2023