【ES实战】治理项之索引模板相关治理

索引模板治理

文章目录

  • 索引模板治理
    • 问题现象
    • 分析思路
    • 操作步骤
    • 问题
    • 程序化方案
      • 索引与索引模板增加分片数校验管理
    • 彩蛋
      • 如何查询Flink on Yarn 模式下的Task Manager日志
        • 相关配置
        • 查询已停止的Flink任务
        • 查询未停止的Flink任务

问题现象

在集群索引新建时,索引的分片比较耗时。分钟级别的检测可以捕获到red状态。可能出现影响该索引的读写。过多的分片会应该集群的稳定。

分析思路

查询集群的索引的状态和分片数量,识别索引与分片的数量是否合理。

操作步骤

  1. 查询集群中的索引看分片数量

    GET _cat/indices?v&s=index
    

    prirep代表主分片数和副本分片数

  2. 查询集群中的索引分片大小是否合理

    GET _cat/shards?v&s=index
    

    store 代表存储大小

  3. 通过上述发现一些不合理的索引有规律性(由索引模板应用而来)

    查看模板列表

    GET _cat/templates?v&s=name
    

    template代表索引名称匹配模式(6.0版本以后为index_patterns

    查询单个模板的详细配置

    GET _template/索引模板名称
    

问题

  1. 如何识别索引属于那个模板生成???

    原生情况下,只能有索引名称进行模式匹配。

  2. 如何模板的版本与生成的索引之间的关系

    模板是可以变化,如果识别索引是那个状态下的模板呢

  3. 索引的数据量的变化不是很快,周期往往是半年或者一年,

    所以操作程序化的收益不大

程序化方案

索引与索引模板增加分片数校验管理

  • 索引模板管理信息中增加版本号,索引名称管理信息中增加,索引来源(模板-模板名称?模板ID?)
  • 索引模板应用的索引,由平台定时任务创建索引时,同时增加模板版本号信息。
  • 查询管理平台中由模板生成的索引,索引要求:当前月,当前日,前一月,前一日
  • 检测索引的分片设置是否合理,如果不合理(分片数过多或者过少)则由索引信息中绑定的索引模板,去查询模板的设置,如果模板设置不在合理范围则进行告警。
  • 模板生成的数据一般变化不会太大,可以对模板增加有一个检查时间,是检查超过半年或者1年的模板。

彩蛋

如何查询Flink on Yarn 模式下的Task Manager日志

已知条件,知晓任务的application id

目标通过Yarn Web UI查询Task Manager日志

相关配置
  • yarn.resourcemanager.webapp.address:yarn集群的RM web地址
  • yarn.nodemanager.webapp.address:yarn集群的NM web访问地址
查询已停止的Flink任务

拼接yarn集群的RM管理web地址与ApplicationId

http://{yarn.resourcemanager.webapp.address}/cluster/app/{ApplicationId}

http://demo.com:8080/cluster/app/application_1683333308174_19078

通过上述地址,打开任务的Yarn Web UI
在这里插入图片描述

点击Logs超链接,跳转到Job containerlogs 选择页,浏览器的地址会发生变化,跳转到执行Job Manager的NM上。此时也可以通过地址栏知道Node Manager的yarn.nodemanager.webapp.address的值(域名端口)。

打开jobmanager.log

在日志中搜索Registering TaskManager with ResourceID

2025-01-13 17:48:33,996 INFO flink-pekko.actor.default-dispatcher-19 ActiveResourceManager: Registering TaskManager with ResourceID container_e10_1683333308174_19078_01_000002(demo01:8043) (pekko.tcp://flink@demo01:31384/user/rpc/taskmanager_0) at ResourceManager

发现有一个task 的 ResourceID 是container_e10_1683333308174_19078_01_000002(容器ID),在demo01节点上执行。

此时开始拼接此task日志地址

http:{执行Task机器}:{yarn.nodemanager.webapp.address的端口}/node/containerlogs/{task的ResourceID}/{user}

举例:http://demo01:8088/node/containerlogs/container_e10_1683333308174_19078_01_000002/huatuo

此地址就可以打开taskmanager.log页面了

查询未停止的Flink任务

拼接yarn集群的RM管理web地址与ApplicationId

http://{yarn.resourcemanager.webapp.address}/cluster/app/{ApplicationId}

打开任务的Yarn Web UI
在这里插入图片描述

点击[ApplicationMaster]超链接,跳转到Flink的Web页面。点击导航菜单Task Managers 右侧会展示所有的Task,点击ID进行跳转至Task详细页。
在这里插入图片描述

在Task详细页,选择Logs栏会展示这个task的相关日志。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/960231.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

网络工程师 (2)计算机体系结构

一、冯诺依曼体系结构 (一)简介 冯诺依曼结构也称普林斯顿结构,是一种将程序指令存储器和数据存储器合并在一起的存储器结构。程序指令存储地址和数据存储地址指向同一个存储器的不同物理位置,因此程序指令和数据的宽度相同。数学…

Android Studio:视图绑定的岁月变迁(2/100)

一、博文导读 本文是基于Android Studio真实项目,通过解析源码了解真实应用场景,写文的视角和读者是同步的,想到看到写到,没有上帝视角。 前期回顾,本文是第二期。 private Unbinder mUnbinder; 只是声明了一个 接口…

LeetCode | 不同路径

一个机器人位于一个 m x n 网格的左上角 (起始点在下图中标记为 “Start” )。 机器人每次只能向下或者向右移动一步。机器人试图达到网格的右下角(在下图中标记为 “Finish” )。 问总共有多少条不同的路径? 示例 1…

低代码系统-产品架构案例介绍、得帆云(八)

产品名称 得帆云DeCode低代码平台-私有化 得帆云DeMDM主数据管理平台 得帆云DeCode低代码平台-公有云 得帆云DePortal企业门户 得帆云DeFusion融合集成平台 得帆云DeHoop数据中台 名词 概念 云原生 指自己搭建的运维平台,区别于阿里云、腾讯云 Dehoop 指…

使用ensp进行ppp协议综合实验

实验拓扑 实验划分 AR1的Serial3/0/0接口:192.168.1.1/24; AR2的Serial3/0/0接口:192.168.1.2/24; AR2的Serial3/0/1和4/0/0的聚合接口:192.168.2.2/24; AR3的Serial3/0/0和3/0/1的聚合接口:192…

【Python・机器学习】多元回归模型(原理及代码)

前言 自学笔记,分享给语言学/语言教育学方向的,但对语言数据处理感兴趣但是尚未入门,却需要在论文中用到的小伙伴,欢迎大佬们补充或绕道。ps:本文最少限度涉及公式讲解(文科生小白友好体质)&am…

unity免费资源2025-1-26

https://assetstore.unity.com/packages/tools/animation/motion-warping-climb-interact-270046 兑换码KINEMATION2025

Kitchen Racks 2

Kitchen Racks 2 吸盘置物架 Kitchen Racks-CSDN博客

ESMC-600M蛋白质语言模型本地部署攻略

前言 之前介绍了ESMC-6B模型的网络接口调用方法,但申请token比较慢,有网友问能不能出一个本地部署ESMC小模型的攻略,遂有本文。 其实本地部署并不复杂,官方github上面也比较清楚了。 操作过程 环境配置:CUDA 12.1、…

JAVA设计模式:依赖倒转原则(DIP)在Spring框架中的实践体现

文章目录 一、DIP原则深度解析1.1 核心定义1.2 现实比喻 二、Spring中的DIP实现机制2.1 传统实现 vs Spring实现对比 三、Spring中DIP的完整示例3.1 领域模型定义3.2 具体实现3.3 高层业务类3.4 配置类 四、Spring实现DIP的关键技术4.1 依赖注入方式对比4.2 自动装配注解 五、D…

JVM栈溢出线上环境排查

#查看当前Linux系统进程ID、线程ID、CPU占用率(-eo后面跟想要展示的列) ps H -eo pid,tid,%cpups H -eo pid,tid,%cpu |grep tid #使用java jstack 查看进程id下所有线程id的情况 jstack pid 案例2 通过jstack 排查死锁问题 #启动java代码 jstack 进…

Langchain+讯飞星火大模型Spark Max调用

1、安装langchain #安装langchain环境 pip install langchain0.3.3 openai -i https://mirrors.aliyun.com/pypi/simple #灵积模型服务 pip install dashscope -i https://mirrors.aliyun.com/pypi/simple #安装第三方集成,就是各种大语言模型 pip install langchain-comm…

Gradle配置指南:深入解析settings.gradle.kts(Kotlin DSL版)

文章目录 Gradle配置指南:深入解析settings.gradle.kts(Kotlin DSL版)settings.gradle.kts 基础配置选项单项目配置多项目配置 高级配置选项插件管理(Plugin Management)基础配置模板案例:Android项目标准配…

php twig模板引擎详细使用教程

php twig模板引擎 1. 什么是Twig模板引擎 Twig是一个强大且灵活的PHP模板引擎,它提供了一种更简洁和可扩展的方法来创建PHP应用程序的视图层。Twig模板引擎旨在将设计与业务逻辑分离,并为开发人员提供一种更加清晰和易于维护的方式来构建网页。Twig由S…

Java后端之AOP

AOP&#xff1a;面向切面编程&#xff0c;本质是面向特定方法编程 引入依赖&#xff1a; <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-aop</artifactId></dependency>示例&#xff1a;记录…

vim的多文件操作

[rootxxx ~]# vim aa.txt bb.txt cc.txt #多文件操作 next #下一个文件 prev #上一个文件 first #第一个文件 last #最后一个文件 快捷键: ctrlshift^ #当前和上个之间切换 说明&#xff1a;快捷键ctrlshift^&#xff0c…

DataSecOps的要点

2020年首次提出&#xff0c;DataSecOps是一种敏捷、全面、内置安全的 方法&#xff0c;用于协调不断变化的数据及其用户&#xff0c;旨在快速提供数据价值&#xff0c; 同时确保数据的私密性、安全性和良好的管理。 强调数据全生命周 期流转运营过程中的内嵌安全属性&#x…

实用工具推荐----wsl安装

一&#xff1a;Win设置修改 Win 搜索 ”启用或关闭windows 功能“ 将如下内容选中 点击升级 重启电脑 二&#xff1a;安装步骤 参考官方文档 适用于 Linux 的 Windows 子系统文档 | Microsoft Learn 下载wsl ubantu发行包 旧版 WSL 的手动安装步骤 | Microsoft Learn 将u…

如何建设一个企业级的数据湖

建设一个企业级的数据湖是一项复杂且系统化的工程&#xff0c;需要从需求分析、技术选型、架构设计到实施运维等多个方面进行综合规划和实施。以下是基于我搜索到的资料&#xff0c;详细阐述如何建设企业级数据湖的步骤和关键要点&#xff1a; 一、需求分析与规划 明确业务需…

如何在 macOS 上安装 PIP ?

PIP 是任何 Python 开发人员必备的工具&#xff0c;因为它简化了安装和管理 Python 包的过程。本教程是为 macOS 用户量身定制的&#xff0c;并假设对使用终端有基本的了解。 必备条件 在安装 PIP 之前&#xff0c;必须确保您的系统上已经安装了 Python。Python 3.4 及更高版…