Elasticsearch 索引生命周期和翻滚 (rollover) 策略

Elasticsearch 是搜索引擎中的摇滚明星,它的蓬勃发展在于使你的数据井井有条且速度快如闪电。 但当你的数据成为一场摇滚音乐会时,管理其生命周期就变得至关重要。 正确使用索引生命周期管理 (ILM) 和 rollover 策略,你的后台工作人员可确保顺利执行。

第一阶段:索引的诞生

将你的数据视为大量旋转的文档。 为了组织它们,你需要创建一个 “索引 (index)”,一个特殊的容器,就像乐队的音乐会舞台一样。 这是热 (hot) 阶段,你的索引会收到最新更新并在搜索聚光灯下闪闪发光。

第二阶段:成长与改变

随着音乐的响起和数据的流动,你的索引会增加。 它的大小会增加,搜索性能可能会下降,并且管理会变得混乱。 这就是 rollover 策略发挥作用的地方,就像巡演搭建新舞台一样。

Rollover 来救援!

将 rollover 视为当旧舞台变得拥挤时将乐队的表演复制到新舞台。 rollover 策略定义了触发创建新索引的条件,从而无缝地从旧索引传输文档。 这使你的搜索保持活跃并且数据易于管理。

翻转触发器:size 很重要(甚至更重要!)

展期政策可能由多种因素触发,但影响最大的是:

  1. 最大索引大小:当你的索引达到预定义大小(例如 50GB)时,就该进入新阶段了。 这可以防止性能问题并使数据保持井井有条。
  2. 最大索引年龄:即使你的索引不大,一段时间后它也可能会积灰。 设置最长期限(例如 30 天)可确保旧数据被存档或删除,就像存储旧的设置列表一样。
  3. 文档数量:如果你的索引达到一定数量的文档,则需要重新开始,例如新的歌曲列表。
  4. 索引运行状况:如果索引的运行状况指标(例如分片分配)表明存在问题,则翻转可以成为一种诊断工具,例如检查扬声器系统。
  5. 自定义条件:你可以根据特定的数据模式或事件编写自己的条件,例如根据数据中的关键字触发新阶段。

第三阶段:新一代崛起

一旦触发,滚动操作就会开始。将创建一个新索引,并根据你的策略规则进行命名(例如,使用时间戳或序列号),就像为新阶段指定一个唯一的名称一样。 新文档开始无缝转移到新文档,确保连续性并防止数据丢失,例如歌曲之间的完美转换。

第四阶段:管理世代

现在有了多个索引,ILM 可以帮助管理它们的生命周期。 你可以定义不同阶段的操作:

ILM 定义了五个索引生命周期阶段:

  • Hot:索引正在积极更新和查询。
  • Warm:索引不再更新,但仍在查询。 此阶段仍然针对搜索而不是存储进行优化。
  • Cold:索引不再更新,查询也很少。 信息仍然需要可搜索,但如果这些查询速度较慢也没关系。 此阶段针对存储而不是搜索进行了优化。
  • Frozen:索引不再更新,也很少查询。 信息仍然需要可搜索,但如果这些查询非常慢也没关系。 此阶段针对长期存储进行了优化。
  • Delete:索引不再需要,可以安全地删除。

健康翻滚的好处:

  • 改进的搜索性能:较小、较新的索引搜索速度更快,就像组织良好的集合列表一样。
  • 减少集群负载:跨多个索引分布数据可以减轻集群的压力,就像有多个阶段来共享人群一样。
  • 高效的存储管理:归档或删除旧数据可以释放宝贵的磁盘空间,例如整理设备存储。
  • 更轻松的数据管理:有组织的索引使你可以更轻松地查找、分析和管理数据,就像为你的仪器添加标签库存一样。

专家提示:

  • 从简单的策略开始,然后根据需要逐渐增加复杂性。
  • 在将策略部署到生产环境之前,先在开发环境中测试你的策略。 :D :D

结论:

通过实施轮转策略和 ILM,你可以确保你的 Elasticsearch 集群在不断增长的数据负载下蓬勃发展。 请记住,健康的索引生命周期就像一场管理良好的音乐会 —— 组织有序、高效,并且随时准备好迎接旅程中的下一首歌曲(或数据更新)。

更多关于生命周期管理的文章,请详细阅读文章 “Elastic:开发者上手指南” 中的 “生命周期管理(ILM)” 章节。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/256939.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

有损编码——Wyner-Ziv理论

有损编码是一种在信息传输和存储中常见的编码技术,其主要目标是通过牺牲一定的信息质量,以换取更高的压缩效率。相比于无损编码,有损编码可以在保证一定程度的信息还原的前提下,使用更少的比特数来表示信息。Wyner-Ziv理论是一种重…

台湾虾皮卖什么比较好

虾皮(Shopee)平台在台湾地区广受欢迎,吸引了大量的消费者和卖家。该平台上有许多热销产品类别,这些产品在台湾市场上具有巨大的销售潜力。在本文中,我们将介绍虾皮平台上一些热门的产品类别,并提供一些建议…

记录一次云服务器被攻击事件

今天去登录华为云平台的时候,发现服务器的cpu涨到了百分之九十九,这个也太不正常了,我自己就只部署了一个页面,怎么会飚这么高呢? 然后,我就去找原因,使用top命令,去查看到底是谁占用…

基于Java SSM框架实现宠物医院信息管理系统项目【项目源码】

基于java的SSM框架实现宠物医院信息管理系统演示 java简介 Java语言是在二十世纪末由Sun公司发布的,而且公开源代码,这一优点吸引了许多世界各地优秀的编程爱好者,也使得他们开发出当时一款又一款经典好玩的小游戏。Java语言是纯面向对象语言…

高精度红蜡3D打印加工服务珠宝首饰3D打印微型医疗器械3D打印-CASAIM

随着科技的飞速发展,3D打印技术已经逐渐渗透到各个领域,成为现代制造业的重要组成部分。而在众多的3D打印材料中,高精度红蜡作为一种具有优异性能的材料,适合对精度要求高的小尺寸模型,用于快速铸造,如珠宝…

FA1612AS (MHz范围晶体单元,内置热敏电阻)

FA1612AS是一款小尺寸内置热敏电阻的热敏晶振,外部尺寸只有1.6*1.2mm,推出的额定频率主要有2个38.4 MHz, 52 MHz。该款热敏晶体可以在-40C至85C 的温度范围内稳定工作,具有小体积及稳定性好等特点。该款晶体主要应用领域:手机,蓝牙…

太阳能供电+4G摄像头搭建EasyCVR鱼塘养殖远程视频监控方案

一、背景需求 随着我国农业的快速发展,以及对新兴技术的应用,养殖业、农牧业、种植业等也面临着全新的挑战与机遇。对鱼塘养殖行业来说,养殖区域面积大、管理难,经常会遇到偷钓者、盗窃鱼苗、非法入侵等监管难题。在国家大力扶持…

【Mybatis】日常知识点随笔(持续更新)

目录 【K】Mybatis使用Select注解书写简单sql 【K】MySQL 数据类型与 Java 类型的对应关系 【K】Mybatis相同代码复用 1. 定义公共 SQL 片段 2. 引用公共 SQL 片段 3. 使用参数 4. 复用和组合 5. 注意事项 【K】mysql如何实现插入一条数据后立刻获取该数据自增长id进行…

2023长三角(芜湖)人工智能数字生态峰会成功召开!

聚焦当下,共议数字时代发展;瞩目未来,共谋数字生态蓝图。12月11日,2023长三角(芜湖)人工智能数字生态峰会暨2023长三角(芜湖)人工智能视觉算法大赛颁奖典礼在芜湖宜居国际博览中心盛…

【LeetCode刷题-树】--257.二叉树的所有路径

257.二叉树的所有路径 方法:深度优先搜索 /*** Definition for a binary tree node.* public class TreeNode {* int val;* TreeNode left;* TreeNode right;* TreeNode() {}* TreeNode(int val) { this.val val; }* TreeNode(int val, T…

QueryWrapper可避免大多数的SQL注入风险

一、QueryWrapper简介 QueryWrapper 是 MyBatis-Plus 中的一个功能,它提供了一种链式查询条件的方式,使得构建查询条件更加直观和简洁。虽然 QueryWrapper 提供了一个更加现代化和方便的方式来构建查询,但它并不完全替代传统的 SQL 拼接。 对…

我的4096创作纪念日

机缘 岁月如梭,时光一晃已经在CSDN扎根4096天了。第一次注册CSDN好像还是在2012年,那会还没大学毕业。初入CSDN,只是把他当作自己编程时遇到问题的在线笔记记录而已,没想到无意间还帮助了其他遇到同样问题困扰的同学。而在这4096…

HackTheBox-Machines--Broker

文章目录 1 端口扫描2 测试思路3 漏洞探测4 CVE-2023-46604漏洞利用5.权限提升 Broker 测试过程 1 端口扫描 nmap -sC -sV 10.129.41.282 测试思路 目标开启了22、80、61616端口,在服务器开启了非web及一些需要账号密码进行登录的端口时,我们的入手点从这…

出国旅游需要注意些什么

出国旅游是一种令人兴奋、令人期待的经历。然而,在进行这种经历之前,有几件事情是需要注意的。本文将为您介绍出国旅游需要注意的一些重要事项。首先,为了确保您的出国旅行顺利进行,您应该提前办理好您的签证和护照。不同国家对于…

【新姿势】SpringBoot下时间配置新方式(同文件大小)

SpringBoot Duration 背景: 在SpringBoot项目中,我们经常需要配置时间参数,作为某一动作的间隔。以往我们通常是在配置文件中定义字段后,直接设置对应的秒或毫秒值,遇到计算时,直接在此基础上做运算。这种…

Android WorkManager入门(一)

WorkManager入门 前言一、WorkManager是什么?二、使用1.添加依赖2.定义工作3.创建 WorkRequest并提交 一次性的任务(OneTimeWorkRequest)4.setExpedited 加急方法5. setInitialDelay 延时任务6.约束 总结参考资料 前言 在当今快节奏的生活中…

Volta简单介绍

Volta是一款强大的JavaScript工具管理器,它简化了命令行工具的安装和管理。通过Volta,开发者可以轻松地在多个项目中切换和配置Node.js、npm以及其它JavaScript工具版本,提高开发效率和环境一致性。 什么是 Volta Volta 是一种管理 JavaScri…

如何在公网环境使用固定域名远程访问内网BUG管理系统协同办公

文章目录 前言1. 本地安装配置BUG管理系统2. 内网穿透2.1 安装cpolar内网穿透2.2 创建隧道映射本地服务3. 测试公网远程访问4. 配置固定二级子域名4.1 保留一个二级子域名5.1 配置二级子域名6. 使用固定二级子域名远程 前言 BUG管理软件,作为软件测试工程师的必备工具之一。在…

056:vue工具 --- CSS在线格式化

第056个 查看专栏目录: VUE ------ element UI 专栏目标 在vue和element UI联合技术栈的操控下,本专栏提供行之有效的源代码示例和信息点介绍,做到灵活运用。 (1)提供vue2的一些基本操作:安装、引用,模板使…

台湾虾皮本土店铺:如何在台湾虾皮本土店铺开展电商业务

在台湾地区,虾皮(Shopee)是一款备受欢迎的电商平台。虾皮拥有强大的技术团队、丰富的电商经验和对市场的深刻理解。虾皮本土店铺凭借其在出售、物流、回款、售后、仓储等方面的一条龙服务,为广大卖家提供了全方位的保障和支持。如…