Elasticsearch 通过索引阻塞实现数据保护深入解析

Elasticsearch 是一种强大的搜索和分析引擎,被广泛用于各种应用中,以其强大的全文搜索能力而著称。

不过,在日常管理 Elasticsearch 时,我们经常需要对索引进行保护,以防止数据被意外修改或删除,特别是在进行系统维护或者需要优化资源使用时。

Elasticsearch提供了一种名为“索引阻塞(Index blocks)”的功能,让我们能够限制对某个索引的操作类型。

c3316ae74a8124f37597b5ee6500321d.jpeg

Elasticsearch的索引阻塞功能在早期版本中就已存在,用于管理对索引的访问和操作。随着 Elasticsearch 版本的更新,该功能也在不断得到改进和扩展。

参见官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-blocks.html

大白话——"索引阻塞"就是给我们的索引加把锁,防止别人随意修改。

1、索引阻塞的种类

Elasticsearch中的索引阻塞可以根据需要,限制对索引的读取、写入或元数据操作。

所谓的元数据,可以理解为索引的基本信息和设置,比如索引包含哪些字段,这些字段是什么类型的等等。

这些阻塞可以通过动态索引设置添加或移除,也可以通过专门的API来添加,这样做的好处是能确保在添加写入阻塞后,所有索引的分片都正确地应用了阻塞,比如确保在添加写入阻塞后,所有正在进行的写入操作都已完成。

以下是一些动态索引设置,用于确定索引上存在的阻塞类型:

  • index.blocks.read_only:设置为 true 使索引及索引元数据只读,设置为false则允许写入和元数据更改。

  • index.blocks.read_only_allow_delete:类似于index.blocks.read_only,但也允许删除索引以释放更多资源。

  • index.blocks.read:设置为 true 以禁用对索引的读取操作。

  • index.blocks.write:设置为 true 以禁用对索引的数据写入操作。与read_only不同,这个设置不影响元数据。例如,你可以调整带有写入阻塞的索引的设置,但不能调整带有read_only阻塞的索引的设置。

  • index.blocks.metadata:设置为true以禁用索引元数据的读写操作。

设置名称描述
index.blocks.read_only设置为true使索引及索引元数据只读,设置为false则允许写入和元数据更改。
index.blocks.read_only_allow_delete类似于index.blocks.write,但也允许删除索引以释放更多资源。磁盘基础的分片分配器可能会自动添加和移除这个阻塞。
index.blocks.read设置为true以禁用对索引的读取操作。
index.blocks.write设置为true以禁用对索引的数据写入操作。与read_only不同,这个设置不影响元数据。例如,你可以调整带有写入阻塞的索引的设置,但不能调整带有read_only阻塞的索引的设置。
index.blocks.metadata设置为true以禁用索引元数据的读写操作。

解释一下:index.blocks.read_only 和 index.blocks.write 区别

如下设置了禁止写入,但是可以修改索引的设置,比如:副本数的调整,这个是允许的。

PUT test-001/_settings
{
  "blocks.write": true
}

PUT test-001/_settings
{
  "number_of_replicas": 2
}

但是换成这样:

PUT test-002
PUT test-002/_settings
{
  "blocks.read_only": true
}

PUT test-002/_settings
{
  "number_of_replicas": 2
}

如上的 read_only 设置后,如果再进行修改索引设置的设置就会报错。

{
  "error": {
    "root_cause": [
      {
        "type": "cluster_block_exception",
        "reason": "index [test-002] blocked by: [FORBIDDEN/5/index read-only (api)];"
      }
    ],
    "type": "cluster_block_exception",
    "reason": "index [test-002] blocked by: [FORBIDDEN/5/index read-only (api)];"
  },
  "status": 403
}

简而言之,index.blocks.write 允许你保护索引内容的稳定性,同时仍然可以调整索引的配置来应对不同的需求或进行优化。而 index.blocks.read_only 则是一种更为严格的保护,确保索引在某段时间内完全不被更改。

2、什么时候使用阻塞?

场景1:进行系统维护场景。

比如,当你需要升级系统或者做一些关键的维护工作时,可能不希望在这期间有任何索引结构的变化。

通过阻止别人修改索引的元数据,确保索引的设置保持不变,维护索引设置的稳定性。

场景2:保护数据不被随意更改场景。

举例:如果咱们的业务数据是非常关键的,比如已经归档的日志或者历史记录,这些数据通常是不允许被更改的。

防止关键数据被随意更改或删除,确保数据的完整性和准确性。

场景3:优化资源使用的场景。

举例:有时候某个索引可能占用了太多资源,你可能暂时不想让它继续增长。

通过控制索引的读写操作,帮助管理系统资源,避免因为资源过度使用而导致系统变慢或崩溃。

场景4:遵守安全规则场景。

举例:对于一些敏感数据,可能要求严格的访问控制,不希望随便被读取或更改。

对于需要严格控制的敏感数据,通过设置阻塞来限制数据的访问和修改,保障数据安全。

3、添加索引阻塞API

使用范例参考:

PUT /<index>/_block/<block>
  • <index>:(可选,字符串)逗号分隔的索引名列表或通配符表达式,用于限制请求。

  • <block>:(必需,字符串)要添加到索引的阻塞类型。

举例,如下 API 用于给索引添加一个阻塞写入。

PUT /my-index-000001/_block/write

设置禁止写入后,如果再写入就会报错。

"reason": "index [my-index-000001] blocked by: [FORBIDDEN/8/index write (api)];"
abd09515c00f720510711212cc5a084a.png

通过执行 PUT /my-index-000001/_block/write命令,我们可以向名为my-index-000001的索引添加一个写入阻塞。成功执行此命令后,任何试图写入该索引的操作都将被阻止,直到该阻塞被显式移除。

除此之外,最常用的一个锁叫做 blocks.metadata。当我们把这个设置开启(设置为true)后,别人就不能修改索引的元数据了。

举个例子,如果你在管理一个多租户的SaaS应用,每个租户都有自己独特的索引设置和映射。你肯定不希望有一天突然有人改变了这些设置,导致系统运行不正常。这时候,就可以使用 blocks.metadata 这个锁来防止索引的元数据被修改。

PUT test


PUT test/_settings
{
  "blocks.metadata": true
}

如下的所有操作都会报错:

GET  test
GET  test/_settings
GET  test/_mapping

PUT test/_doc/1
{
  "title": "1111"
}

但是,如下检索是可以正常进行的。

GET test/_search
{
  "query": {
    "match_all": {}
  }
}

4、解除设置 API

要解除已经设置的索引阻塞,可以将相应的阻塞设置修改为false或使用 null来移除特定的阻塞。例如,要移除索引的 read_only阻塞,可以使用以下命令:

PUT /<index>/_settings 
{ "index.blocks.read_only": false }

请注意,在进行此操作之前,确保已经解决了导致设置阻塞的原因,如磁盘空间不足等。

5、小结

Elasticsearch的索引阻塞功能为数据提供了一层额外的保护,确保数据能够按照预期安全、正确地被处理和访问。

这套功能在系统维护、数据保护、资源优化和安全增强等方面特别有用。

通过熟悉Elasticsearch提供的各种索引阻塞设置,可以有效管理对索引的访问,保障数据完整性,高效利用资源,并加强数据的安全性。正确使用这些强大的工具需要深入理解它们的作用和应用场景。

6、参考

https://kulekci.medium.com/elasticsearch-index-blocks-a-deep-dive-into-data-protection-b2ecc4b780c8

7 年+积累、 Elastic 创始人Shay Banon 等 15 位专家推荐的 Elasticsearch 8.X新书已上线

866cefc681bd4a82ce81388cf3cf7ac3.jpeg

更短时间更快习得更多干货!

和全球 近2000+ Elastic 爱好者一起精进!

elastic6.cn——ElasticStack进阶助手

3f17d4bd60ebbbff3fb5c4005d54db4c.gif

比同事抢先一步学习进阶干货!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/443048.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

java IO 02 IO接口,字节流和字符流,节点流和处理流

01.定义 02.IO中的输入和输出的划分 03.流的分类 IO流的所有类中&#xff0c;最先分野的是字节流和字符流。 字节流包括&#xff1a;输入流和输出流 InputStream public abstract class InputStream implements Closeable { }OutputStream public abstract class OutputSt…

专业140+总分430+西南交通大学924信号与系统考研经验电子信息与通信工程,真题,大纲,参考书

今年报考西南交通大学&#xff0c;考研分数专业课924信号与系统140&#xff0c;总分430&#xff0c;各门分数都还是比较均衡&#xff0c;经过一年的复习&#xff0c;有得有失&#xff0c;总结一下自己的复习经历&#xff0c;希望给大家有点帮助&#xff0c;在复习中做的更好&am…

初始安装RabbitMQ

文章目录 1. RabbitMQ 概念2. RabbitMQ 四大核心概念3. RabbitMQ 核心部分4. RabbitMQ 名词解释5. RabbitMQ 安装 1. RabbitMQ 概念 RabbitMQ 是一个消息中间件&#xff1a;它接受并转发消息。 可以把它当做一个快递站点&#xff0c;当你要发送一个包裹时&#xff0c;你把你的…

IntelliJ IDEA自定义关闭当前文件的快捷方式

前言 idea中关闭当前标签页的默认快捷键是CtrlF4,这个组合键在键盘上操作起来很是不方便&#xff0c;我们可以在设置中自定义自己习惯的快捷方式。 自定义步骤 要在 IntelliJ IDEA 中将关闭当前文件的快捷方式设置为 Alt Q&#xff0c;请按照以下步骤操作&#xff1a;打开 …

计算机软件文档编制规范GB_T 8567-2006

版权声明 本文原创作者&#xff1a;谷哥的小弟作者博客地址&#xff1a;http://blog.csdn.net/lfdfhl 计算机软件文档编制规范概述 计算机软件文档编制规范&#xff08;Specification for computer software documentation&#xff09; 由TC28&#xff08;全国信息技术标准化技…

【Node.js从基础到高级运用】二、搭建开发环境

Node.js入门&#xff1a;搭建开发环境 在上一篇文章中&#xff0c;我们介绍了Node.js的基础概念。现在&#xff0c;我们将进入一个更实际的阶段——搭建Node.js的开发环境。这是每个Node.js开发者旅程中的第一步。接下来&#xff0c;我们将详细讨论如何安装Node.js和npm&#…

ChatGPT Plus 支付出现「您的银行卡被拒绝/your card has been declined」怎么办?

ChatGPT Plus 支付出现「您的银行卡被拒绝/your card has been declined」怎么办&#xff1f; 在订阅 ChatGPT Plus 或者 OpenAI API 时&#xff0c;有时候会出现已下报错 &#xff1a; Your card has been declined. 您的银行卡被拒绝 出现这种错误&#xff0c;有以下几个解…

蓝桥杯练习系统(算法训练)ALGO-982 最小距离

资源限制 内存限制&#xff1a;256.0MB C/C时间限制&#xff1a;1.0s Java时间限制&#xff1a;3.0s Python时间限制&#xff1a;5.0s 最小距离 问题描述 数轴上有n个数字&#xff0c;求最近的两个数&#xff0c;即min(abs(x-y)) 输入格式 第一行包含一个整数n。   …

Mysql:如何自定义导出表结构

为了方便将mysql表结构信息快速录入到word或Excel表格中&#xff0c;最终实现如下效果&#xff1a; 对于word,则可将Excel表格复制粘贴即可。 废话不多少&#xff0c;开干。 准备准建&#xff1a;navicat 或sqlyog 第一步&#xff1a;编辑sql&#xff0c;如&#xff1a; SE…

rabbitmq 基本总结

rabbitmq 的基本概念 vhost、broker、producer、 consumer、 exchange、 queue、 routing key rabbitmq 常用的队列类型&#xff0c;工作队列&#xff08;简单队列&#xff09;,pub/sub, routing key&#xff0c; topic 模式 <dependency><groupId>com.rabbitmq&l…

Excel 快速填充/输入内容

目录 一. Ctrl D/R 向下/右填充二. 批量输入内容 一. Ctrl D/R 向下/右填充 ⏹如下图所示&#xff0c;通过快捷键向下和向右填充数据 &#x1f914;当选中第一个单元格之后&#xff0c;可以按住Shift后&#xff0c;再选中最后一个单元格&#xff0c;可以选中第一个单元格和最…

云计算项目九:K8S安装

K8S安装 Kube-master安装 按照如下配置准备云主机 防火墙相关配置&#xff1a;禁用selinux&#xff0c;禁用swap&#xff0c;且在firewalld-*。上传kubernetes.zip 到跳板机 配置yum仓库&#xff08;跳板机&#xff09; 跳板机主机配置k8s软件源服务端 [rootjs ~]# yum -y…

uniapp踩坑之项目:uni.previewImage简易版预览单图片

主要使用uni.previewImage //html <view class"box-card" v-for"(item,index) in DataList" :key"index"><view>图片&#xff1a;</view><image :src"item.Path" tap.stop"clickImg(item.Path)">&l…

JavaScript数组方法常用方法大全

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 1. push()2. pop()3. unshift()4. shift()5. isArray()6. map()7. filter()8. every()9. some()10. splice()11. slice()12. indexOf()13. includes()14. concat()1…

Python和Google Colab进行卫星图像二维小波变化和机器学习

2D 小波分解是图像处理中的一种流行技术,使用不同的滤波器将图像分解为不同的频率分量(“近似”和“细节”系数)。该技术对于各种图像处理任务特别有用,例如压缩、去噪、特征提取和边缘检测。 在本文中,我们将演示如何在 Google Colab 中使用 Python 下载高分辨率样本卫星…

弄清Resource、ResourceLoader、容器之间的微妙关系

Resource&#xff1a; 在Java中&#xff0c;资源会被抽象成url&#xff0c;通过url前面的协议&#xff08;如file&#xff1a;&#xff0c;classpath&#xff1a;&#xff09;来处理不同的操作逻辑&#xff0c;resource是一个接口 Resource家族 具体的资源访问由其实现类完成&a…

Python学习日记之学习turtle库(下 篇)

前言&#xff1a; 书接上篇&#xff0c;我们继续来了解Python内置库 turtle功能库。在前面的文章中&#xff0c;我们初步的了解了一下 turtle库&#xff0c;画布和画笔相关的函数&#xff0c;那么我们继续来深入了解一下吧。 详情见&#xff1a; Python学习日记之学习turtle库…

Spring web MVC(入门)

1、什么是MVC&#xff08;一种思想&#xff09; Model View Controller &#xff1a; Model—模型 View—视图 Controller—控制器 2、Spring MVC是一种实现&#xff08;我们现在学的是Spring web,Spring mvc过时了&#xff09; View属于前端问题我们后端人员不必太过于关注…

Prometheus添加nginx节点显示不支持stub_status 解决办法

1、我们在使用Prometheus监控添加nginx节点监控的时候&#xff0c;在被监控节点的nginx配置文件中添加下面的模块 server { listen 80; server_name localhost; location /stub_status { stub_status on; access_log off; …

Leetcode 73. 矩阵置零

给定一个 m x n 的矩阵&#xff0c;如果一个元素为0&#xff0c;则将其所在行和列的所有元素都设为 0 。请使用原地算法。 示例 1&#xff1a; 输入&#xff1a;matrix [[1,1,1],[1,0,1],[1,1,1]] 输出&#xff1a;[[1,0,1],[0,0,0],[1,0,1]] 示例 2&#xff1a; 输入&a…