实际使用Elasticdump工具对Elasticsearch集群进行数据备份和数据还原

文/朱季谦

  • 目录
    一、Elasticdump工具介绍
    二、Elasticdump工具安装
    三、Elasticdump工具使用

最近在开发当中做了一些涉及到Elasticsearch映射结构及数据导出导入的工作，怕以后会把这过程忘记，可谓好记性不如烂笔头，故而记录成一篇博文。

玩Elasticsearch的童鞋大概都会遇到这样一个问题，如何快速地将Elasticsearch里的索引结构映射和对应数据快速地进行备份和数据还原。

这时，就可以通过Elasticsearch的导入导出工具Elasticdump来实现，可以将Elasticsearch不同集群的数据进行索引备份和还原。

一、Elasticdump工具介绍

在npm关于Elasticdump的英文官网里，可以看到一篇关于Elasticdump的英文介绍，这个工具的logo很有意思，是一台可以搬运（迁移）东西（数据）的工具车，这个logo就表明该Elasticdump工具可用来迁移备份和恢复数据。

image

使用Elasticdump时特别需要是，若直接用npm install elasticdump -g来按照，node版本需要在v10.0.0以上才能支持，否则执行该指令会出错。

Elasticdump通过向发送一个input来工作output，其标准指令是

elasticdump --input SOURCE --output DESTINATION [OPTIONS]
  • input SOURCE表示读取数据源SOURCE
  • output DESTINATION表示将数据源传输到目的地DESTINATION。
  • SOURCE/DESTINATION两者都可以是Elasticsearch URL或文件，如果是Elasticsearch URL，例如http://127.0.0.1/index，就意味着是直接往地址为http://127.0.0.1ES库里导入或者从其导出索引相关数据。
  • [OPTIONS]是操作选项，比较常用有type和limit，其他操作这里就不展开介绍。
     

type是ES数据导出导入类型，Elasticdum工具支持以下数据类型的导入导出——

type类型说明
mappingES的索引映射结构数据
dataES的数据
settingsES的索引库默认配置
analyzerES的分词器
templateES的模板结构数据
aliasES的索引别名

limit从SOURCE备份到DESTINATION的对象数量，默认是100，可自定义设置。

二、Elasticdump工具安装

1. 在线安装Elasticdum工具需要依赖node，故而先安装v10.0.0以上的node。

[root@zhu opt]# wget https://nodejs.org/dist/v12.18.3/node-v12.18.3-linux-x64.tar.xz
[root@zhu opt]# tar xvf  node-v12.18.3-linux-x64.tar.xz -C /usr/local/
[root@zhu opt]# mv /usr/local/node-v12.18.3-linux-x64 /usr/local/nodejs
[root@zhu opt]# echo export NODEJS_HOME=/usr/local/nodejs >> /etc/profile
[root@zhu opt]# echo export PATH=$PATH:$NODEJS_HOME/bin >> /etc/profile
[root@zhu opt]# echo export NODEJS_PATH=$NODEJS_HOME/lib/node_modules >>/etc/profile
[root@zhu opt]# source /etc/profile
[root@zhu opt]# ln -s /usr/local/nodejs/bin/node /usr/local/bin/node
[root@zhu opt]# ln -s /usr/local/nodejs/bin/npm /usr/local/bin/npm
[root@zhu opt]# npm -v
6.14.6
[root@zhu opt]# node -v
v12.18.3

2. 通过npm安装elasticdump

[root@zhu opt]# npm install elasticdump -g

安装成功后，进入到

[root@zhu opt]#cd /usr/local/nodejs/lib/node_modules/elasticdump/bin

可以看到有两个命令，elasticdump用来备份单个索引，multielasticdump可以用来并行备份多个索引：

root@zhu bin]# ll
总用量 20
-rwxr-xr-x. 1 1001 1001  4026 4月   9 14:38 elasticdump
-rwxr-xr-x. 1 1001 1001 14598 10月 26 1985 multielasticdump

三、Elasticdump工具使用

使用elasticdump进行单个索引备份还原操作——


- 导出索引test_event的mapping映射结构：

[root@zhu opt]# elasticdump --input=http://127.0.0.1:9200/test_event  --output=/opt/test_event_mapping.json --type=mapping

检查当前，发现已经备份成json文件：

[root@zhu opt]# ll
总用量 14368
-rw-r--r--. 1 root root     6200 4月   9 11:30 ucas_hisevenr_mapping.json

还可以直接导入到另一个es集群当中：

[root@zhu opt]# elasticdump --input=http://127.0.0.1:9200/test_event   --output=http://127.0.0.2:9200/test_event --type=mapping

- 导出索引test_event的数据：

[root@zhu opt]# elasticdump --input=http://127.0.0.1:9200/test_event  --output=/opt/data.json --type=data

同理，可直接将备份数据导入另一个es集群：

[root@zhu opt]# elasticdump --input=http://127.0.0.1:9200/test_event   --output=http://127.0.0.2:9200/test_event --type=data

elasticdump进行数据还原操作

- mapping映射结构还原：

[root@zhu opt]# elasticdump --input=/opt/test_event_mapping.json --output http://127.0.0.1:9200/ --type=mapping

- data数据还原

[root@zhu opt]# elasticdump --input=/opt/data.json    --output=http://127.0.0.1:9200/test_event    --type=data

使用elasticdump进行多个索引备份操作：

＃将ES索引及其所有类型备份到es_backup文件夹中
multielasticdump direction = dump match ='^.*$'  input = http://127.0.0.1:9200   output =/tmp/es_backup

＃仅备份ES索引以“ -index”（匹配正则表达式）为前缀的结尾。仅备份索引数据。所有其他类型都将被忽略。＃注意：默认情况下会忽略分析器和别名类型
multielasticdump --direction=dump --match='^.*-index$' --input=http://127.0.0.1:9200 --ignoreType='mapping,settings,template'  --output=/tmp/es_backup

使用elasticdump进行多个索引还原操作：

multielasticdump --direction=load --input=/tmp/es_backup --output=http://127.0.0.1:9200


根据npm的elasticdump英文官网介绍可知，这里需要注意一点是，即使用multielasticdump有一个区别的地方是--direction的参数设置和--ignoreType参数设置。

  • 备份时，--direction=dump是默认值，则--input必须是ElasticSearch服务器基本位置的URL（即http://localhost:9200），并且--output必须是目录。每个匹配的索引都会创建一个数据，映射和分析器文件。

  • 还原时，要加载从multi- elasticsearch转储的文件，--direction应将其设置为load，--input必须是multielasticsearch转储的目录，并且--output必须是Elasticsearch服务器URL。

  • --match`用于过滤应转储/加载的索引（正则表达式）。

  • --ignoreType允许从转储/加载中忽略类型。支持六个选项。data,mapping,analyzer,alias,settings,template。提供了多类型支持，使用时每种类型必须用逗号分隔，并interval允许控制生成新索引的转储/装入的时间间隔。

  • --includeType允许将类型包含在转储/装载中。支持六个选项- data,mapping,analyzer,alias,settings,template。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/147674.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

解决进程同步与互斥的Dekker算法与Peterson算法

解决进程同步与互斥的Dekker算法与Peterson算法

1. Dekker算法 2. Peterson算法
阅读更多...
Python开源项目DifFace——人脸重建（Face Restoration），模糊清晰、划痕修复及黑白上色的实践

Python开源项目DifFace——人脸重建（Face Restoration），模糊清晰、划痕修复及黑白上色的实践

无论是自己、家人或是朋友、客户的照片，免不了有些是黑白的、被污损的、模糊的，总想着修复一下。作为一个程序员 或者 程序员的家属，当然都有责任满足他们的需求、实现他们的想法。除了这个，学习了本文的成果，或许你还…
阅读更多...
解决 requests.post 数据字段编码问题的方法

解决 requests.post 数据字段编码问题的方法

问题背景 在进行网络请求时，我们通常会使用requests库的post方法来发送POST请求。然而，当我们尝试发送包含特殊字符（如中文字符）的数据时，可能会遇到数据字段被编码的问题。这可能会导致请求失败或者服务器无法正确解…
阅读更多...
AXglyph——轻量级科研绘图软件

AXglyph——轻量级科研绘图软件

今天博主将推荐一款简约却不简单的制图软件——axglyph。 AxGlyph是一款十分优秀的矢量绘图软件，官方版界面简洁，功能强大，支持自由矢量画笔、混合矢量路径和矢量漫水填充。支持自由定义的磁力点阵，支持插图编号及引用管理&#…
阅读更多...
SecureCRT 9.2.4最新

SecureCRT 9.2.4最新

SecureCRT是一款功能强大的终端仿真软件，它通过提供安全的、高效的会话，帮助用户在远程设备上完成各种任务。SecureCRT具有出色的性能和可靠性，能够处理复杂的网络环境，提供高效的远程访问和管理。 SecureCRT的主要特点包括&…
阅读更多...
荧光量子效率积分球的优势是什么

荧光量子效率积分球的优势是什么

荧光量子效率积分球是一种测量设备，可以用于测量荧光材料在特定波长下的量子效率。它由一个具有高朗伯特性的漫反射PTFE材料制成，具有高达99%的反射率和朗伯特性。积分球有三个开口，分别为光入射口、样品口和光出射口。光入射口设置有一准直镜…
阅读更多...
Java_static 继承

Java_static 继承

static static修饰成员变量 static修饰成员变量的应用场景 static修饰成员方法 static修饰成员方法的应用场景 static的注意事项 static的应用知识:代码块 static的应用知识:单例设计模式 饿汉式单例模式 懒汉式单例模式 面向对象三大特征之二:继承 什么是继承 继承的好处 继…
阅读更多...
【用户实践】openGauss5.0在某省医保局实时数仓应用

【用户实践】openGauss5.0在某省医保局实时数仓应用

一、项目背景 采用数据同步软件将各系统的数据库下的数据实时同步到openGauss数据库中；建立实时数仓；可以在实时数仓自行查询、分析、统计数据及报表；同时横向集成公共服务区和核心业务区生产库数据、集成其他委办局数据。纵向集成市级的生产…
阅读更多...
ubuntu设置脚本开机自启动

ubuntu设置脚本开机自启动

rc-local.service flexmitd1:~$ cd /lib/systemd/system/ flexmitd1:/lib/systemd/system$ ls |grep rc-local.service rc-local.service rc-local.service.d flexmitd1:/lib/systemd/system$ pwd /lib/systemd/system flexmitd1:/lib/systemd/system$确保有rc-local.service文…
阅读更多...
nginx快速部署一个网站服务 + 多域名 + 多端口

nginx快速部署一个网站服务 + 多域名 + 多端口

👨‍🎓博主简介 🏅云计算领域优质创作者   🏅华为云开发者社区专家博主   🏅阿里云开发者社区专家博主 💊交流社区：运维交流社区 欢迎大家的加入！ 🐋 希望大家多多支…
阅读更多...
WPF下实现拖动任意地方都可以拖动窗口

WPF下实现拖动任意地方都可以拖动窗口

首先在xaml中添加事件 <Window PreviewMouseLeftButtonDown"Window_PreviewMouseLeftButtonDown"PreviewMouseMove"Window_PreviewMouseMove"PreviewMouseLeftButtonUp"Window_PreviewMouseLeftButtonUp"/>然后脚本输入 Point _pressedP…
阅读更多...
建筑楼宇智慧能源管理系统，轻松解决能源管理问题

建筑楼宇智慧能源管理系统，轻松解决能源管理问题

随着科技的进步与人们节能减排意识的不断增强&#xff0c;建筑楼宇是当下节能减排的重要工具。通过能源管理平台解决能效管理、降低用能成本、一体化管控、精细化管理和服务提供有力支撑。 建筑楼宇智慧能源管理系统是一种利用先进手段&#xff0c;采用微服务架构&#xff0c;…
阅读更多...
「Verilog学习笔记」优先编码器Ⅰ

「Verilog学习笔记」优先编码器Ⅰ

专栏前言 本专栏的内容主要是记录本人学习Verilog过程中的一些知识点&#xff0c;刷题网站用的是牛客网 分析 分析编码器的功能表&#xff1a; 当使能El1时&#xff0c;编码器工作&#xff1a;而当E10时&#xff0c;禁止编码器工作&#xff0c;此时不论8个输入端为何种状态&…
阅读更多...
基于单片机的智能考勤机（论文+源码）

基于单片机的智能考勤机（论文+源码）

1.系统设计 本课题为基于单片机的智能考勤机&#xff0c;其整个系统由STC89C52单片机&#xff0c;RC522 RFID模块&#xff0c;LCD液晶&#xff0c;按键等构成&#xff0c;在功能上&#xff0c;本系统智能考勤机主要应用在校园生活中&#xff0c;用户可以通过按键注销/注销相应的…
阅读更多...
requests.post 数据字段编码问题的方法

requests.post 数据字段编码问题的方法

今夜&#xff0c;我要在代码的海洋中遨游&#xff0c;捕捉那只顽皮的bug。作为一名程序员&#xff0c;不断解决问题是日常的工作。而今天我要解决的是 requests.post 数据字段编码问题。在编程中&#xff0c;数据的编码问题常常让人头疼&#xff0c;它可能会导致程序无法正常运…
阅读更多...
工业品电商，新的隐形冠军藏不住了？

工业品电商，新的隐形冠军藏不住了？

【潮汐商业评论/原创】 “时代真的变了。”自打从淘宝买了一批配件后&#xff0c;工厂老板李瓦就经常感慨。 李瓦经营着一家专门生产机器零部件的工厂&#xff0c;日常经常要采购传送带、螺丝、螺母等材料&#xff0c;过去他主要通过线下的方式进货。但最近朋友圈里一段淘宝工…
阅读更多...
MySQL函数部分

MySQL函数部分

资料来源:菜鸟教程 #初次知晓_2023-11-15 #中职在读 MySQL_函数部分 说明字符串函数数字函数日期函数高级函数 说明 本文依照 菜鸟教程 及课堂上课内容创作。 作者水平有限&#xff0c;如有错误请提出 若本文侵权请联系我删除 笔记下载&#xff1a; 百度云盘链接&#xff1a;…
阅读更多...
CentOS7.9安装docker

CentOS7.9安装docker

在CentOS 7.9上安装Docker可以通过官方的Docker安装脚本或者使用系统包管理工具来完成 本次使用系统包管理工具 打开终端&#xff0c;以root权限登录系统。 安装所需的依赖&#xff1a; yum install -y yum-utils device-mapper-persistent-data lvm2 添加Docker的官方仓库…
阅读更多...
数据较大时的输入输出

数据较大时的输入输出

先来看问题 假设全校有最多40000名学生和最多2500门课程。现给出每个学生的选课清单&#xff0c;要求输出每门课的选课学生名单。 输入格式: 输入的第一行是两个正整数&#xff1a;N&#xff08;≤40000&#xff09;&#xff0c;为全校学生总数&#xff1b;K&#xff08;≤2500…
阅读更多...
WPF程序给按钮增加不同状态的图片

WPF程序给按钮增加不同状态的图片

首先我们在资源里添加几个图片&#xff0c;Up&#xff0c;Over和Down状态。 然后我们创建一个Style。默认我们的背景设置成Up 然后在Triggers里添加代码&#xff0c;当Property&#xff1a;IsMouseOver为True的时候更换成Over&#xff1b;当Property&#xff1a;IsPressed为Tr…
阅读更多...
最新文章

Copyright @ 2022~2023