Elasticsearch 集群快照的定期备份设置指南
概述
快照：
在给定时刻对整个集群或者单个索引进行备份，以便在之后出现故障时可以基于之前备份的快照进行快速恢复。
前提条件：
准备一个备份存储盘，本指南采用的是AWS EFS文件系统做为备份盘
一、挂载集群备份存储路径
-
在Elasticsearch集群的每一个节点上，执行以下操作创建基础目录：
mkdir /es-backup-warehouse此目录将作为挂载点及后续备份数据存储的根目录，要确保节点磁盘空间充足，能容纳预期的备份数据量。
-
挂载远程存储设备到本地目录，假设远程NFS服务器IP为
10.0.139.*，执行如下命令：sudo mount -t nfs4 -o nfsvers=4.1,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport 10.0.139.*:/ /es-backup-warehouse关于挂载参数解释：
nfsvers=4.1：指定使用NFS 4.1协议，该版本协议在性能、安全性及功能特性上有诸多优化，能更好适配集群备份场景。rsize和wsize：均设为1048576字节（即1MB），用于优化网络读写数据块大小，减少因小数据块频繁传输导致的网络开销，提升数据传输效率。hard：采用硬挂载方式，若网络连接意外中断，挂载进程会持续尝试重连，直至恢复通信，保证备份过程不因短暂网络故障而中断，确保数据完整性。timeo=600：设定连接超时时间为600秒，若发起连接请求600秒内未成功建立，将触发超时处理，避免无限期等待连接。retrans=2：限制网络异常时重传次数为2次，防止因过度重传造成网络拥塞，同时保障一定的数据传输可靠性。noresvport：取消对保留端口使用限制，使挂载能灵活选择可用端口通信，增强网络兼容性。
-
在挂载目录内创建子目录用于存放Elasticsearch备份数据，并赋予合适权限：
mkdir /es-backup-warehouse/es-backup-warehouse chown elasticsearch:elasticsearch /es-backup-warehouse/es-backup-warehouse这一步确保
elasticsearch用户及用户组拥有对该子目录的读写权限，满足Elasticsearch备份与还原操作需求。
二、配置Elasticsearch节点的快照仓库
- 使用
vim编辑器打开Elasticsearch配置文件：vim /etc/elasticsearch/elasticsearch.yml - 添加或修改以下配置项，指定快照仓库路径：
注意路径务必与实际创建的备份存储子目录路径完全匹配，Elasticsearch依赖此路径定位存储位置。path.repo: ["/es-backup-warehouse/es-backup-warehouse"]
三、滚动重启Elasticsearch集群节点
- 由于修改了关键配置文件，正在运行的集群需执行滚动重启操作，以保障集群持续可用及数据一致性。
详细步骤参考官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/7.17/restart-cluster.html#restart-cluster-rolling (注：根据自己elasticsearch版本进行参考)- 在重启过程中，可通过以下命令实时监控集群健康状况：
该命令以易读格式展示集群健康信息，涵盖节点存活数、数据分片分布、索引状态等关键指标，助您及时察觉潜在问题。GET /_cluster/health?pretty=true- 同时，利用以下命令查看节点状态：
输出节点详细信息，包括名称、IP地址、负载情况、内存使用等，辅助排查节点重启异常。GET _cat/nodes
四、在Kibana中进行快照生命周期的管理
-
登录Kibana管理界面，进入“管理” -> “Elasticsearch” -> “快照和还原”相关页面创建存储库。
-
按要求填写存储库配置：
- 存储库名称：
es-backup-repositories，建议名称简洁且唯一，方便后续管理识别。 - 存储类型：选择“共享文件系统”，对应之前挂载的NFS共享存储，保障数据存储一致性与可访问性。
- 位置：填写与
path.repo配置一致的路径，即/es-backup-warehouse/es-backup-warehouse，确保Elasticsearch与Kibana对存储位置认知统一。 - 快照压缩：设为
true，启用压缩功能，减少备份文件存储空间占用，但会增加CPU运算负担，适用于存储或带宽资源紧张场景。 - 块大小：设为
100mb，定义备份数据块大小，影响备份性能与资源分配。较大块可减少文件系统操作次数，提升效率，但还原时可能增加内存占用，需依集群性能等综合考量。 - 每秒最大快照字节数：设为
100mb，限制备份写入速度，防止过度占用网络带宽影响正常业务，可按需调整。 - 每秒最大还原字节数：设为
100mb，控制还原时数据读取速率，避免对集群性能冲击过大。
注：其它配置，多久备份一次，什么时间开始备份，等根据自己业务环境情况进行设置
- 存储库名称：
五、验证存储库及设置开机自动挂载
- 创建存储库后，在Kibana界面或通过Elasticsearch API验证，无报错即表示成功，可用于后续快照备份与还原操作。
- 为实现开机自动挂载存储，编辑
/etc/fstab文件：
添加以下挂载项（假设使用AWS EFS，地址为vi /etc/fstabfs-*.efs.us-west-2.amazonaws.com:/，依实际情况调整）：
保存fs-*.efs.us-west-2.amazonaws.com:/ /es-backup-warehouse nfs4 defaults,_netdev,nofail 0 0/etc/fstab后，执行以下命令测试配置是否生效：mount -a
六、在Kibana查看集群及节点状态
- 如需在Kibana查看集群健康状态，执行：
GET /_cluster/health?pretty=true - 查看节点状态则执行：
这两个命令有助于随时掌握集群运行状况，及时发现问题并处理，保障集群稳定高效运行，为数据备份及整体业务提供坚实支撑。GET _cat/nodes
通过以上步骤，完成了从存储路径挂载、节点配置、Kibana存储库创建到验证及自动挂载设置的全流程操作，确保Elasticsearch集群备份存储功能完备可靠，数据安全得以有效保障，后续可依备份策略定期执行快照操作。
