我如何知道我的MinIO集群复制是最新的？

客户可以在任何需要快速、弹性、可扩展对象存储的地方运行 MinIO。MinIO 包括多种类型的复制，以确保每个应用程序都使用最新的数据，无论它在哪里运行。在之前有关批量复制、站点复制和存储桶复制的文章中，我们详细介绍了各种可用的复制选项及其最佳实践。

复制在绝大多数情况下都成功完成，但有时可能需要确定复制操作是否已完成。MinIO 维护一个复制队列来管理多个并发复制。MinIO 监视队列以复制或删除对象，同时扫描较新的对象。MinIO 尝试复制对象最多三次，然后再对失败的对象执行出列复制操作。请注意，这些情况并不经常发生，当它们发生时，是物理硬件、WAN 网络、数十亿个对象和站点之间的巨大距离的问题。但对于日常的一般运营来说，这并不是我们绝大多数客户关心的问题。

但是，由于跨多个站点有多个存储桶，如何确定复制是否按预期运行并对其进行跟踪？如何判断是否有任何需要复制的待处理对象？在启动在另一个云中运行的 ML 算法之前，您如何知道复制是最新的？

复制状态

MinIO 支持两种类型的复制：异步复制和同步复制。

异步复制 ：一旦发出复制对象的请求，MinIO 将首先返回成功的响应。这不会等待对象成功复制后再返回响应。这是默认设置，但为什么呢？有时，对象可能太大，两个群集之间的 WAN 网络可能很慢，或者可能有多种原因需要几分钟才能复制对象。我们对 MinIO 复制的弹性非常有信心，因此我们进行了适当的检查，以确保复制队列中的对象能够成功复制。使用这种类型的复制，进程无需等待数据被复制，然后再向队列添加更多对象。对于这种类型的复制，需要注意的一点是，它可能会导致对象过时或丢失，同时缓解缓慢的写入操作。

同步复制： 同步复制对象时，MinIO 会等待整个对象复制完毕后再返回成功响应。这可确保对象已成功复制到远程集群，而不会丢失对象。缺点是，对于每个对象，确定该对象是否已完成复制并移动到下一个对象，而不仅仅是设置它并将其遗忘在队列中，会产生额外的开销。

换句话说，将同步复制视为 TCP 协议握手，在传输其他数据包（例如应用程序流量）之前，会确认发送的初始数据包。对象从一个 MinIO 服务器发送到另一个 （SYN），接收服务器确认对象已被复制 （SYN-ACK），然后客户端以确认 （ACK） 进行响应。虽然TCP更健壮，但来回“通话”会导致网络上的大量流量。另一方面，将异步复制视为 UDP 协议（如 SNMP），其中对象被发送到接收方，而无需等待 SYN-ACK。在数据量很大的情况下，以这种方式进行复制很有用，因此必须等待对象之间的 ACK 可能会导致大量开销，不利于运行高效复制。

因此，在使用带有 add 标志 mc admin bucket remote add 的命令配置远程目标时，必须显式启用同步复制。

为了了解对象的实际状态，MinIO 会根据对象的复制状态设置 X-Amz-Replication-Status 元数据字段，该状态可以是以下状态之一：

PENDING ：对象尚未复制。如果对象满足存储桶上配置的复制规则之一，则 MinIO 将应用此状态。MinIO 会持续扫描尚未在复制队列中的 PENDING 对象，并在空间可用时将其添加到队列中。

对于多站点复制，对象将保持该状态，直到复制到该 PENDING 存储桶或存储桶前缀的所有已配置远程。

COMPLETED ：当对象成功复制到远程集群时。

FAILED ：MinIO 持续扫描尚未在复制队列中的 FAILED 对象，并在空间可用时将其添加到队列中。这是对象无法复制到远程群集时的状态。

REPLICA：如果对象已从另一个远程集群复制，则分配 REPLICA 状态以将其与客户端直接添加到集群的对象区分开来。

复制过程通常具有以程之一

PENDING -> COMPLETED

PENDING -> FAILED -> COMPLETED

复制对象

通常，我们建议从一开始就设置复制，以消除初始对象传输导致的潜在大开销。在包含数据的现有集群上启用复制时，MinIO 不会复制现有数据，因此 DevOps 工程师可以控制复制数据的方式和时间。它们会随着时间的推移手动复制，具体取决于数据的性质和访问它的应用程序。

MinIO 提供了复制现有对象的选项。对于新的复制规则，请将“existing-objects”添加到指定到 mc replicate add --replicate 的复制功能列表中。对于现有复制规则，请使用 mc replicate update --replicate 将“existing-objects”添加到现有复制功能列表中。编辑复制规则时，必须指定所有所需的复制功能。

现有对象的复制速度取决于许多因素，例如集群负载、网络速度和对象数量（尤其是在第一次复制期间）等因素。MinIO 对现有对象也使用相同的扫描器和队列，不同的对象没有单独的“QoS”，每个人都必须在同一行。话虽如此，您可以使用 MINIO_SCANNER_SPEED 环境变量或 scanner speed 配置设置来调整 MinIO 如何平衡扫描程序性能与读/写操作。如果之前在配置存储桶复制时未启用版本控制，则现有对象具有 versionid = null .这些对象确实会复制。

MinIO 对等站点可以将对象的 GET/HEAD 请求代理给其他对等节点，以检查它是否存在。这允许正在修复或落后于其他对等方的站点仍返回持久化到其他站点的对象。对于删除标记复制，MinIO 在删除操作创建删除标记后开始复制过程。MinIO 使用 X-Minio-Replication-DeleteMarker-Status 元数据字段来跟踪删除标记复制状态。MinIO 要求显式启用版本化删除和删除标记复制。使用该 mc replicate add --replicate 字段指定两者，或者指定 delete 和 delete-marker，以分别启用版本化删除和删除标记复制。


$ /opt/minio-binaries/mc admin replicate add minio1 minio2


Requested sites were configured for replication successfully.

这可以通过一个例子来最好地说明：

  • 客户端向站点 1 发出 GET（“data/invoices/january.xls”）

  • Site1 无法找到对象

  • Site1 将请求代理给 Site2

  • Site2 返回所请求对象的最新版本

  • Site1 将代理对象返回给客户端

对于不包含唯一版本 ID 的 GET/HEAD 请求，代理请求将在对等站点上返回该对象的最新版本。这可能会导致检索对象的非当前版本，例如，如果响应对等站点也遇到复制滞后。

运行以下命令以检查是否已成功为所有站点启用复制

/opt/minio-binaries/mc admin replicate info minio1


SiteReplication enabled for:


Deployment ID                    	| Site Name   	| Endpoint

f96a6675-ddc3-4c6e-907d-edccd9eae7a4 | minio1      	| http://

0dfce53f-e85b-48d0-91de-4d7564d5456f | minio2      	| http://

设置复制后，可以持续检查状态

/opt/minio-binaries/mc admin replicate status minio1


Bucket replication status:

No Buckets present


Policy replication status:

●  5/5 Policies in sync


User replication status:

No Users present


Group replication status:

No Groups present

指标监控

仅站点复制的指标仅填充到具有站点复制配置的部署上。对于具有存储桶或批处理配置的部署，这些指标将改为填充在存储桶指标终端节点下。

下面是可以收集用于监视站点复制的众多指标中的几个。

指标参数说明
minio_cluster_replication_last_hour_failed_bytes在过去一小时内至少复制一次失败的总字节数。
minio_cluster_replication_last_hour_failed_count在过去一小时内复制失败的对象总数。
minio_cluster_replication_total_failed_bytes自服务器启动以来，至少复制一次失败的总字节数。
minio_cluster_replication_total_failed_count自服务器启动以来复制失败的对象总数。
minio_cluster_replication_received_bytes从另一个源集群复制到此集群的总字节数。
minio_cluster_replication_received_count此集群从另一个源集群接收的对象总数。
minio_cluster_replication_sent_bytes复制到目标集群的总字节数。
minio_cluster_replication_sent_count复制到目标集群的对象总数。
minio_cluster_replication_credential_errors自服务器启动以来复制凭据错误的总数

灾难恢复支持

了解复制的基准性能以及其他复制规则如何影响彼此的性能至关重要。有时可能会出现不可预见的问题，例如，复制许多小对象可能会顺利进行，但数据密集型复制会推动一些最大的网络管道的容量和功能。MinIO 的运行速度与底层硬件允许的速度一样快——MinIO 集群中最常见的延迟原因之一不是磁盘，而是网络延迟。您可以拥有世界上最快的 NVMe 磁盘，但如果网络低于标准，则整个集群的性能将受到影响。企业客户会收到一个名为“性能测试”的工具，用于对其集群运行检查，以确保基准性能符合预期，如果复制出现任何问题，可以将其与过去的数据进行比较以进行进一步分析。

NetPerf: ✔


NODE RX TX

http://minio1:9000 1.5 GiB/s 1.3 GiB/s

http://minio2:9000 1.6 GiB/s 1.6 GiB/s

http://minio3:9000 1.6 GiB/s 1.5 GiB/s

http://minio4:9000 1.4 GiB/s 1.7 GiB/s


DrivePerf: ✔


NODE PATH READ WRITE

http://minio1:9000 /disk1 445 MiB/s 150 MiB/s

http://minio1:9000 /disk2 451 MiB/s 150 MiB/s

http://minio3:9000 /disk1 446 MiB/s 149 MiB/s

http://minio3:9000 /disk2 446 MiB/s 149 MiB/s

http://minio2:9000 /disk1 446 MiB/s 149 MiB/s

http://minio2:9000 /disk2 446 MiB/s 149 MiB/s

http://minio4:9000 /disk1 445 MiB/s 149 MiB/s

http://minio4:9000 /disk2 447 MiB/s 149 MiB/s


ObjectPerf: ✔


THROUGHPUT IOPS

PUT 461 MiB/s 7 objs/s

GET 1.1 GiB/s 17 objs/s


MinIO 2023-02-27T18:10:45Z, 4 servers, 8 drives, 64 MiB objects, 6 threads

MinIO 建议将负载均衡器配置为不将流量路由到离线的集群和节点。如果需要，重新同步过程可能需要很长时间，具体取决于对象的数量和大小以及网络速度，因此，通过将流量仅路由到正常运行的节点/群集，客户端操作不会出现任何停机时间。

如果需要关于分布式存储和对象存储的商业支持，请联系MinIO 。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/324737.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

(N-139)基于springboot,vue宠物领养系统

(N-139)基于springboot,vue宠物领养系统

开发工具：IDEA 服务器：Tomcat9.0， jdk1.8 项目构建：maven 数据库：mysql5.7 系统分前后台，项目采用前后端分离 前端技术：vue3element-plus 服务端技术：springbootmybatis-plusr…
阅读更多...
MySQL体系结构

MySQL体系结构

MySQL体系结构 MySQL采用的是客户/服务器体系结构，实际是有两个程序，一个是MySQL服务器程序，指的是mysqld程序，运行在存放数据库的机器上，负责在网络上监听并处理来自客户的服务请求，根据这些请求去访问数据…
阅读更多...
彩超框架EchoSight开发日志记录

彩超框架EchoSight开发日志记录

EchoSight开发记录 蒋志强 我会不定期的更新 开发进展。最近更新进展于2024年1月15日 1.背景 由于某些不可抗逆的原因，离开了以前的彩超大厂，竞业在家，难得有空闲的时间。我计划利用这段时间 自己独立 从零开始 搭建一套 彩超系统的软件工…
阅读更多...
datax关系数据库插件设计和实现解释

datax关系数据库插件设计和实现解释

背景 DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路&#xff0…
阅读更多...
GO——cobra

GO——cobra

定义 Cobra 是 Go 的 CLI 框架 CLI，command-line interface，命令行界面 使用 注意 第一个cmd的USE即使命名了也没有意义，一般保持和项目名一致。 示例 package mainimport ("fmt""github.com/spf13/cobra" )func …
阅读更多...
构建稳健的Web应用：LAMP 实践

构建稳健的Web应用：LAMP 实践

LAMP 介绍 LAMP 代表 Linux、Apache、MySQL 和 PHP/Python/Perl（这些选项中一种）的组合，用于搭建 Web 应用程序的开发和运行环境。 Linux：作为操作系统的基础，提供整个 LAMP 堆栈的基础。Linux 提供稳定、安全的环境&…
阅读更多...
Linux/OpenAdmin

Linux/OpenAdmin

Enumeration nmap 用nmap扫描发现目标对外开放了22和80，端口详细信息如下 从nmap的结果看到，是apache的default page，使用工具跑一下目录，看了官 网文档的结果然后写个小字典节约时间，扫描结果如下 On the page at /…
阅读更多...
深入了解WPF控件：基础概念与用法（三）

深入了解WPF控件：基础概念与用法（三）

掌握WPF控件：熟练常用属性（三） DataGrid 用于显示和编辑数据的表格控件。它可以从多种数据源（如SQL数据库、LINQ查询或任何其他可绑定的数据源）中显示和编辑数据，支持排序、筛选、分页等功能。 DataGrid…
阅读更多...
2024全新开发API接口调用管理系统网站源码 附教程

2024全新开发API接口调用管理系统网站源码 附教程

2024全新开发API接口调用管理系统网站源码 附教程 用layui框架写的 个人感觉很简洁 方便使用和二次开发
阅读更多...
Android 11.0 mtp模式下连接pc后显示的文件夹禁止删除copy重命名功能实现

Android 11.0 mtp模式下连接pc后显示的文件夹禁止删除copy重命名功能实现

1.前言 在11.0的系统rom定制化开发中，usb连接pc端的时候有好几种模式，在做otg连接pc端的时候，改成mtp模式的时候，在pc端可以看到产品设备 的显示的文件夹的内容，对于产品设备里面的文件在pc端禁止做删除重命名拷贝等操作功能的实现 2.mtp模式下连接pc后显示的文件夹禁止删…
阅读更多...
项目:基于OpenCV+百度云人脸识别项目

项目:基于OpenCV+百度云人脸识别项目

一.项目框架 基于OpenCV和百度云人脸识别的项目可以使用以下的框架来实现： 数据采集和预处理：使用OpenCV来采集摄像头或读取图像文件，并对图像进行预处理操作，例如裁剪、调整大小、灰度化等。 人脸检测：使用OpenCV的人…
阅读更多...
MySQL多表查询（改进版）

MySQL多表查询（改进版）

1.创建student和score表 mysql> CREATE TABLE student (-> id INT(10) NOT NULL UNIQUE PRIMARY KEY ,-> name VARCHAR(20) NOT NULL ,-> sex VARCHAR(4) ,-> birth YEAR,-> department VARCHAR(20) ,-> address VARCHAR(50)-> ); Query O…
阅读更多...
Leetcode2707. 字符串中的额外字符

Leetcode2707. 字符串中的额外字符

Every day a Leetcode 题目来源：2707. 字符串中的额外字符 解法1：动态规划 题目要求将字符串 s 分割成若干个互不重叠的子字符串（以下简称为子串），同时要求每个子串都必须在 dictionary 中出现。一些额外的字符可能…
阅读更多...
uniapp使用Android Studio离线打包

uniapp使用Android Studio离线打包

环境准备 Android Studio： 下载地址APP离线SDK下载： 下载地址; 目前我使用得是“Android-SDK3.8.7.81902_20230704”；需要与hbuider版本配套使用。Appkey: 参考我 以上三步准备好后，进行接下来的不住： 准备工程 导…
阅读更多...
SpringBoot中整合ElasticSearch快速入门以及踩坑记录

SpringBoot中整合ElasticSearch快速入门以及踩坑记录

场景 若依前后端分离版手把手教你本地搭建环境并运行项目： 若依前后端分离版手把手教你本地搭建环境并运行项目_本地运行若依前后端分离-CSDN博客 参考上面搭建项目。 ElaticSearch Elasticsearch 是java开发的，基于 Lucene 的搜索引擎。它提供了一…
阅读更多...
Spring中的事件机制

Spring中的事件机制

文章目录 摘要正文jdk事件Spring事件Spring事件监听ApplicationContext主动监听注解监听Bean监听 Spring事件发布 总结 摘要 在这篇文章我们将介绍Spring的事件机制，包括Spring内置事件、自定义事件、事件监听、事件发布、事件广播机制、事件异常处理等内容。Sprin…
阅读更多...
STM32 TIM输出比较、PWM波形

STM32 TIM输出比较、PWM波形

单片机学习！ 目录 一、输出比较简介 二、PWM简介 三、输出比较通道 3.1通用定时器的输出比较部分电路 3.2高级定时器的输出比较部分电路 四、输出模式控制器 五、PWM基本结构 六、PWM参数计算 总结 前言 文章讲述STM32定时器的输出比较功能，它主…
阅读更多...
K8S中使用helm安装MinIO

K8S中使用helm安装MinIO

注意事项 使用helm部署MinIO分为两部分 helm部署MinIO operator，用来管理tenant（K8S集群中只能部署一个）helm部署MinIO tenant，真实的MinIO Cluster（K8S集群中可以部署多个） 使用helm部署到K8S集群&…
阅读更多...
网工每日一练（1月15日）

网工每日一练（1月15日）

1.某计算机系统由下图所示的部件构成，假定每个部件的千小时可靠度为R，则该系统的千小时的可靠度为 ( D ) 。 2.以下IP地址中，属于网络 201.110.12.224/28 的主机IP是（ B ）。 A.201.110.12.224 B.201.110.12.238 C.20…
阅读更多...
【文本到上下文 #5】：RNN、LSTM 和 GRU

【文本到上下文 #5】：RNN、LSTM 和 GRU

一、说明 欢迎来到“完整的 NLP 指南：文本到上下文 #5”，这是我们对自然语言处理 （NLP） 和深度学习的持续探索。从NLP的基础知识到机器学习应用程序，我们现在深入研究了神经网络的复杂世界及其处理语言的深刻能力。 在…
阅读更多...
最新文章

Copyright @ 2022~2023