一二三应用开发平台文件处理设计与实现系列之5——MinIO技术预研

背景

上篇介绍了文件读写框架设计与实现,同时顺便说明了本地磁盘存储模式的实现模式。
今天来说下基于文件读写框架,如何集成对象存储组件minio,集成之前,需要对minio进行必要的了解,本篇是minio的技术预研。

minio简介

minio是一套小而美的开源的对象存储系统(Object Storage System,简称OSS),优点如下:

  • 支持存储海量非结构化数据(单个文件从几十kb到最大5T不等)
  • 性能高,在标准硬件上,读/写速度高达183GB/秒和171GB/秒
  • 完全兼容Amazon S3接口
  • 增配存储资源易于实现,原有存储不变

基本概念

Object:对象,实际就是非结构化的文件,如office文档、图片、音频、视频等。
Bucket:桶,是一个用来管理对象的逻辑空间,称之为对象仓库更合适。其作用相当于磁盘上的一个顶级文件夹,并且桶与桶之间的数据是相互隔离的。桶的意义在于可以更好地分门别类管理存储的对象,避免把整个系统所有的文件一股脑都存放在一个仓库里,可以从租户、业务模块、年度等维度进一步细分。
Drive:磁盘,实际就是底层存储了,对应着磁盘或磁盘上的目录。
Set:阵列,磁盘的集合,这地方我认为很多网上的资料实际都是错的或描述不完整不准确,完整的说法应该是纠删阵列,即在部分磁盘块不可用的情况下通过冗余和算法实现数据恢复,从而能正常读写数据而划分的磁盘阵列。

纠删码机制

minio在可靠性方面做了一个优秀的设计,实现了低冗余与高容错,该方案是通过纠删码(Erasure Code)来实现的,详见官方文档https://min.io/docs/minio/linux/operations/concepts/availability-and-resiliency.html#minio-availability-resiliency。

这部分比较难理解,以下是个人阅读思考后整理处理的,供参考。
大概的原理就是对于一个存储对象,将其分成K块数据碎片,同时增加M块奇偶校验碎片,所有的碎片块所在的磁盘组成一个纠删磁盘阵列。
N (ERASURE SET SIZE) = K (DATA) + M (PARITY)
其中M值默认设置为4,可以调整设置,最小为0,最大为n/2。
M值越小,则用于存储的空间越大,当其为0时,意味着没有附加的奇偶校验碎片,虽然可用于存储的容量最大,但丧失了数据容错,任何一块数据碎片损坏,整个文件不再可读取。
M值越大,则用于存储的空间越小,当其为最大值为n/2时,意味着一个1M的文件实际使用2M的存储空间,其中1M用于数据本身,另外1M用于奇偶校验块,实现容错的目的。
从上面可以推论出来,minio存储文件,最大占用空间是其原始体积的两倍。
若N取16,M取默认值4,则数据块K为12,即12M的文件,实际占用存储空间是16M,多使用了约33%的存储空间,而不是极限情况下多占用100%空间。

关于容错性,对于读数据,在ERASURE SET中,只要无效块总量小于等于M,则都可以恢复数据并读取;对于写数据,分两种情况,如M值小于N/2,则规则同读取,只要无效块总量小于等于M即可以写;若M值刚好为N/2,则要求有效块要大于等于n/2+1。
若N取16,M取默认值4,则数据块K为12,无效块小于等于4,仍然可正常读取和写入数据。
若N取16,M取默认值8,则数据块K为8,无效块小于等于8,仍然可正常读取数据,但有效块至少为9,才能写入数据。

官方给了一张图,说明在1个Set中挂载了16块磁盘的情况下,M取值分别为4、6、8情况下,可用于存储数据的块,存储比率以及多少块处于有效时才可进行读操作和写操作。
image.png
注:存储比率指的是数据占用空间与总占用空间(数据+奇偶校验)的比例,比如8数据块8奇偶校验块,只有50%是用来存储数据的,余下50%用于冗余和恢复的。

minio集群会根据节点和磁盘数自动计算N(ERASURE SET SIZE)的取值,N最大值为16,即最常见的4个minio server节点,每个节点挂载4块磁盘的情况下,刚好组成1个阵列,并且M取值是4。因此一个规模较大的集群中,会存在多个相互独立的阵列。

部署模式

minio的部署模式分为两大类,单节点部署和分布式部署。

其中单节点部署模式下,minio会根据挂载的磁盘的数量,自动决定是否启用纠删码模式。

单节点单磁盘

最简单的情况就是单节点,挂载单个磁盘,此时不会启用纠删码模式,也不存在高可用,磁盘文件损坏无法恢复,官方建议用于开发和测试,不可用于生产环境。个人认为,对于中小型系统,这种部署架构用于生产也是可接受的,简单,实用。一方面从业务角度而言,文件通常是用户上传的附件,重要程度较低,损坏或丢失影响有限;另一方面,磁盘的可靠性相当高,磁盘产生坏道的故障率低到可以忽略。
执行如下命令,创建容器

docker run -p 9000:9000  --name minio -d --restart=always -e "MINIO_ACCESS_KEY=admin" -e "MINIO_SECRET_KEY=12345678" -v E:\dockerVolume\minio\data:/data  minio/minio:RELEASE.2021-04-22T15-44-28Z server /data

使用控制台上传文件,磁盘上存放的实际就是文件本身。
image.png

单节点多磁盘

如想提升文件的可靠性和容错,则仍可以部署单节点,然后挂载多个磁盘,该情况下自动启用纠删码模式。
执行如下命令,只挂两块磁盘

docker run -p 9000:9000  --name minio -d --restart=always -e "MINIO_ACCESS_KEY=admin" -e "MINIO_SECRET_KEY=12345678" -v E:\dockerVolume\minio\data1:/data1 -v E:\dockerVolume\minio\data2:/data2 minio/minio:RELEASE.2021-04-22T15-44-28Z server /data1 /data2

容器启动时报错
image.png
从报错可以看出,磁盘要求至少为4块,更改下命令,挂载4块磁盘,如下:

docker run -p 9000:9000  --name minio -d --restart=always -e "MINIO_ACCESS_KEY=admin" -e "MINIO_SECRET_KEY=12345678" -v E:\dockerVolume\minio\data1:/data1 -v E:\dockerVolume\minio\data2:/data2 -v E:\dockerVolume\minio\data3:/data3 -v E:\dockerVolume\minio\data4:/data4 minio/minio:RELEASE.2021-04-22T15-44-28Z server /data1 /data2 /data3 /data4

容器顺利启动,并显示4块磁盘在线
image.png
同时显示初始化了1个服务池,1个磁盘阵列,每个磁盘阵列中有4块磁盘。
通过控制台上传1张图片,查看文件情况
image.png
每个磁盘下都多了一个以文件名命名的目录,下挂一个xl.meta文件,实际是文件碎片或奇偶校验块,占用空间约为实际文件的一半,进而推断出这四块磁盘,是两块做数据,两块做奇偶校验。

进行破坏性试验,依次删除data2、data3下的xl.meta文件,来模拟磁盘失效,控制台依旧能正常显示和下载文件,继续删除data4下的文件,则控制台中该文件不再显示,与minio的容错机制一致。

多节点多磁盘

分布式部署通常用于中大型系统,是最复杂的一种部署方式。通常至少部署4个minio节点,每个节点挂载4块磁盘,这样组成了一个16块磁盘的启用了纠删码功能的阵列。上文说过,默认设置的奇偶校验块数量是4,即这16块磁盘中有12块用于数据存储,4块用于容错。在分布式部署的场景下,minio是去中心化的,所有节点是对等的,没有主从的概念。而很多集群部署的中间件,是有主从概念的,基于选举算法来产生主节点。因此,minio集群需要通过NGINX来实现负载均衡。

扩展集群

对于分布式部署,如发现原存储资源不够了,增加新的存储资源,很多同类组件往往需要重新均衡各存储节点上数据。均衡意味着要做数据迁移,不仅复杂,而且耗时较长。对于该问题,minio的处理方案则是另辟蹊径,保持原服务池不变,增加新服务池,只有一点要求,新增的服务池需要跟之前规划的磁盘数量一致,这里的一致并不是相等,而是可以是倍数关系。
比如原来得服务池是这样的
minio server http://host{1…8}/export{1…8}
可以通过以下方式扩展
minio server http://host{1…8}/export{1…8} http://host{9…16}/export{1…8}
原来的服务池保持不变,数据不需要重新均衡,新上传的文件会自动找寻负载低的服务池。
minio将复杂的增配资源问题转换成了一个部署问题,非常巧妙。

安装部署

基于虚拟机的部署比较简单,无非是获取安装包,然后运行,这里就不多说了。
接下来说下基于docker的安装部署。
直接通过docker 拉取镜像 docker pull minio/minio:RELEASE.2021-04-22T15-44-28Z
image.png
创建容器

docker run -p 9000:9000  --name minio -d --restart=always -e "MINIO_ACCESS_KEY=admin" -e "MINIO_SECRET_KEY=12345678" -v E:\dockerVolume\minio\data:/data -v E:\dockerVolume\minio\cofig:/root/.minio minio/minio:RELEASE.2021-04-22T15-44-28Z server /data

启动成功后,访问9000端口
image.png
登录后,界面如下:
image.png
就是一个很简单的页面,新建桶和上传文件都通过右下角按钮实现,相比当前的最新版本的UI和功能,相当的简陋。

新版本的登录页面
image.png
新版本的功能菜单
image.png

集成验证

基于java,验证常用API的使用。

引入依赖

<dependency>
    <groupId>io.minio</groupId>
    <artifactId>minio</artifactId>
    <version>8.5.7</version>
</dependency>

新建控制器

新建一个控制器用于测试,路径设置为file,为了测试方便,直接在控制器里调用API,不再转调service了。

package miniodemo.controller;

import io.minio.BucketExistsArgs;
import io.minio.MakeBucketArgs;
import io.minio.MinioClient;
import lombok.extern.slf4j.Slf4j;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

/**
 * @author wqliu
 * @date 2023-11-17
 */
@RestController
@RequestMapping("/file/")
@Slf4j
public class FileController {
   

}

构建客户端

所有API调用的前提,是构建minioClient客户端,调用MinioClient的建造器方法,传入服务地址和身份认证即可。

/**
 * 获取客户端
 * @return
 */
private MinioClient getClient(){
    // 创建客户端
    MinioClient minioClient =
    MinioClient.builder()
    // 服务地址
    .endpoint("http://127.0.0.1:9000")
    // 身份认证
    .credentials("admin", "12345678")
    .build();
    return minioClient;
}

创建桶

新加方法,通过参数传入桶名,内部简单判断是否存在,不存在则新建。同样为了测试方便,未使用post而是用了get方法。

/**
 * 新建桶
 * @param bucketName 桶名
 */
@GetMapping("/addBucket")
public void addBucket(String bucketName) {
    try {
        MinioClient client = getClient();
        // 创建桶
        BucketExistsArgs bucketExistsArgs = BucketExistsArgs.builder().bucket(bucketName).build();
        boolean exists =
        client.bucketExists(bucketExistsArgs);
        if (!exists) {
            // 不存在,创建
            MakeBucketArgs makeBucketArgs = MakeBucketArgs.builder().bucket(bucketName).build();
            client.makeBucket(makeBucketArgs);
        }
    }catch (Exception ex){
        log.error(ex.getMessage());
    }

}

浏览器中输入地址http://localhost:8080/file/addBucket?bucketName=abc
使用minio自带控制台,可以看到已经成功创建了桶。
image.png

上传文件

实现如下控制器方法

/**
 * 上传文件
 */
@GetMapping("/upload")
public void upload() {
    try {
        MinioClient client = getClient();
        UploadObjectArgs uploadObjectArgs = UploadObjectArgs.builder()
        .bucket("abc")
        .object("1.png")
        .filename("e:/1.png")
        .build();
        client.uploadObject(uploadObjectArgs);
    }catch (Exception ex){
        log.error(ex.getMessage());
    }

}

执行http://localhost:8080/file/upload
查看minio控制台,文件已上传
image.png
查看docker挂载的磁盘,在单节点单磁盘情况下,实际就是把桶映射成文件夹,把文件放到文件夹下
image.png

下载文件

实现如下控制器方法

/**
 *  下载文件
 */
@GetMapping("/download")
public void download() {
    try {
        MinioClient client = getClient();
        DownloadObjectArgs downloadObjectArgs = DownloadObjectArgs.builder()
        .bucket("abc")
        .object("1.png")
        .filename("e:/2.png")
        .build();
        client.downloadObject(downloadObjectArgs);
    }catch (Exception ex){
        log.error(ex.getMessage());
    }

}

浏览器中访问http://localhost:8080/file/download,查看本地磁盘,文件被下载。

获取文件流

上面方法是把文件固定下载到磁盘某个目录下,实际系统使用的时候是问minio要文件流,实现如下控制器方法

/**
 *  获取文件流
 */
@GetMapping("/getFileStream")
public InputStream getFileStream() {
    try {
        MinioClient client = getClient();
        GetObjectArgs args = GetObjectArgs.builder()
        .bucket("abc")
        .object("1.png")
        .build();
        GetObjectResponse response = client.getObject(args);
        return response;
    }catch (Exception ex){
        log.error(ex.getMessage());
        return null;
    }
}

浏览器中访问http://localhost:8080/file/getFileStream,通过调试模式,可以看到拿到了文件流。
注意API返回的类型GetObjectResponse,实际是InputStream的子类,因此可以用InputStream来接收。

总结

上文构建了基于java和springboot实现的API测试,完成了创建桶、上传文件、下载文件和获取文件流等常用操作,像删除桶、删除文件等操作也高度类似,未再一一列出。
从测试代码可以看出,minio的api做了高度统一的封装,每个方法对应着一个参数对象,并且该参数对象内置了建造器模式。处理过程也高度类似,先构建一个minio的客户端,然后使用该客户端调用API方法。

坑点:开源协议的变动

MinIO比较特别,初早期版本的开源协议是Apache 2.0,这是一种相对友好的协议,可以商用。后来变更成了AGPL V3.0,虽然仍然可以商用且无需付费,但该协议要求使用该组件的系统必须开源,这就有点……
所以,选用minio时,需要慎重选择版本,如自己本身就是开源软件,那么使用minio的新版本更适合,否则,请选用老版本的minio来规避版权问题。
通过Git库查看修改日志,最后一个基于apache 2.0协议的版本是2021-04-22T15-44-28Z,源码下载地址
https://github.com/minio/minio/tree/RELEASE.2021-04-22T15-44-28Z
因为是源码,不能直接使用,需要编译,而minio是使用go语言开发的,需要go编译环境。

多说一句,MinIO的版本号命名也独具特色(惨不忍睹),没有按照大多数的三段数字如3.1.2,或者用某系列英文来区分(如Spring Cloud),而是大多以发布时间命名的版本,不信你看……
image.png

开源平台资料

平台名称:一二三开发平台
简介: 企业级通用开发平台
设计资料:csdn专栏
开源地址:Gitee
开源协议:MIT
欢迎收藏、点赞、评论,你的支持是我前行的动力。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/321684.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Python - 深夜数据结构与算法之 AVL 树 红黑树

目录 一.引言 二.高级树的简介 1.树 2.二叉树 3.二叉搜索树 4.平衡二叉树 三.AVL 树 ◆ 插入节点 ◆ 左旋 ◆ 右旋 ◆ 左右旋 ◆ 右左旋 ◆ 一般形式 ◆ 实际操作 ◆ 总结 四.红黑树 ◆ 概念 ◆ 示例 ◆ 对比 五.总结 一.引言 前面我们介绍了二叉树、二叉…

论文阅读 Self-Supervised Burst Super-Resolution

这是一篇 ICCV 2023 的文章&#xff0c;主要介绍的是用自监督的方式进行多帧超分的学习 Abstract 这篇文章介绍了一种基于自监督的学习方式来进行多帧超分的任务&#xff0c;这种方法只需要原始的带噪的低分辨率的图。它不需要利用模拟退化的方法来构造数据&#xff0c;而且模…

爬虫验证码分析

声明&#xff1a; 该文章为学习使用&#xff0c;严禁用于商业用途和非法用途&#xff0c;违者后果自负&#xff0c;由此产生的一切后果均与作者无关 本文只做简单的验证码分析&#xff0c;不涉及扣代码等逆向 一、常见得验证码平台 易盾&#xff1a;https://dun.163.com/pr…

重学Java 5 idea详细使用和运算符

慢点跑&#xff0c;前面的路不好走 ——24.1.14 一、IDEA的使用 1.idea的介绍 1.概述&#xff1a;开发工具 2.特点&#xff1a; a、idea是java写的&#xff0c;所以本地上必须有正确的jdk环境 b、idea自动保存 c、不用我们打开dos命令窗口执行javac和java命令 d、idea有强大的…

数据结构与算法教程,数据结构C语言版教程!(第四部分、字符串,数据结构中的串存储结构)一

第四部分、字符串&#xff0c;数据结构中的串存储结构 串存储结构&#xff0c;也就是存储字符串的数据结构。 很明显&#xff0c;字符串之间的逻辑关系也是“一对一”&#xff0c;用线性表的思维不难想出&#xff0c;串存储结构也有顺序存储和链式存储。 提到字符串&#xff…

Python 自学(八) 之模块

目录 1. import语句导入模块 P206 2. from ... import 语句导入模块 P207 3. 模块的搜索目录 sys.path P209 4. 以主程序的形式执行 __name__ P212 5. python中的包 P213 1. import语句导入模块 P206 同一目录下&…

【MATLAB】 SSA奇异谱分析信号分解算法

有意向获取代码&#xff0c;请转文末观看代码获取方式~ 1 基本定义 SSA奇异谱分析&#xff08;Singular Spectrum Analysis&#xff09;是一种处理非线性时间序列数据的方法&#xff0c;可以对时间序列进行分析和预测。 它基于构造在时间序列上的特定矩阵的奇异值分解&#…

12AOP面向切面编程/GoF之代理模式

先看一个例子&#xff1a; 声明一个接口&#xff1a; // - * / 运算的标准接口! public interface Calculator {int add(int i, int j);int sub(int i, int j);int mul(int i, int j);int div(int i, int j); }实现该接口&#xff1a; package com.sunsplanter.prox…

编曲混音FL Studio21.2对电脑有什么配置要求

FL Studio 21是一款非常流行的音乐制作软件&#xff0c;它可以帮助音乐人和制作人创作出高质量的音乐作品。然而&#xff0c;为了保证软件的稳定性和流畅性&#xff0c;用户需要知道FL Studio 21对电脑的配置要求。本文将介绍FL Studio 21的配置要求&#xff0c;以帮助用户选择…

Open CV 图像处理基础:(七)学习 OpenCV 的图像增强和边缘检测功能

在Java中学习使用 OpenCV 的图像增强和边缘检测功能 目录 在Java中学习使用 OpenCV 的图像增强和边缘检测功能前言图像增强功能对比度调整&#xff08;Core.addWeighted()&#xff09;函数原型&#xff1a;参数说明&#xff1a;代码&#xff1a;示例 直方图均衡化&#xff08;I…

强化学习应用(五):基于Q-learning的物流配送路径规划研究(提供Python代码)

一、Q-learning算法简介 Q-learning是一种强化学习算法&#xff0c;用于解决基于马尔可夫决策过程&#xff08;MDP&#xff09;的问题。它通过学习一个值函数来指导智能体在环境中做出决策&#xff0c;以最大化累积奖励。 Q-learning算法的核心思想是使用一个Q值函数来估计每…

图形化编程:开启孩子创新思维的新途径

在科技日新月异的今天&#xff0c;编程已经成为了一项重要的技能。然而&#xff0c;对于孩子们来说&#xff0c;传统的编程语言可能会显得过于复杂和抽象。这时&#xff0c;图形化编程就显得尤为重要。那么&#xff0c;什么是图形化编程&#xff1f;它对孩子有什么帮助呢&#…

web前端算法简介之字典与哈希表

回顾 栈、队列 &#xff1a; 进、出 栈&#xff08;Stack&#xff09;&#xff1a; 栈的操作主要包括&#xff1a; 队列&#xff08;Queue&#xff09;&#xff1a; 队列的操作主要包括&#xff1a; 链表、数组 &#xff1a; 多个元素存储组成的 简述链表&#xff1a;数组&…

权责发生制和收付实现制

目录 一. 权责发生制(应记制)二. 收付实现制 \quad 一. 权责发生制(应记制) 应计制就是应该记入的意思 各项收入和费用的确认应当以“实际发生”&#xff08;归属期&#xff09;而不是以款项的实际收付作为记账的基础。 正是有会计期间假设&#xff0c;才有权责发生制和收付实…

Odrive 学习系列二:将烧录工具从ST-Link V2修改为JLink

一、背景: 通过观察odrive解压后的内容,可以看到在下面配置文件及makefile文件中的配置设置的均为openOCD + stlink v2,例如makefile中: # This is only a stub for various commands. # Tup is used for the actual compilation.BUILD_DIR = build FIRMWARE = $(BUILD_DI…

【软件测试学习笔记1】测试基础

1.软件测试的定义 软件的定义&#xff1a;控制计算机硬件工作的工具 软件的基本组成&#xff1a;页面客户端&#xff0c;代码服务器&#xff0c;数据服务器 软件产生的过程&#xff1a;需求产生&#xff08;产品经理&#xff09;&#xff0c;需求文档&#xff0c;设计效果图…

工业级安卓PDA超高频读写器手持掌上电脑,RFID电子标签读写器

掌上电脑&#xff0c;又称为PDA。工业级PDA的特点就是坚固&#xff0c;耐用&#xff0c;可以用在很多环境比较恶劣的地方。 随着技术的不断发展&#xff0c;加快了数字化发展趋势&#xff0c;RFID技术就是RFID射频识别及技术&#xff0c;作为一种新兴的非接触式的自动识别技术&…

【网络工程师】NAT与动态路由

一、NAT网络地址转换 1、NAT&#xff1a;Network Address Translations 网络地址转换 2、ip地址问题&#xff1a;ipv4地址严重不够用了&#xff08;A、B、C类可以使用 D组播 E科研&#xff09; 3、解决&#xff1a;把IP地址分为了公网IP和私网IP 公网IP只能在公网上使用 私网…

探索数据之美:深入Seaborn的数据可视化艺术与技巧【第26篇—python:Seaborn】

文章目录 1. 引言2. Seaborn基础2.1 安装和环境设置2.2 常用数据可视化函数2.3 设置样式和颜色主题 3. 数据准备与导入3.1 使用Pandas库加载和处理数据3.2 数据清理和缺失值处理 4. Seaborn中的常见图表4.1 折线图和散点图&#xff1a;展示趋势和变量关系4.2 条形图和箱线图&am…

把模板作为元函数参数传递。

C模板元编程是一种典型的函数式编程&#xff0c;函数在整个编程体系中处于核心的地位。 这里的函数与一般C程序中定义的函数有所区别&#xff0c;其更接近数学意义上的函 数——是无副作用的映射或变换&#xff1a;在输入相同的前提下&#xff0c;多次调用同一个函数&…