Redhat8.3上部署Lustre文件系统

Lustre文件系统

Lustre架构是用于集群的存储架构。Lustre架构的核心组件是Lustre文件系统,它在Linux操作系统上得到支持,并提供了一个符合POSIX *标准的UNIX文件系统接口。

Lustre存储架构用于许多不同类型的集群。它以支持世界上许多最大的拥有数万个客户端系统、pb (PiB)存储和每秒数百GB (GB/sec)的I/O吞吐量的高性能计算(HPC)集群而闻名,许多HPC站点使用Lustre文件系统作为站点范围的全局文件系统,为几十个集群提供服务。

Lustre文件系统能够根据任何需要扩展容量和性能,从而减少了部署许多独立文件系统的需要,例如为每个计算集群部署一个文件系统。通过避免在计算集群之间复制数据,简化了存储管理。除了聚合许多服务器的存储容量外,I/O吞吐量还可以通过额外的服务器进行聚合和扩展。此外,通过动态添加服务器,可以很容易地增加吞吐量和/或容量。

虽然Lustre文件系统可以在许多工作环境中运行,但它不一定是所有应用程序的最佳选择。它最适合于超过单个服务器所能提供的容量的使用,尽管在某些用例中,Lustre文件系统在单个服务器上比其他文件系统执行得更好,因为它具有强锁和数据一致性。

一个Lustre文件系统目前不是特别适合于“点对点”的使用模型,其中客户端和服务器运行在同一个节点上,每个共享少量的存储,因为Lustre软件级别缺乏数据复制。在这种情况下,如果一个客户机/服务器出现故障,那么存储在该节点上的数据将无法访问,直到该节点重新启动。

相关依赖安装

  • 1.zlib-devel,libffi-devel
  • 2.python-dev
  • 3.dkms

可直接yum下载,或者apt-get,如果是内网环境可以使用源码编译安装。环境配置脚本:

#!/bin/bash
cd /home/dkms
make install
yum install zlib-devel,libffi-devel
mkdir /usr/local/python38
cd /home/Python3.8.18
./configure --prefix=/usr/local/python38
make && make install
cd /usr/bin
mv python3 python3.bak
ln -s /usr/local/python38/bin/python3.8 /usr/bin/python3
python3 -V

lustre文档

https://www.lustre.org/documentation/

lustreRPM包下载

下载地址:https://downloads.whamcloud.com/public/lustre/
选择对应的版本下载(我用的8.3,选择2.14版本):
在这里插入图片描述
在这里插入图片描述
客户端服务端分别下载:
在这里插入图片描述

在这里插入图片描述
服务端需要的e2fsprogs包:
下载地址:https://downloads.whamcloud.com/public/e2fsprogs/latest/el8/RPMS/x86_64/

在这里插入图片描述

lustre安装脚本

自己修改下载的三个包的路径。

#!/bin/bash
cd /home/e2fsprogs
rpm -ivh * --nodeps --force

cd /home/lustre-2.14/client
rpm -ivh * --nodeps --force

cd /home/lustre-2.14/server
rpm -ivh * --nodeps --force

查看内核

uname -a

在这里插入图片描述

加载lustre

modprobe lustre
modprobe ldiskfs
lsmod | grep lustre

在这里插入图片描述

查看lustre版本

modinfo lustre

在这里插入图片描述
正常显示即为安装成功。

挂载lustre

可以添加新的磁盘进行分区挂载,也可以创建一个临时文件,用作虚拟磁盘设备。然后使用-o loop分配一个loop设备将文件作为块设备进行挂载。

dd if=/dev/zero of=/home/mgs bs=100M count=1
dd if=/dev/zero of=/home/mdt bs=100M count=1
dd if=/dev/zero of=/home/ost0 bs=100M count=1
dd if=/dev/zero of=/home/ost1 bs=100M count=1

mkfs.lustre --fsname=vlustre --reformat --mgs --mgsnode=192.168.120.101@tcp --device-size=4000000 /home/mgs
mount -o loop -t lustre /home/mgs /mnt/loopmgs
mkfs.lustre --fsname=vlustre --reformat --mdt --index=0 --mgsnode=192.168.120.101@tcp --device-size=4000000 /home/mdt
mount -o loop -t lustre /home/mdt /mnt/loopmdt
mkfs.lustre --fsname=vlustre --reformat --ost --index=0 --mgsnode=192.168.120.101@tcp --device-size=8000000 /home/ost0
mount -o loop -t lustre /home/ost0 /mnt/loopost0
mkfs.lustre --fsname=vlustre --reformat --ost --index=1 --mgsnode=192.168.120.101@tcp --device-size=8000000 /home/ost1
mount -o loop -t lustre /home/ost1 /mnt/loopost1

mount -t lustre 192.168.120.101@tcp:/vlustre /mnt/vlustre

mgs

在这里插入图片描述

mdt

在这里插入图片描述

ost0

在这里插入图片描述

ost1

在这里插入图片描述

查看挂载结果

在这里插入图片描述

感受lustre条带策略

一个条带:
在这里插入图片描述
设置条带数量为2:
在这里插入图片描述
对比:

在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/153214.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

2023数维杯国际赛数学建模竞赛选题建议及D题思路讲解

大家好呀,2023年第九届数维杯国际大学生数学建模挑战赛今天早上开赛啦,在这里先带来初步的选题建议及思路。 目前团队正在写B题和D题完整论文,后续还会持续更新哈,大家三连关注一下防止迷路。 注意,本文只是比较简略…

clip4clip:an empirical study of clip for end to end video clip retrieval

广告深度学习计算:阿里妈妈智能创意服务优化使用CPU/GPU分离的多进程架构,加速阿里妈妈智能创意服务。https://mp.weixin.qq.com/s/_pjhXrUZVzFRtiwG2LhnkwCLIP4Clip: CLIP 再下一城,利用CLIP实现视频检索 - 知乎前言: OpenAI 的论…

ubuntu 20.04安装 Anaconda教程

在安装Anaconda之前需要先安装ros(防止跟conda冲突,先装ros)。提前安装好cuda 和cudnn。 本博客参考:ubuntu20.04配置ros noetic和cuda,cudnn,anaconda,pytorch深度学习的环境 安装完conda后,输入: pyth…

CCRC认证是什么?

什么是CCRC认证? 信息安全服务资质,是信息安全服务机构提供安全服务的一种资格,包括法律地位、资源状况、管理水平、技术能力等方面的要求。 信息安全服务资质(CCRC)是依据国家法律法规、国家标准、行业标准和技术规范…

快手怎么涨粉最快?10个实用方法让你迅速积累粉丝

先来看实操成果,↑↑需要的同学可看我名字↖↖↖↖↖,或评论888无偿分享 各位知友们,大家好!今天我来分享一些在快手涨粉的实用方法,让你迅速积累粉丝。如果你还没有注册快手账号,那么现在就赶紧去下载注册…

基于51单片机步进电机加减速正反转数码管显示( proteus仿真+程序+原理图+设计报告+讲解视频)

基于51单片机步进电机加减速正反转数码管显示( proteus仿真程序原理图设计报告讲解视频) 📑1.主要功能:📑讲解视频:📑2.仿真📑3. 程序代码📑4. 设计报告📑5. 设计资料内容…

电脑提示d3dcompiler43.dll缺失怎么解决?四种方法帮你轻松搞定!

d3dcompiler_43.dll是一个与DirectX相关的动态链接库(DLL)文件,它主要用于Windows操作系统上的图形和游戏应用程序。这个文件的主要作用是编译和解析DirectX应用程序中的图形代码。 DirectX是一个强大的图形API(应用程序编程接口&…

图像生成colab集合

不过colab会做检测,一般文生图算法是基本很难跑起来的。 https://github.com/camenduruhttps://github.com/camenduru这哥们有很多colab。 1.stable-diffusion-webui https://colab.research.google.com/drive/1Iy-xW9t1-OQWhb0hNxueGij8phCyluOh#scrollTow3KNZ-…

一个反向代理神器 ——Nginx Proxy Manager

前言 上一期留了一个问题,我们怎么样才能把 IP 端口变成域名来访问? 答案是用反向代理。 看过之前几期视频的小伙伴应该知道,之前有宝塔的时候,碰到这个情况,我们会先新建一个站点,然后修改 Nginx 配置…

MyBatis关联映射深度解析

文章目录 关联映射基础一对一关联映射一对多关联映射多对多关联映射 延迟加载如何配置延迟加载 结语 🎈个人主页:程序员 小侯 🎐CSDN新晋作者 🎉欢迎 👍点赞✍评论⭐收藏 ✨收录专栏:MyBatis ✨文章内容&am…

如何在 Linux 上部署 RabbitMQ

如何在 Linux 上部署 RabbitMQ 文章目录 如何在 Linux 上部署 RabbitMQ安装 Erlang从预构建的二进制包安装从源代码编译 Erlang RabbitMQ 的安装使用 RabbitMQ Assistant 连接 RabbitMQ Assistant 是一款优秀的RabbitMQ 可视化管理工具,提供丰富的管理功能。下载地址…

【python】OpenCV—Rectangle, Circle, Selective Search(1.2)

文章目录 1 画框画圈1.1 画矩形框1.2 画圆 / 点1.3 椭圆 2 Selective Search3 Resize 1 画框画圈 1.1 画矩形框 # Copy the image img_rgb_copy img_rgb.copy()# Draw a rectangle cv2.rectangle(img_rgb_copy, pt1 (405, 90), pt2 (740, 510),color (255, 0, 0), thickne…

hash路由模式

hash模式 hash模式是一种把前端路由的路径用井号 # 拼接在浏览器 URL 后面的模式。 一个完整的 URL 包括:协议、域名、端口、虚拟目录、文件名、参数、锚。 https://www.wangyuegyq.top/utils/index.html?name123&phone123#home协议:https域名&am…

关于400G光模块的常见问题解答

最近在后台收到了很多用户咨询关于400G光模块的信息,那400G光模块作为当下主流的光模块类型,有哪些问题是备受关注的呢?下面来看看小易的详细解答! 1、什么是400G QSFP-DD光模块? 答:400G光模块是指传输速…

《011.SpringBoot之餐厅点餐系统》

《011.SpringBoot之餐厅点餐系统》【界面简洁功能简单】 项目简介 需要源码及数据库的私信… [1]本系统涉及到的技术主要如下: 推荐环境配置:DEA jdk1.8 Maven MySQL 前后端分离; 后台:SpringBootMybatisPlus; 前台:Layuivue; …

如何批量在文件名中加标点符号?

如何批量在文件名中加标点符号?标点符号在文件名中的作用通常是用来分隔不同部分的内容,或者用来表示特定的含义。例如,下划线"_" 可以用来连接文件名的不同部分,使得文件名更易于阅读和理解。另外,使用连字…

苏宁API:一键搜索,海量商品任你选!

使用苏宁API按关键字搜索商品,可以在API的搜索参数中设置关键字。 例如,在搜索商品时,可以在API的请求参数中设置q关键字。例如,要搜索“鞋子”,可以将q设置为“鞋子”。 另外,还可以设置其他的搜索参数&…

九、Nacos集群搭建

Nacos集群搭建 1.集群结构图 官方给出的Nacos集群图: 其中包含3个nacos节点,然后一个负载均衡器代理3个Nacos。这里负载均衡器可以使用nginx。 我们计划的集群结构: 三个nacos节点的地址: 节点ipportnacos1192.168.150.18845n…

八、Nacos配置管理(统一配置管理、配置热更新、配置共享)

目录 一、新增配置 二、配置的获取 三、配置自动刷新 3、实现配置的热更新 方式一:在controller上添加注解,并重启服务 方式二:使用configuration注解 四、多环境配置共享 五、多环境配置优先级 一、新增配置 配置创建成功 二、配置的…

所有社区工作者!能救一个是一个

救命啊,这东西我怎么早不知道呢! 社区人到年底了各种要写的东西很烦啊!突然看到这个,真的救我大命了啊! 谁懂啊?!!平时写个东西起码两三天,试了一下这东西!…