Linux中的MFS分布式文件系统

一、MFS分布式文件系统

1、MooseFS简介

2、Moose File System的体系结构

（1）MooseFS Master

（2）MooseFS Chunk Server

（3）MooseFS Metalogger

（4）MooseFS Client

（5）MooseFS CLI

二、MFS命令介绍

三、集群部署

四、Storage Classes

1、Storage Classes简介

2、 LABEL简介

3、示例：

五、Moose File System的pacemaker高可用

1、安装 Master Servers

2、pacemaker高可用

3、ISCSI

4、添加集群资源

5、应用

一、MFS分布式文件系统

1、MooseFS简介

MFS（Moose File System）是一个基于分布式网络文件系统的开源存储系统。MFS可以在多台计算机上组织文件并提供统一的文件系统访问。MFS的主要特点是高可用性、可靠性和扩展性。它使用存储在多个节点上的数据进行数据冗余，并使用快速而可靠的网络传输数据。MFS还支持在运行时动态添加和删除节点，以便随着系统需求的变化而进行快速和灵活的扩展。

2、Moose File System的体系结构

Moose File System是一个分布式文件系统，它由多个组件组成。

（1）MooseFS Master

MooseFS Master是一个开源的分布式文件系统管理器，它能够管理一个或多个MooseFS Chunk Servers，为客户端提供可靠的文件存储和访问服务。MooseFS Master使用Master-Slave架构，它可以处理超过数百个Chunk Server的集群，并且具有高可用性和可伸缩性。它支持多种数据备份策略，可以将数据备份到多个Chunk Server上，从而提高数据的可靠性和容错性。MooseFS Master还提供了Web界面和命令行工具，方便用户管理和监控文件系统的运行状态。

（2）MooseFS Chunk Server

MooseFS Chunk Server 是MooseFS 分布式文件系统中的组成部分之一，主要负责存储和管理文件系统中的文件数据块。每个 MooseFS Chunk Server 可以存储多个数据块，并与 MooseFS Master Server 进行通信以保持文件系统的一致性和可用性。MooseFS Chunk Server 可以在多台服务器上部署，因此 MooseFS 文件系统可以通过多个节点并行地处理文件的存储、访问和备份。

（3）MooseFS Metalogger

MooseFS Metalogger是一个MooseFS集群的组件，它负责管理和记录MooseFS文件系统的元数据。它的作用是确保元数据的一致性和可靠性，以避免数据丢失或损坏的情况发生。
MooseFS Metalogger可以运行在独立的服务器上，也可以与其他MooseFS组件一起运行在同一台服务器上。它使用特殊的协议与其他MooseFS组件进行通信，以确保数据和元数据的一致性。
在MooseFS集群中，Metalogger通常设置为主/备两个节点，以确保在主节点故障时备用节点能够接管并继续提供服务，从而实现高可用性。

（4）MooseFS Client

MooseFS是一种开源的分布式文件系统，它允许用户在多台服务器之间共享数据。MooseFS Client是MooseFS文件系统的客户端，用户可以使用MooseFS Client来访问MooseFS文件系统中存储的数据。
MooseFS Client提供了一个用户空间工具，它包括了一个命令行界面和一个文件系统挂载程序。使用MooseFS Client，用户可以将MooseFS文件系统挂载到本地文件系统中，就像挂载任何其他文件系统一样。这意味着用户可以直接在本地系统上访问MooseFS文件系统中的数据，而无需知道它实际上存储在哪个服务器上。
MooseFS Client使用自身的协议来访问MooseFS服务器，这意味着它可以在不同的操作系统上运行，包括Linux、BSD、Solaris和Windows。此外，MooseFS Client还支持许多其他高级功能，例如安全访问、文件缓存、数据压缩和限制带宽等功能。

（5）MooseFS CLI

MooseFS CLI是一个基于命令行界面的管理工具，用于管理MooseFS文件系统。它提供了一组命令，可用于查看和修改MooseFS中的文件、目录和元数据，以及监控系统性能和状况。
MooseFS CLI可以通过SSH远程连接到MooseFS服务器，也可以在本地运行。它可以执行诸如创建、删除、重命名、移动和复制文件等基本操作，同时还可以进行更高级的操作，如设置文件ACL、挂载磁盘、调整容量限制等操作。
MooseFS CLI还支持命令行自动补全和命令历史记录等功能，使得操作更加方便和高效。它是MooseFS系统中一个十分重要的管理工具，非常适合那些需要以命令行方式管理文件系统的用户。

这些组件共同协作，实现文件的存储和访问。MooseFS的设计使得它能够扩展到数百个节点，可以存储数PB的数据。

二、MFS命令介绍

mfsmount：将 MooseFS 挂载到本地文件系统。
mfsmetarestore：用于将备份中的元数据恢复到 MooseFS 文件系统中。
mfsbackup：用于对 MooseFS 文件系统创建备份。它可以备份整个文件系统或单个目录。
mfsmount.cfg：MooseFS Mount 配置文件。它包含有关如何将 MooseFS 文件系统挂载到本地文件系统的信息。
mfsgooglecache：使用 Google Cloud Storage 作为 MooseFS 缓存。它可以帮助用户提高 MooseFS 系统的性能。
mfshdd：硬盘诊断工具。它可以帮助检测 MooseFS 存储节点中硬盘的健康状态。
mfsgetgoal：查看设置的副本数
mfssetgoal：设置副本数。(必须设置在 1 到 9 之间，建议不要使用 1)。如果设置的副本数高于 Chunkservers 的总数，则副本数为 Chunkservers 的总数。
mfsdirinfo：查看目录详细信息。
mfsfileinfo：查看文件详细信息。
mfsgettrashtime：查看已删除文件(垃圾)的保留时间(默认为 1天)。
mfssettrashtime：修改已删除文件(垃圾)的保留时间。
mfsscadmin：用于管理MoosesFS存储集群中的文件系统实例。行实例的创建、删除、添加和删除存储节点，以及设置哈希分片策略等操作。
mfssetsclass：用来设置一个或多个文件或目录的存储类别。存储类别确定了文件或目录在存储设备上的位置和使用的存储策略，例如，高速缓存、磁盘存储、或者归档存储。
```
mfssetsclass [-c class] [-s] [-r] [-d] [-f] file or directory ...
```
等；

三、集群部署

主机	ip	角色
mfs1	192.168.67.41	Master Servers
mfs2	192.168.67.42	Chunkservers
mfs3	192.168.67.43	Chunkservers
mfs4	192.168.67.44	Clients
mfs5	192.168.67.45	Chunkservers

软件安装（Master Servers）：

软件仓库（所有节点）

curl "https://repository.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
curl "http://repository.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo

安装：

yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli
systemctl enable --now moosefs-master.service
systemctl enable --now moosefs-cgiserv.service

添加解析

Chunkservers节点安装

yum install moosefs-chunkserver

修改配置：

cd /etc/mfs/
vim mfshdd.cfg
mkdir chunk1

三节点同上

Clients节点安装：

yum install moosefs-client

修改文件（挂载点）

cd /etc/mfs/
vim mfsmount.cfg
/mnt/mfs

cd /mnt
mkdir mfs
mfsmount

所有节点都要添加解析

测试

mkdir dir1
mkdir dir2
cd dir1
touch file1  vim file1  （文件不能为空）
mfsfileinfo file1

mfsgetgoal -k dir2/ 
mfssetgoal -r 1 dir2/
cd dir2
touch file1
mfsfileinfo file1

四、Storage Classes

1、Storage Classes简介

MooseFS的Storage classes可以根据数据的需求来灵活的配置和选择不同的存储类型。它们可以根据应用需求来提供高性能的读写速度、数据的冗余备份和大规模的数据存储。

2、 LABEL简介

label是指对文件或目录进行标记，以便于对它们进行管理和区分。label可以是任何文本字符串，通常用于指示文件或目录的用途、状态或其他属性。例如，您可以为某个目录设置一个label，以指示它是用于存储备份文件，或者为某个文件设置一个label，以指示它是具有高优先级的任务数据。MooseFS使用label可以帮助用户更好地组织和管理文件系统中的数据。

3、示例：

同理扩容节点三

修改配置添加标签

创建存储类及应用

（1）2S

mfsscadmin create 2S class 2s
cd dir1
mfssetsclass -r class 2s file1
mfsfileinfo file1

（2） A,B

mfsscadmin create A,B class_ab
mfssetsclass -r class ab file1
mfsfileinfo file1

（3）S,H

mkdir dir3
mfsscadmin create S,H class sh
touch file1
mfssetsclass -r class sh file1

（4）3S

mfssetgoal -r 3 dir3/
修改标签
mfsscadmin create 3S class 3s
mfssetsclass -r class 3s file1
mfsfileinfo file1

所以创建的存储类

各种组合都可以有

五、Moose File System的pacemaker高可用

主机	ip	角色
mfs1	192.168.67.41	Master Servers + pacemaker + ISCSI(Client)
mfs2	192.168.67.42	Chunkservers
mfs3	192.168.67.43	Chunkservers
mfs4	192.168.67.44	Clients + ISCSI(Server)
mfs5	192.168.67.45	Chunkservers
mfs6	192.168.67.46	Master Servers + pacemaker + ISCSI(Client)

1、安装 Master Servers

防止两台高可用主机mfs用户id不同

curl "https://repository.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
curl "http://repository.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli
systemctl enable --now moosefs-master.service
systemctl enable --now moosefs-cgiserv.service

查看id

2、pacemaker高可用

配置软件仓库

vim /etc/yum.repo.d/yyl.repo


[HighAvailability]
name=rhel7.6 HighAvailability
baseurl=file:///media/addons/HighAvailability
gpgcheck=0

安装高可用

yum install -y pacemaker pcs psmisc policycoreutils-python

启动pcsd服务设置用户密码节点认证

systemctl enable --now pcsd.service
ssh mfs6 systemctl enable --now pcsd.service
 
echo westos | passwd --stdin hacluster
ssh mfs6 'echo westos | passwd --stdin hacluster'
 
 
pcs cluster auth mfs1 mfs6

创建集群

pcs cluster auth mfs1 mfs6

启动集群

pcs cluster start--all
pcs cluster enable --all

禁用stonith

pcs property set stonith-enabled=false

3、ISCSI

服务端配置：

在mfs4上添加一块硬盘

yum install targetcli -y
systemctl enable --now target

配置

/backstores/block create yyl:storage /dev/sdb1
/iscsi create iqn.2023-11.org.yyl:storage
/iscsi/iqn.2023-11.org.yyl:storage/tpg1/luns create /backstores/block/yyl:storage
/iscsi/iqn.2023-11.org.yyl:storage/tpg1/acls create iqn.2023-11.org.yyl:yylkey1

在高可用集群做客户端（mfs1，mfs6）

安装客户端：

yum install iscsi-initiator-utils.x86_64 -y

编辑认证文件

vim /etc/iscsi/initiatorname.iscsi 
systemctl restart iscsid

客户端测试

iscsiadm -m discovery -t st -p 192.168.67.44
iscsiadm -m node -T iqn.2023-11.org.yyl:storage -p 192.168.67.44 -l

在服务端创建分区格式化：

fdisk /dev/sdb
mkfs.xfs /dev/sdb1

测试挂载

应用：

在mfs文件系统

修改权限可以启动就表示成功

取消挂载

4、添加集群资源

pcs resource create vip ocf:heartbeat:IPaddr2 ip=192.168.67.200 op monitor interval=30s
pcs resource create mfs ocf:heartbeat:Filesystem device=/dev/sdb1 directory=/var/lib/mfs fstype=xfs
pcs resource create mfs-master systemd:moosefs-master op monitor interval=60s
pcs resource group add groupmfs vip mfs mfs-master