ceph手动部署

ceph手动部署

一、 节点规划

主机名IP地址角色
ceph01.example.com172.18.0.10/24mon、mgr、osd、mds、rgw
ceph02.example.com172.18.0.20/24mon、mgr、osd、mds、rgw
ceph03.example.com172.18.0.30/24mon、mgr、osd、mds、rgw

操作系统版本： Rocky Linux release 8.8 (Green Obsidian)

二、 准备工作

以下操作所有主机都要操作

1. 替换YUM源

sed -e 's|^mirrorlist=|#mirrorlist=|g'

-e 's|^#baseurl=Index of /$contentdir|baseurl=rockylinux安装包下载_开源镜像站-阿里云|g'

-i.bak

/etc/yum.repos.d/Rocky-.repo

dnf makecache

2. 关闭防火墙和SELINUX

systemctl disable --now firewalld.service

setenforce 0

vim /etc/sysconfig/selinux

3. 配置时间同步

echo “server ntp.aliyun.com iburst” >> /etc/chronyd.conf

systemctl enable --now chronyd

chronyc sources

4. 主机名与IP进行映射

vim /etc/hosts

172.18.0.10 ceph01.example.com ceph01

172.18.0.20 ceph02.example.com ceph02

172.18.0.30 ceph03.example.com ceph03

5. 节点安装ceph软件包

yum install centos-release-ceph-pacific -y 此处使用P版 目前企业级存储使用的稳定版

yum install ceph -y

三、配置MON

1. 生成集群UUID

uuidgen

eb6d6dab-6854-4663-ba7f-eadf2758e681

2. 创建ceph.conf配置文件

vim /etc/ceph/ceph.conf

[global]

fsid=eb6d6dab-6854-4663-ba7f-eadf2758e681

mon_initial_members=ceph01,ceph02,ceph03

mon_host=172.18.0.10,172.18.0.20,172.18.0.30

public_network=172.18.0.0/24

auth_cluster_required=cephx

auth_service_required=cephx

auth_client_required=cephx

osd_pool_default_size=3

osd_pool_default_min_size=2

osd_pool_default_pg_num=128

osd_pool_default_pgp_num=128

storage_type=bluestore

osd_objectstore=bluestore

osd_mkfs_type=xfs

bluestore_block_size=5628755968

3. 生成monitor keyring

ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow '

4. 生成admin管理员key

ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow ' --cap osd 'allow ' --cap mds 'allow ' --cap mgr 'allow '

5. 生成OSD引导key

ceph-authtool --create-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'

6. 将admin和osd引导key导入到mon key中

ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring

ceph-authtool /tmp/ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring

chown ceph:ceph /tmp/ceph.mon.keyring

7. 生成monmap映射视图

monmaptool --create --add ceph01 172.18.0.10 --add ceph02 172.18.0.20 --add ceph03 172.18.0.30 --fsid eb6d6dab-6854-4663-ba7f-eadf2758e681 /tmp/monmap

8. 拷贝文件到其他节点

scp /etc/ceph/ceph.conf root@ceph02:/etc/ceph/

scp /etc/ceph/ceph.conf root@ceph03:/etc/ceph/

scp /tmp/monmap root@ceph02:/tmp/

scp /tmp/monmap root@ceph03:/tmp/

scp /tmp/ceph.mon.keyring root@ceph02:/tmp/

scp /tmp/ceph.mon.keyring root@ceph03:/tmp/

scp /etc/ceph/ceph.client.admin.keyring root@ceph02:/etc/ceph/

scp /etc/ceph/ceph.client.admin.keyring root@ceph03:/etc/ceph/

9. 从映射视图导入集群关系（在所有节点上操作）

sudo -u ceph mkdir /var/lib/ceph/mon/ceph-ceph01（ceph01改成不同的主机名）

ceph-mon --mkfs -i ceph01 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring（ceph01改成不同的主机名）

chown ceph.ceph -R /var/lib/ceph

10. 启动mon服务并查看集群状态(在所有节点上操作)

systemctl enable --now ceph-mon@ceph01.service （ceph01改成不同的主机名）

ceph -s 查看集群状态

问题1：3 monitors have not enabled msgr2

ceph mon enable-msgr2 （）

问题2：mons are allowing insecure global_id reclaim

ceph config set mon auth_allow_insecure_global_id_reclaim false（禁用不安全模式）

四、配置MGR

1-3以下所有节点均需要操作

1. 创建mgr key存放目录

sudo -u ceph mkdir /var/lib/ceph/mgr/ceph-$(hostname -s)

2. 生成mgr key

ceph auth get-or-create mgr. $(hostname -s) mon 'allow profile mgr' osd 'allow ' mds 'allow ' > /var/lib/ceph/mgr/ceph-$(hostname -s)/keyring

3. 启动mgr服务

systemctl enable --now ceph-mgr@ceph01.service （ceph01在不同节点上换成不同主机名）

4. 配置dashboard图形化控制台

4.0 安装dashboard模块并启用

yum install ceph-mgr-dashboard -y

4.1 生成自签名证书

openssl req -new -nodes -x509 -subj "/O=IT/CN=ceph-mgr-dashboard" -days 3650

-keyout dashboard.key -out dashboard.crt -extensions v3_ca

4.2 导入证书

ceph dashboard set-ssl-certificate -i dashboard.crt

ceph dashboard set-ssl-certificate-key -i dashboard.key

4.3 配置地址和端口

ceph config set mgr mgr/dashboard/server_addr 0.0.0.0

ceph config set mgr mgr/dashboard/ssl_server_port 8443

4.4 禁用rgw api校验自签名证书（如果启用rgw ssl则需要）

ceph dashboard set-rgw-api-ssl-verify false

4.5初始化 dashboard 用户

echo redhat123 > pass.txt

ceph dashboard ac-user-create admin administrator -i pass.txt

4.6 启用http关闭ssl

mgr-dashboard默认使用ssl进行访问，关闭ssl可以使用http

ceph config set mgr mgr/dashboard/ssl false

4.7 启用或禁用dashboard

ceph config module disable dashboard

ceph config module enable dashboard

五、配置OSD

1. 拷贝OSD的密钥环(ceph01操作)

scp /var/lib/ceph/bootstrap-osd/ceph.keyring root@ceph02:/var/lib/ceph/bootstrap-osd/

scp /var/lib/ceph/bootstrap-osd/ceph.keyring root@ceph03:/var/lib/ceph/bootstrap-osd/

拷贝后修改文件的权限chown ceph.ceph /var/lib/ceph/bootstrap-osd/ceph.keyring

2. 创建OSD

ceph-volume lvm create --data /dev/sdb --bluestore

说明：

--bluestore 不接时默认为bluestore后端驱动，使用--filestore则使用文件级filestore驱动，cephadm不支持管理后端驱动为filestore的OSD

上述过程可以拆分成两步:

准备OSD：ceph-volume lvm prepare --data /dev/sdb

激活OSD：ceph-volume lvm activate {ID} {FSID}

　ceph-volume lvm list 查看OSD的ID

3. 查看集群状态以及添加的OSD

ceph -s 查看集群状态是否ok

ceph osd ls

六、配置MDS

以下操作所有节点都要做

1. 创建mds key存放目录

sudo -u ceph mkdir /var/lib/ceph/mds/ceph-$(hostname -s)

2. 生成mds keyring

ceph auth get-or-create mds.$(hostname -s) osd "allow rwx" mds "allow" mon "allow profile mds" > /var/lib/ceph/mds/ceph-$(hostname -s)/keyring

chown ceph.ceph -R /var/lib/ceph/mds/ceph-ceph02/keyring

3. 启动mds 服务

systemctl start ceph-mds@ceph01.service

systemctl start ceph-mds@ceph02.service

systemctl start ceph-mds@ceph03.service

4. 创建文件系统测试

ceph osd pool create fspool_meta 创建文件系统元数据池

ceph osd pool create fspool_data 创建文件系统数据池

ceph fs new fs01 fspool_meta fspool_data 创建fs01的文件系统

ceph fs status 查看文件系统的主从节点

ceph fs authorize fs01 client.wangwu / rw 创建文件系统使用用户王五并授权

mount -t ceph ceph01:/ /media/ -o name=wangwu,fs=fs01,secret=AQB3ryJl1Z2QMRAAH1C/qRaBGIKKBWET5lM1eg== 挂载测试

七、配置RGW

1.安装软件包（所有节点操作）

yum install ceph-radosgw -y

2.创建 rgw key（ceph01操作）

ceph auth get-or-create client.rgw.ceph01 osd 'allow rwx' mon 'allow rwx' >> /etc/ceph/ceph.client.radosgw.keyring

ceph auth get-or-create client.rgw.ceph02 osd 'allow rwx' mon 'allow rwx' >> /etc/ceph/ceph.client.radosgw.keyring

ceph auth get-or-create client.rgw.ceph03 osd 'allow rwx' mon 'allow rwx' >> /etc/ceph/ceph.client.radosgw.keyring

chown ceph:ceph /etc/ceph/ceph.client.radosgw.keyring

scp /etc/ceph/ceph.client.radosgw.keyring root@ceph02:/etc/ceph/

chown ceph:ceph /etc/ceph/ceph.client.radosgw.keyring (ceph02操作)

scp /etc/ceph/ceph.client.radosgw.keyring root@ceph03:/etc/ceph/

chown ceph:ceph /etc/ceph/ceph.client.radosgw.keyring (ceph03操作)

4.编辑配置文件（ceph01操作）

vim /etc/ceph.conf 新增rgw配置

[client.rgw.ceph01]

host=ceph01

keyring=/etc/ceph/ceph.client.radosgw.keyring

log file=/var/log/radosgw/client.radosgw.gateway.log

rgw frontends = civetweb port=172.18.0.10:8080

[client.rgw.ceph02]

host=ceph02

keyring=/etc/ceph/ceph.client.radosgw.keyring

log file=/var/log/radosgw/client.radosgw.gateway.log

rgw frontends = civetweb port=172.18.0.20:8080

[client.rgw.ceph03]

host=ceph03

keyring=/etc/ceph/ceph.client.radosgw.keyring

log file=/var/log/radosgw/client.radosgw.gateway.log

rgw frontends = civetweb port=172.18.0.30:8080

scp /etc/ceph/ceph.conf root@ceph02:/etc/ceph/

scp /etc/ceph/ceph.conf root@ceph03:/etc/ceph/

5. 创建日志目录（所有节点操作）

sudo -u ceph mkdir /var/log/radosgw/

6. 启动RGW服务（对应节点操作）

systemctl enable --now ceph-radosgw@rgw.ceph01.service

systemctl enable --now ceph-radosgw@rgw.ceph02.service

systemctl enable --now ceph-radosgw@rgw.ceph03.service

服务启动后rgw将自动创建以下存储池

.rgw.root #包含 realm(领域信息)，比如 zone 和 zonegroup

default.rgw.log #存储日志信息，用于记录各种 log 信息

default.rgw.control #系统控制池，在有数据更新时，通知其它 RGW 更新缓存

default.rgw.meta #元数据存储池，通过不同的名称空间分别存储不同的 rados 对象

7. 创建s3用户测试

radosgw-admin user create --uid=user1 --access-key=123 --secret=456 --email user1@example.com --display-name user1

7. s3对象存储测试（任意选择一个节点测试）

7.1 安装s3工具

yum install epel-release -y 使用epel源

yum install aws -y 安装s3客户端工具

7.2 配置s3访问凭据

aws configure --profile=ceph 凭据名为ceph

输入ak和sk

7.3 创建存储桶

aws --profile=ceph --endpoint-url=http://172.18.0.10:8080 s3 mb s3://bucket1

7.4 上传文件到桶

aws --profile=ceph --endpoint-url http://172.18.0.10:8080 s3 cp /etc/passwd s3://bucket1/passwd

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/928134.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

记录vite关于tailwindcss4.0-bate4出现margin[m-*]、padding[p-*]无法生效的问题。

记录vite关于tailwindcss4.0-bate4出现margin[m-*]、padding[p-*]无法生效的问题。

环境如下： vite:5.4.10 tailwindcss: 4.0.0-beta.4 tailwindcss/vite: 4.0.0-beta.4 4.0默认的样式优先级比较低 如果使用了一些reset的css文件 那么很多样式会失效 例如：reset.css中 html, body, ul, li, h1, h2, h3, h4, h5, h6, dl, dt, dd, ol, i…
阅读更多...
AcWing 841. 字符串哈希

AcWing 841. 字符串哈希

字符串哈希 一种将任意长度的字符串转换为固定长度数值（通常是整数）的过程。全称字符串前缀哈希法，把字符串变成一个p进制数字（哈希值），实现不同的字符串映射到不同的数字。 对形如 X1X2X3⋯Xn−1Xn 的字…
阅读更多...
物联网接入网关的数据安全和高效传输详解

物联网接入网关的数据安全和高效传输详解

物联网接入网关，作为连接物联网终端设备与云端或本地服务器的关键环节，不仅负责数据的汇聚与转发，更需确保数据在传输过程中的安全无虞与高效流畅。 一、数据安全：构筑坚实防线 1. 加密技术的应用 天拓四方物联网接入网关内置了…
阅读更多...
遇到问题：hive中的数据库和sparksql 操作的数据库不是同一个。

遇到问题：hive中的数据库和sparksql 操作的数据库不是同一个。

遇到的问题： 1、hive中的数据库和sparksql 操作的数据库不同步。 观察上面的数据库看是否同步 ！！！ 2、查询服务器中MySQL中hive的数据库，发现创建的位置没有在hdfs上，而是在本地。 这个错误产生的原因是&…
阅读更多...
电脑关机的趣味小游戏——system函数、strcmp函数、goto语句的使用

电脑关机的趣味小游戏——system函数、strcmp函数、goto语句的使用

文章目录 前言一. system函数1.1 system函数清理屏幕1.2 system函数暂停运行1.3 system函数电脑关机、重启 二、strcmp函数三、goto语句四、电脑关机小游戏4.1. 程序要求4.2. 游戏代码 总结 前言 今天我们写一点稍微有趣的代码，比如写一个小程序使电脑关机&#xf…
阅读更多...
【洛谷】P5738 【深基7.例4】歌唱比赛（详细注解）

【洛谷】P5738 【深基7.例4】歌唱比赛（详细注解）

#include <iostream> #include <iomanip> #include <algorithm> using namespace std;int main() {//定义两个整数变量n和m&#xff0c;用于接收用户输入的二维数组的行数和列数int n, m;cin >> n >> m;//定义二维整数数组A&#xff0c;用于存储…
阅读更多...
SL6115替代MT7201C+MT7202内置60V场效应管降压恒流芯片

SL6115替代MT7201C+MT7202内置60V场效应管降压恒流芯片

一、SL6115芯片特点 工作电压范围&#xff1a;SL6115的工作电压从5.5V到60V&#xff0c;提供了更宽的输入电压选择。 输出电流&#xff1a;SL6115提供可调的输出电流&#xff0c;最大输出电流可达到1.5A&#xff0c;相比MT7201C的1A输出电流&#xff0c;具有更高的驱动能力。…
阅读更多...
利用Milvus向量数据库实现GraphRAG

利用Milvus向量数据库实现GraphRAG

大家好&#xff0c;GraphRAG技术借助知识图谱&#xff0c;给RAG应用注入了新的动力&#xff0c;使其能够在海量数据中精确检索所需信息。本文将介绍GraphRAG的实现方法&#xff0c;包括如何创建索引以及如何利用Milvus向量数据库进行查询&#xff0c;助力在信息检索的道路上事半…
阅读更多...
高性能低功耗PWM控制功率开关，500V高压MOSFET集成与低功耗PWM控制，小家电与工业控制高效电源解决方案

高性能低功耗PWM控制功率开关，500V高压MOSFET集成与低功耗PWM控制，小家电与工业控制高效电源解决方案

描述 • WD5208&#xff1a;一款高性能低功耗PWM控制功率开关&#xff0c;适用于离线式小功率降压型应用场合。 • 主要特点&#xff1a; • 集成500V高压MOSFET和高压启动电路。 • 优化轻载噪音、提升系统抗干扰能力。 • 多模式控制、无异音工作。 • 支持降压和升降压…
阅读更多...
蓝桥杯准备训练（lesson1，c++方向）

蓝桥杯准备训练（lesson1，c++方向）

前言 报名参加了蓝桥杯&#xff08;c&#xff09;方向的宝子们&#xff0c;今天我将与大家一起努力参赛&#xff0c;后序会与大家分享我的学习情况&#xff0c;我将从最基础的内容开始学习&#xff0c;带大家打好基础&#xff0c;在每节课后都会有练习题&#xff0c;刚开始的练…
阅读更多...
动态系统的建模与分析

动态系统的建模与分析

7_一阶系统的单位阶跃响应(Step Response)_时间常数(Time Constant) 时间常数区分系统的重要参数&#xff1b;来做系统识别&#xff1b; _7.5换个角度分析单位阶跃响应_LTI System Unit Step Response 8_频率响应_详细数学推导 G(jw)_滤波器 9_一阶系统的频率响应_低通滤波器_M…
阅读更多...
k8s，声明式API对象理解

k8s，声明式API对象理解

命令式API 比如&#xff1a; 先kubectl create&#xff0c;再replace的操作&#xff0c;我们称为命令式配置文件操作 kubectl replace的执行过程&#xff0c;是使用新的YAML文件中的API对象&#xff0c;替换原有的API对象&#xff1b;而kubectl apply&#xff0c;则是执行了一…
阅读更多...
ConcurrentModificationException的理解

ConcurrentModificationException的理解

遍历集合的时候对集合进行了修改&#xff0c;例如添加、删除元素&#xff0c;就会抛这个异常。 产生这个异常的例子&#xff1a; 使用增强for遍历ArrayList&#xff0c;调用list的remove删除元素。 import java.util.ArrayList; import java.util.List;public class Concurre…
阅读更多...
TypeScript和JavaScript的区别

TypeScript和JavaScript的区别

总结&#xff1a; TypeScript 是 JavaScript 的超集&#xff0c;它在 JavaScript 的基础上添加了强类型、接口、类、泛型等特性&#xff0c;并提供了静态类型检查等工具&#xff0c;让开发者能够在编写代码时更加安全、高效、可靠。与 JavaScript 相比&#xff0c;TypeScript …
阅读更多...
记录一次网关异常

记录一次网关异常

记一次网关异常 网关时不时就会出现下面的异常。关键是不知道什么时候就会报错&#xff0c;并且有时候就算什么都不操作&#xff0c;也会导致这个异常。 ERROR org.springframework.scheduling.support.TaskUtils$LoggingErrorHandler - Unexpected error occurred in schedul…
阅读更多...
OpenCV圆形标定板检测算法findCirclesGrid原理详解

OpenCV圆形标定板检测算法findCirclesGrid原理详解

OpenCV的findCirclesGrid函数检测圆形标定板的流程如下：   findCirclesGrid函数源码： //_image,输入图像 //patternSize,pattern的宽高 //_centers,blobs中心点的位置 //flags,pattern是否对称 //blobDetector,这里使用的是SimpleBlobDetector bool cv::findCirclesGrid(…
阅读更多...
P1226 快速幂

P1226 快速幂

【STUACM-算法入门-快速幂】https://www.bilibili.com/video/BV1Hi4y1L7qB?p2&vd_sourcee583d26dc0028b3e6ea220aadf5bc7fe 想先把a的b次方算出来再对p取模是不可能的&#xff0c;因为肯定超出long long 范围。 需要知道&#xff1a;(x*y)mod p (x mod p)*(y mod p) mo…
阅读更多...
Devops-git篇-01-git环境配置

Devops-git篇-01-git环境配置

环境配置 设置用户签名 配置用户名&#xff1a; git config --global user.name 你的用户名 配置邮箱&#xff1a; git config --global user.email 注册的邮箱 配置好之后&#xff0c;可以用git config --global --list命令查看配置是否OK $ git config --global --list u…
阅读更多...
Create Stunning Word Clouds with Ease!

Create Stunning Word Clouds with Ease!

Looking to craft breathtaking word clouds? WordCloudStudio is your go-to solution! Whether you’re a marketer, educator, designer, or simply someone who loves visualizing data, this app has everything you need. Download now: https://apps.apple.com/app/wor…
阅读更多...
Python毕业设计选题：基于Flask的医疗预约与诊断系统

Python毕业设计选题：基于Flask的医疗预约与诊断系统

开发语言&#xff1a;Python框架&#xff1a;flaskPython版本&#xff1a;python3.7.7数据库&#xff1a;mysql 5.7数据库工具&#xff1a;Navicat11开发软件&#xff1a;PyCharm 系统展示 系统首页 疾病信息 就诊信息 个人中心 管理员登录界面 管理员功能界面 用户界面 医生…
阅读更多...
最新文章

Copyright @ 2022~2023