产品解读:GreatADM如何快速改造单实例为双主、MGR、读写分离架构?

前言

单机GreatDB/GreatSQL/MySQL将架构调整为多副本复制的好处有哪些?为什么要调整?

图片

  1. 性能优化:如果单个GreatDB服务器的处理能力达到瓶颈,可能需要通过主从复制、双主复制或MGR及其他高可用方案来提高整体性能。通过将读请求分发到多个服务器,能大大提高并发处理能力;

  2. 实现高可用:如果您的应用程序不能接受服务中断,那么多副本可帮您实现高可用性的故障切换。当主服务器发生故障时,可快速切换到从服务器或另一主服务器,以保持服务的连续性;

  3. 实现读写分离、便于业务数据测试:单机GreatDB在做一致性备份时,往往对性能和负载产生压力,主从、多主或MGR可选择从节点来备份。数据恢复或测试,可优先在从服务器进行数据回放测试等。

适用场景

1.单机GreatDB/GreatSQL/MySQL改造为主从或双主复制

2.单机GreatDB/GreatSQL/MySQL改造为MGR组复制

3.GreatDB/GreatSQL/MySQL主从改造为MGR组复制

4.基于备份进行GreatDB/GreatSQL/MySQL数据库升级测试

操作步骤

通过GreatADM可视化的方法,屏蔽手动命令操作的复杂度,快速完成单实例的向多主、多副本的架构分钟级的调整升级。

场景支持:支持纳管的实例的架构改造,或者数据库软件版本的升级功能。

思路如下:通过sysbench压入单机数据,通过备份单机数据,恢复到新的架构中,使用sysbench直接连接新的架构做压测,查看是否可正常运行验证数据可用性。(本次演示采用GreatSQL单机企业版本操作)

步骤如下:

1、使用GreatADM针对单实例做全量备份

2、选择备份的数据和确定要改造或升级的版本

3、选择不同架构和软件包构建新架构(本次演示单机向双主、MGR的变更)

4、恢复数据完成新架构改造

5、sysbench压测查数据可用性

环境信息如下:

图片

添加2台主机172.17.134.60/61到GreatADM中,如下

图片

图片

准备工作:sysbench创建压测数据到单实例

图片

登录数据库,创建sysbench测试数据50张表,每表1w行数据。

 

$ sysbench --test=oltp_read_write.lua --mysql-user=greatdb --mysql-password='xxxxx' --mysql-host=172.17.134.68 --mysql-port=3307 --mysql-db=sysbench --threads=10  --report-interval=1 --tables=50  --table-size=10000 --time=60  prepare

通过SQL窗口查看对应的表信息

图片

完成测试数据的创建,接下来进行单节点的备份操作。

一、做数据库全量备份

使用GreatADM针对单实例做全量备份,选择【备份管理】执行单节点的全量备份,在备份之前首先需要配置备份方式。因为GreatADM支持HDFS、FTP、COS对象存储、LOCAL本地、远端备份服务器5种类的备份集存储方式。

图片

这里我们选择【LOCAL本地存储】即将数据直接备份放置在数据库所在的主机,指定本地路径下。【本地路径】是最终备份集存储的路径,我们命名为:/backup,需要在数据库的服务器上创建目录,并授权。

图片

创建备份集存储的目录,使用root创建,并调整目录权限,保证和添加服务时创建的【管理用户】,同一个属组,确保GreatADM以greatsql普通用户备份时,有权限写入/backup。

 

$ mkdir /backup ;  
$ chown greatsql.greatsql  /backup;

接下来,执行【手动备份】并配置备份项。

图片

GreatADM支持多种数据库架构的备份,且可以按照用户需求,选择备份不同项目的数据库,以及按需选择数据库主节点、或从节点备份。

图片

在配置项中,同时支持【压缩备份】,【加密备份】,【并行备份】,以及备份超时平台层的【超时提醒】消息等

图片

执行备份,日志输出如下 ,整个备份分为4个阶段即

【收集信息】--收集数据库的版本和数据文件路径等信息

【备份预检查】--检查备份工具和数据库版本是否匹配,备份配置项是否有效

【执行备份】--执行执行一致性的物理热备

【上传到存储】--如果配置远程网络存储,则进行备份集的网络传输。

图片

完成备份,如下生成的备份记录

图片

完成备份之后,可点击【备份详情】查看本次备份的配置信息等。

操作系统路径下对应的备份集,与数据库实例同在一台服务器的不同路径下。

图片

二、恢复为双主复制架构

基于备份做架构变更,基于全量物理备份做数据的恢复,和新架构的变更创建。基于全量备份恢复导172.17.134.60、61两台主机,来改造成新的主从,或者双主架构。步骤如下:

首先选中【序号1】刚刚完成的【单机601全量备份】,点击【备份恢复】选项

图片

弹出要恢复为哪种架构,这里目前可选的有4种,同时支持2种恢复架构的类型,即【恢复物理机数据库】和【资源池方式】也就是资源隔离方式。这里,我们选择物理机恢复出双主架构。点击【主备副本】选择【恢复物理机数据库】

图片

接下来配置恢复出的新架构,属于哪个【项目】,所选择的【数据库软件包版本】,以及备份工具包。这里我们就默认选择GreatADM已经上传的xtrabackup-8.0.32版本。主机选择172.17.134.60、172.17.134.61两台主机。鉴于之前部分传统的企业客户,有多个副本的需求场景下,GreatADM提供了双主下,再次扩展副本的能力。如果在双主复制的架构下,仍想扩展1个从副本,则可以在添加节点之后,选择【添加从节点】选项,扩展副本数

图片

默认允许用户混合主从副本安装在同一台物理主机上,用端口做区分如下示意图,则可以在双主下各创一个从副本。形成双主双从,这里仅作演示。

图片

实际我们仍按双主架构来进行架构恢复。进入新架构的部署预检查页面,如图,主要是涉及操作系统配置标准化、规范化、依赖包等检查。

图片

通过之后进行下一步,完成新架构的初始化,并在初始化之后,做数据的恢复。

图片

完成架构调整的双主结构拓扑如下

图片

实例属性信息如下

图片

同时保留了原始节点,此时可将原始的单机移除,到此完成架构的改造和变更。数据中的用户名、密码等和原始单机数据库完全相同一致。可直接点点击【登录】验证。

图片

完成单机改造为新的双主复制结构。

三、恢复为MGR架构

同样,选择单机601的备份集, 删除之前172.17.134.60、61的数据库,释放主机资源。之前鉴于项目中有用户主机资源不足,考虑主机采用多实例混合部署在1台上的情况,我们顺便测下GreatADM是否支持重复利用主机,混合部署多个实例。

图片

选择【备份恢复】,恢复架构中,选择【paxos高可用复制】,选择【物理数据库】

图片

进入paxos配置项中,我们仍选择【default】默认项目,对应的软件包版本可选择升级的新版本,在做架构改造时,同时进行数据库的版本升级工作。此处,我们重复使用172.17.134.61这台主机,分别使用3307、3308、3309三个端口来区分3个实例。如下:

图片

预检查之后的拓扑图预留和端口信息如下:

图片

安装部署过程和日志信息如下:

图片

安装之后拓扑如下:

图片

完成单机向paxos高可用(组复制)的改造和数据恢复。查看当前172.17.134.61主机的运行状态和负载,也验证了GreatADM支持混合部署多实例到1台主机。

图片

图片

四、验证数据的可用性

使用sysbench压测新恢复的架构,对应的sysbench库的表等可直接压测使用,无数据异常。

 

$ sysbench --test=oltp_read_write.lua --mysql-user=greatsql --mysql-password='xxxxx' --mysql-host=172.17.134.61 --mysql-port=3307 --mysql-db=sysbench --threads=10  --report-interval=1 --tables=50  --table-size=10000 --time=60  run

图片

五、总结

改造的意义:如果您需要存储和处理大量数据,且读写负载较高,单个GreatSQL/MySQL服务器可能无法满足需求,或为了满足跨地域访问的需求,可以将单机数据库改造成可跨多个数据中心采用异步复制、半同步、强同步等方式,既可以保证数据库的多副本容灾,又可提升业务的读写效率,规避了单点故障对业务的影响和负载。

GreatADM提供的能力和价值:在改造升级过程中,借助GreatADM管理平台进行图形化改造,大大降低了架构改造的难度和效率。避免DBA手动黑屏命令方式的繁冗复杂的操作命令,减少业务停机时长,同时降低人工操作的压力。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/196059.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Linux中的内存回收:Swap机制(图文并茂)

1、Swap机制是什么 : Swap机制是一种利用磁盘空间来扩展内存的方法。当系统的物理内存不足时,可以把一些不常用的内存数据写入到磁盘上的Swap分区,从而释放出更多的内存给其他需要的进程。当这些内存数据再次被访问时,系统会把它们…

什么是路由抖动?该如何控制

路由器在实现不间断的网络通信和连接方面发挥着重要作用,具有所需功能的持续可用的路由器可确保其相关子网的良好性能,由于网络严重依赖路由器的性能,因此确保您的路由器不会遇到任何问题非常重要。路由器遇到的一个严重的网络问题是路由抖动…

leetcode 283. 移动零

代码&#xff1a; class Solution {public void swap(int[] nums,int m,int n){int tmpnums[m];nums[m]nums[n];nums[n]tmp;}public void moveZeroes(int[] nums) {int cur0;int dest-1;int nnums.length;for(;cur<n;cur){if(nums[cur]!0){dest;swap(nums,cur,dest);}}} } …

封装一些可能会用到的JS的Dom操作方法(非JS自带的方法)

1. 父元素节点下的子元素节点逆序 HTMLElement.prototype.childRevers function () {var all_num this.childElementCount;if (all_num) {while(all_num--){this.appendChild(this.children[all_num]);}} } // 获取 ul 父节点对象 var oul document.getElementsByTagName(u…

抖去推--短视频账号矩阵系统saas工具源码技术开发

一、短视频矩阵系统搭建常见问题&#xff1f; 1、抖去推的短视频AI矩阵营销软件需要一定的技术水平吗&#xff1f; 答&#xff1a;不需要。产品简单易用&#xff0c;不需要具备专业的技术水平&#xff0c;即使是初学者&#xff0c;也能够轻松上手操作。 3、抖去推的短视频AI矩…

Maya 2024(3D建模、动画和渲染软件)

Maya 2024是一款非常强大的3D建模、动画和渲染软件&#xff0c;它提供了许多新功能和改进&#xff0c;以帮助建模师、动画师和渲染师更加高效地进行创作。 在建模方面&#xff0c;Maya 2024引入了Symmetry&#xff08;对称&#xff09;功能&#xff0c;可以在网格两侧生成均匀…

vue2+el-select实现分页加载更多功能

需求&#xff1a; 由于项目下拉框数据过多&#xff0c;一次性加载完&#xff0c;会有性能问题&#xff0c;于是希望可以增加分页加载更多功能。 实现效果&#xff1a; 如上图&#xff1a;点击“点击加载更多”按钮&#xff0c;实现分页加载下一页&#xff0c;直到最后一页&am…

SAP ABAP CONVERT_BDCMSGCOLL_TO_BAPIRET2

CONVERT_BDCMSGCOLL_TO_BAPIRET2 BDC返回清单转BAPIRET2 CALL FUNCTION CONVERT_BDCMSGCOLL_TO_BAPIRET2TABLESimt_bdcmsgcoll lt_msgext_return lt_return.

Node.js【GET/POST请求、http模块、路由、创建客户端、作为中间层、文件系统模块】(二)-全面详解(学习总结---从入门到深化)

目录 Node.js Stream(流)&#xff08;三&#xff09; Node.js http模块 Node.js GET/POST请求&#xff08;一&#xff09; Node.js GET/POST请求&#xff08;二&#xff09; Node.js 路由 Node.js 创建客户端 Node.js 作为中间层 Node.js 文件系统模块&#xff08;一&am…

Python3.6.8升级Python3.12.0版本小记

Python3.6.8 升级 Python3.12.0版本小记 前言一、查看系统已安装Python的相关信息二、升级Python三、解决问题记录&#xff1a;升级之后cmd查看python版本仍为原版本 叮嘟&#xff01;这里是小啊呜的学习课程资料整理。好记性不如烂笔头&#xff0c;今天也是努力进步的一天。一…

MySQL在Docker容器中的性能损失分析与优化策略

文章目录 1. Docker容器对MySQL性能的潜在影响1.1. IO性能1.2. 网络性能1.3. 资源隔离 2. 优化策略2.1. 使用本地数据卷2.2. 配置合理的容器网络2.3. 限制容器资源2.4. 使用容器编排工具 3. 性能测试与监控4. 结论 &#x1f389;MySQL在Docker容器中的性能损失分析与优化策略 ☆…

事务的状态和ACID特性

事务就是让数据从一个状态到另一个状态的操作 状态 活动的 事务在执行过程中 部分提交的 事务的最后一个操作已经完成&#xff0c;此时造成的影响只是在内存里&#xff0c;但还没刷写磁盘 失败的 处于活动的或者部分提交的状态时&#xff0c;服务器宕机 中止的 处于失败…

安防视频监控汇聚EasyNVR视频集中存储平台级联上级时下级未回复原因是什么?该如何解决?

安防监控系统EasyNVR视频云存储平台可实现设备接入、实时直播、录像、检索与回放、视频云存储、视频分发等视频能力服务&#xff0c;可覆盖全终端平台&#xff08;pc、手机、平板等终端&#xff09;&#xff0c;在智慧工厂、智慧工地、智慧社区、智慧校园等场景中有大量落地应用…

《工业和信息化领域数据安全行政处罚裁量指引(试行)》意见征求

11月23日&#xff0c;工业和信息化部网络安全管理局发布了《工业和信息化领域数据安全行政处罚裁量指引&#xff08;试行&#xff09;》&#xff0c;并且面向社会公开征求意见。 据悉&#xff0c;《工业和信息化领域数据安全行政处罚裁量指引&#xff08;试行&#xff09;》的推…

工业以太网交换机有哪些优点?

工业以太网交换机是一种常见的网络设备&#xff0c;具备工业级特性。在轨道交通、智能制造以及工业自动化控制系统中扮演着重要的角色。随着工业自动化水平不断进步&#xff0c;对工业以太网交换机的要求也日益提高。 工业以太网交换机的工作原理 工业以太网交换机与多种工业…

毫米波雷达DOA角度计算----Capon算法

算法实现如下&#xff1a; parameter&#xff1a;雷达参数设置。 antVet&#xff1a;目标点 对应的非相参积累天线数据。 function [angle,doa_abs] caponMethod(parameter,antVec)txAntenna parameter.txAntenna; % 发射天线 [1 1]rxAntenna parameter.rxAntenna; % 接…

日期对象与节点操作

1.日期对象 1.1实例化 // 实例化const date new Date()console.log(date);// 返回指定时间const date1 new Date(2022-5-1 08:30:00)console.log(date1);1.2日期对象方法 1.3时间戳 三种获取时间戳的方法 const date new Date()console.log(date.getTime());console.log(ne…

2015年五一杯数学建模A题不确定性条件下的最优路径问题解题全过程文档及程序

2015年五一杯数学建模 A题 不确定性条件下的最优路径问题 原题再现 目前&#xff0c;交通拥挤和事故正越来越严重的困扰着城市交通。随着我国交通运输事业的迅速发展&#xff0c;交通“拥塞”已经成为很多城市的“痼疾”。在复杂的交通环境下&#xff0c;如何寻找一条可靠、快…

同心合“利”,“盈”享未来!2023中海达合作伙伴交流会圆满召开

北方大雪纷飞时&#xff0c;广州却仍是艳阳高照。正如广州持续的高温一样&#xff0c;全国各地合作伙伴用自己的热情与活力全力支持和陪伴着中海达。为感谢合作伙伴同心合力&#xff0c;一路同行&#xff0c;11月27日&#xff0c;“同心合‘利’&#xff0c;‘盈’享未来”2023…

agv配置

要求前方避障停车距离1500m 货架旋转点要求遇障检测距离500m