小白带你学习linux的mysql服务(主从mysql服务和读写分离三十一)

目录

二、MySQL Replication优点:

三、MySQL复制类型

1、异步复制(Asynchronous repication)

2、全同步复制(Fully synchronous replication)

3、半同步复制(Semisynchronous replication)

四、MySQL支持的复制方式

1、基于SQL语句的复制:

2、基于行的复制:

3、混合模式复制:

4、复制的工作过程

5、复制过程的限制

1、MySQL5.6

2、所有MySQL服务器的版本都要高于3.2

3、配置主MySQL Master服务器

 4、在/etc/my.cnf中修改或者增加如下内容:

五、基于Amoeba读写分离

1、基于程序代码内部实现

2、基于中间代理层实现

3、在主机Amoeba上安装java环境

4、在主机Amoeba上安装java环境

5、安装并配置Amoeba

在Client上进行访问测试

通过代理访问MySQL

主服务器操作

在client测试机上第1次查询结果

操作验证 - 写(读写分离)


一、MySQL Replication概述

MySQL Replication俗称MySQL AB复制、主从复制、主从同步,是MySQL官方推荐的数据同步技术。数据同步基本过程为从数据库会实时去读取主数据库的二进制日志文件,按照日志中记录对从库进行同样的操作,以达到数据同步效果。

、MySQL Replication优点:

1、通过增加从服务器来提高数据库平台的可靠性。在主服务器上执行写入和更新,在从服务器上向外提供读功能,可以动态地调整从服务器地数量,从而调整数据库平台地高性能。

2、提高数据安全性,因为数据已复制到从服务器,主数据库异常时,可以将从服务器复制进程终止来达到保护数据完整性地特点。

3、在主服务器上生成实时数据,而在从服务器上分析这些数据,从而缓解主服务器地性能压力。

三、MySQL复制类型

1、异步复制(Asynchronous repication)

MySQL默认地复制是异步地,主库在执行完客户端提交地事务后会立刻将结果返回给客户端,并不关心从库是否已经接受并处理了事务,这样就会有一个问题,主库如果down掉了,此时主上已经提交地事务可能没有传到从库服务器上,如果此时,强制将从提升为主,可能会导致新主上的数据不完整。默认情况下MySQL5.5/5.6/5.7和mariaDB10.0/10.1的复制功能是异步的。

2、全同步复制(Fully synchronous replication)

指当主库执行完一个事务,所有的从库都执行了该事务才返回给客户端。因为需要等待所有从库执行完该事务才能返回,所以全同步复制的性能必然会收到严重的影响,返回客户端的响应速度也会被拖慢。

3、半同步复制(Semisynchronous replication)

MySQL由Google贡献的补丁才开始支持半同步复制模式,介于异步复制和全同步复制之间,主库在执行完客户端提交的事务后不是立刻返回给客户端,而是等待至少一个从库接受到并写到relay log中才返回给客户端。相对于异步复制,半同步复制提高了数据的安全性,同时它也造成了一定程度的延迟,这个延迟最少是一个TCP/IP往返的时间。所以,半同步复制最好在低延时的网络中使用。当出现超时情况时,源主服务器会暂时切换到异步复制模式,直到至少有一台设置为半同步复制模式的从服务器及时收到信息为止。

半同步复制模式在主服务器和从服务器同时启用,否则主服务器默认使用异步复制模式

四、MySQL支持的复制方式

1、基于SQL语句的复制:

在主服务器上执行的SQL语句,在从服务器上执行同样的SQL语句,效率比较高。

2、基于行的复制:

主服务器把表的行变化作为事件写入到二进制日志中,主服务器把代表了行变化的事件复制到从服务器中。

3、混合模式复制:

先采用基于语句的复制,一旦发现基于语句无法精确复制时,再采用行。

4、复制的工作过程

 

⑴在每个事务更新完成数据之前,Master会在二进制日志中记录这些数据的语句,当MySQL将事务串行的写入二进制日志完成后,Master通知存储引擎提交事务并将数据写入磁盘

⑵Slave开启一个I/O工作线程,在Master之间建立一个连接,然后开始Binlog dump process,Binlog dump process会从Master的二进制日志中读取操作事件,如果已经跟Master达到一致状态,它会催眠并等待Master产生新的操作事件,I/O线程将这些改变数据的事件写入自己的中继日志。

⑶SQL Slave Thread(SQL工作线程)是处理MySQL Replication过程的最后一步。SQL线程从中继日志读取操作事件,重放其中的事件从而更新Slave服务器的数据,使slave与Master中的数据保持一致,只要该线程与I/O线程保持一致,中继日志通常会在OS的缓存中,所以中继日志的开销很小。

5、复制过程的限制

1、MySQL5.6

之前的版本复制操作在slave上执行的是串行化的,也就是Master上的并行更新会导致数据复制延迟

2、所有MySQL服务器的版本都要高于3.2

还有一个基本的原则就是从服务器的数据库版本可以高于主服务器数据库的版本,但是不可以低于主服务器的数据库版本。

MySQL Master IP:192.168.200.111

MySQL Slave1 IP:192.168.200.112

MySQL Slave2 IP:192.168.200.113

3、配置主MySQL Master服务器

统一关闭防火墙和宽容模式,安装好mysql数据库如果选择克隆记的删除一个文件

 4、在/etc/my.cnf中修改或者增加如下内容:

 重启MySQL服务器

 创建Replication用户

grant replication slave on *.* to 'myslave'@'192.168.28.%' identified by '123L.com';

 flush privileges;

获得Master DB的相关信息

供slave连接使用,记录下File和Position的值。

备份Master原有数据

如果在生产环境中Master服务器已经运行一段时间,或者Master服务器上已经存在数据,为了保证所有数据的一致性,需要先将Master目前已有的数据全部导给Slave服务器。

备份的方法有很多,可以直接备份数据文件,也可以使用mysqldump工具。全新搭建的环境不存在数据备份问题。

mysqldump -uroot -p --all-databases > /root/alldbbackup.sql

scp /root/ alldbbackup.sql root@192.168.28.131:/root/

scp /root/ alldbbackup.sql root@192.168.28.132:/root/

 在MySQL Slave1上的配置

导入Master的备份脚本

 从库连接主库进行测试,如果连接成功说明主库配置成功

 mysql -u myslave -p123L.com -h 192.168.28.128

 修改MySQL配置文件

vim /etc/my.cnf

配置多个从服务器时依次设置server-id号 

修改完后重启数据

在Slave服务器授权,启动从库,进行主从库数据同步 

[root@localhost ~]# mysql

MariaDB [(none)]>  stop slave;

MariaDB [(none)]> CHANGE MASTER TO MASTER_HOST='192.168.200.111',MASTER_USER='myslave',MASTER_PASSWORD='123456',MASTER_LOG_FILE='mysql-binlog.000003',MASTER_LOG_POS=1464;

MariaDB [(none)]> start slave;

MariaDB [(none)]> show slave status\G

参数说明:

CHANGE MASTER TO

MASTER_HOST='master_host_name', #主服务器的IP地址

MASTER_USER='replication_user_name', #主服务器授权的用户

MASTER_PASSWORD='replication_password', #主服务器授权的密码

MASTER_LOG_FILE='recorded_log_file_name', #主服务器二进制日志的文件名

MASTER_LOG_POS=recorded_log_position; #日志文件的开始位置

测试复制是否成功

在Master服务器上创建一个数据库或者表,到Slave服务器上查看,如果配置成功就可以成功同步。

主库查看当前存在的库

 从库查看当前存在库

 主库服务器创建库和表:

 从库验证:

 说明主从数据库创建成功。

报以下错误的解决方法:

五、基于Amoeba读写分离

在实际的生产环境中,如果对数据库的读和写都在同一个数据库服务器中操作,无论是安全性,高可用还是并发等各个方面都不能完全满足实际需求的,因此一般来说都是通过主从复制的方式来同步数据,再通过读写分离来提供数据的高并发负载能力这样的方案来进行部署。

简单来说,读写分离就是只在主服务器上写,只在从服务器上读,基本的原理是让主数据库处理事务性查询,而从数据库处理select查询,数据库复制被用来把事务性查询导致的改变更新同步到集群中的从数据库。

目前最常见的MySQL读写分离方案有两种:

1、基于程序代码内部实现

在代码中根据select,insert进行路由分类,这类方法也是目前大型生产环境应用最广泛的,优点是性能最好,因为在程序代码中实现,不需要增加额外的设备作为硬件开支,缺点是需要开发人员来实现,运维人员无从下手

2、基于中间代理层实现

代理一般位于客户端和数据库服务器之间,代理服务器接到客户端请求后通过判断转发到后端数据库,代表性程序:

(1)mysql-proxy为mysql

开发早期开源项目,通过其自带的lua脚本进行SQL判断,虽然是mysql的官方产品,但是mysql官方不建议将其应用到生产环境。

(2)Amoeba(变形虫)

该程序由java语言及逆行开发,阿里巴巴将其应用于生产环境,它不支持事物和存储过程。

3、在主机Amoeba上安装java环境

因为Amoeba是基于jdk1.5版本开发的,所以官方推荐使用1.5或者1.6版本,高版本不建议使用。

4、在主机Amoeba上安装java环境

查看现有Java环境

java -version

移除过高版本Java

which java

rm -rf /usr/bin/java

chmod +x jdk-6u14-linux-x64.bin
./jdk-6u14-linux-x64.bin

 把安装包拖进主机

根据提示按键

把包放在指定目录

vim /etc/profile在底部插入语言

export JAVA_HOME=/usr/local/jdk1.6

export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$PATH:$JAVA_HOME/lib:$JAVA_HOME/jre/bin:$HOME/bin

export AMOEBA_HOME=/usr/local/amoeba

export PATH=$PATH:$AMOEBA_HOME/bin

source /etc/profile

java -version

 :因为Amoeba是基于jdk1.5版本开发的,所以官方推荐使用1.5或者1.6版本,高版本不建议使用。

5、安装并配置Amoeba

mkdir /usr/local/amoebatar

xf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/

chmod -R 755 /usr/local/amoeba/

编辑amoeba.xml配置文件

 vim /usr/local/amoeba/conf/amoeba.xml 

编辑dbServer.xml配置文件

 vim /usr/local/amoeba/conf/dbServers.xml

 

 配置Amoeba读写分离,两个Slave读负载均衡

在Master、Slave1、Slave2服务器中配置Amoeba的访问授权

grant all on *.* to 'test'@'192.168.28.%' identified by '123L.com';

flush privileges;

配置无误后,启动Amoeba软件,默认端口是TCP协议8066

 amoeba start &

netstat -lnpt | grep 8066

netstat -anpt | grep 3306

 测试

在Client上进行访问测试

通过代理访问MySQL

mysql -uamoeba -p123L.com  -h 192.168.28.135  -P 8066

验证步骤就是在MySQL主服务器上创建一个表,会自动同步到各个从服务器上,然后关掉各个服务器上的Slave功能,在分别插入语句测试。

:此处命令中的IP是amoeba服务器的IP。

主服务器操作

  主服务器1创建库和表输入数据

create database File;

use File;

create table student (id int(10),name varchar(10),address varchar(20));

 分别在两台从服务器上操作

show databases;

use Rich;

 从Master输入数据

insert into student values('1','Rich','this_is_master');

 从slave1输入数据

insert into student values('2','Rich','this_is_slave1');

 从slave2输入数据

insert into student values('3','Rich','this_is_slave2');

 操作验证 - 读(负载均衡)

在client测试机上第1次查询结果

use File;

select * from student;

 在测试机上第2次查询结果

 在测试机上第3次查询结果

操作验证 - 写(读写分离)

 从服务器都停止

 客户端写入数据并查看数据

在Client上查询不到

 主服务器查看说明写入没有问题,最终只有在Master上才能看到这条语句内容,说明写操作在master服务器上写入成功。

  从服务器开启复制

     client查看

说明读写已经分离        

主服务器进行写入

从服务器进行读取

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/51764.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

设计模式-中介者模式在Java中使用示例-客户信息管理

场景 欲开发客户信息管理窗口界面,界面组件之间存在较为复杂的交互关系:如果删除一个客户, 要在客户列表(List)中删掉对应的项,客户选择组合框(ComboBox)中客户名称也将减少一个; 如果增加一个客户信息,…

网络安全行业相关证书

一:前言 对于考证这个话题,笔者的意见是:“有比没有好,有一定更好,但不一定必须;纸上证明终觉浅,安全还得实力行”。很多人对于各种机构的考证宣传搞得是云里雾里,不知道网络安全行业…

fastadmin采坑之固定表格某一列

// 初始化表格table.bootstrapTable({url: $.fn.bootstrapTable.defaults.extend.index_url,pk: id,sortName: id,fixedColumns: true,fixedRightNumber: 1,columns: [[{checkbox: true},{field: id, title: __(Id)},{field: proposal_title, title: __(Proposal_title), opera…

动脑学院Jetpack Compose学习笔记

最近b站学习了一下Compose相关内容,整理了相关笔记,仅供大家参考。 资源链接如下,象征性收取1个积分 https://download.csdn.net/download/juliantem/88125198

【图论】树上差分(边差分)

一.简介 其实点差分和边差分区别不大。 点差分中,d数组存储的是树上的节点 边差分中,d数组存储的是当前节点到父节点的那条边的差分值。 指定注意的是:边差分中因为根连的父节点是虚点,所以遍历结果时应当忽略! 二…

腾讯云—自动挂载云盘

腾讯云,稍微麻烦了点。 腾讯云服务器,镜像为opencloudos 8。 ### 1、挂载云盘bash #首先通过以下命令,能够看到新的数据盘,如果不能需要通过腾讯云控制台卸载后,重新挂载,并重启服务器。 fdisk -l#为 /dev…

Houdini查看参数能用的内置变量($符号开头的变量)

在某个参数上,右键,reference, local variable就能看到

Postman如何导出接口的几种方法

本文主要介绍了Postman如何导出接口的几种方法,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下 前言: 我的文章还是一贯的作风,简确用风格(简单确实有用)&am…

金三银四好像消失了,IT行业何时复苏!

疫情时候不敢离职,以为熬过来疫情了,行情会好一些,可是疫情结束了,反而行情更差了, 这是要哪样 我心中不由一万个 草泥🐴 路过 我心中不惊有了很多疑惑和感叹! 自我10连问 我的心情 自去年下…

HCIA实验二

实验要求: 1.R2为ISP,只能配置IP 2.R1-R2之间为HDLC封装 3.R2-R3之间为PPP封装,pap认证,R2为主认证方 4.R2-R4之间为PPP封装,chap认证,R2为主认证方 5.R1、R2、R3构建MGRE,仅R1的IP地址固定…

vmware的window中安装GNS3

1.向vmware中的windows虚拟机传送文件 点击虚拟机-安装VMwaretools 安装在虚拟机上面 此图标代表已经成功,将文件复制到虚拟机上里面 2.安装 安装gns3,需要先安装winpcap(检查网卡)和wireshark(对winpcap上数据进行抓…

excel绘制折线图或者散点图

一、背景 假如现在通过代码处理了一批数据,想看数据的波动情况,是不是还需要写个pyhon代码,读取文件,绘制曲线,看起来也简单,但是还有更简单的方法,就是直接生成csv文件,csv文件就是…

本地非文字资源无法加载

目录 方法A.静态/动态绑定路径 方法B.require导入(运行时加载) 方法C.import导入(x)(编译时加载) 方法D.ref直接操作元素赋值(x) 相关知识 import和requir区别 模板路径&#…

华为华三思科 交换机基础配置一览

console密码修改 华为 user-interface console 0 authentication-mode password set authentication password cipher XXXXXXXXX华三 line aux 0 authentication-mode password set auth pass simple XXX思科 en configure terminal line console 0 password 123 login忘记…

❤️创意网页:打造炫酷网页 - 旋转彩虹背景中的星星动画

✨博主:命运之光 🌸专栏:Python星辰秘典 🐳专栏:web开发(简单好用又好看) ❤️专栏:Java经典程序设计 ☀️博主的其他文章:点击进入博主的主页 前言:欢迎踏入…

【C++ 进阶】学习导论:C/C++ 进阶学习路线、大纲与目标

目录 一、C 学习路线 二、C 课程大纲与学习目标 (1)第一阶段:C 语言基础 (2)第二阶段:C 高级编程 (3)第三阶段:C 核心编程与桌面应用开发 (4&#xf…

OAuth机制_web站点接入微软azure账号进行三方登录

文章目录 ⭐前言⭐微软三方登录流程💖 web站点获取微软账号流程💖 node封装微软登录接口💖 webapp 自定义code换token💖 调用 Microsoft Graph API💖 前端唤醒authlink进行登录回调逻辑 ⭐结束 ⭐前言 大家好&#xf…

深度学习论文: Q-YOLO: Efficient Inference for Real-time Object Detection及其PyTorch实现

深度学习论文: Q-YOLO: Efficient Inference for Real-time Object Detection及其PyTorch实现 Q-YOLO: Efficient Inference for Real-time Object Detection PDF: https://arxiv.org/pdf/2307.04816.pdf PyTorch代码: https://github.com/shanglianlm0525/CvPytorch PyTorch代…

【论文笔记】神经网络压缩调研

神经网络压缩调研 背景现有的深度模型压缩方法NetWork Prunning 网络剪枝设计结构化矩阵知识蒸馏权值共享Parameter Quantization(参数量化)量化和二进制化伪量化Architecture Design(Depth Separable Convolution)分解卷积 背景 …

matlab Tabel操作

https://zhuanlan.zhihu.com/p/104266351 Table数据类型的引用要三点要注意: 1){}–花括号(curly braces),()–小括号(parentheses), .–圆点(dot)对Table类型数据的作用…