【MySQL】如何处理DB读写分离数据不一致问题?

文章内容

    • 1、前言
    • 读写库数据不一致问题我们如何解决?
      • 方案一:利用数据库自身特性
      • 方案二:不解决
      • 方案三:客户端保存法
      • 方案四:缓存标记法
      • 方案五:本地缓存标记
    • 那DB读写分离情况下,如何解决缓存和数据库不一致性问题呢?
      • 方案一:延迟消息
      • 方案二:更新用户再次发起读请求

1、前言

在互联网中大型项目中,读写分离应该是我们小伙伴经常听说的,这个主要解决大流量请求时,提高系统的吞吐量。因为绝大部分互联网产品都是读多写少,大部分都是读请求,很小部分是写请求。

在这里插入图片描述

1)一个主库负责写请求,更新数据
 
2)两个从库负责读请求,可以提高系统吞吐量
 
3)主库和从库之间同步数据

为什么产生数据不一致

在这里插入图片描述
上图中业务流程

1)写请求A进行数据更新,但写库还没有来得及把更新的数据更新到读库
 
2)读请求B进行数据查询,请求B是访问的读库,获取的是旧值
 
3)因为写库和读库之间存在同步延迟,导致数据在不同库中不一致

读写库数据不一致问题我们如何解决?

方案一:利用数据库自身特性

我们一般用的数据库是mysql和oracle,mysql是我们互联网项目都会用到的,oracle一般大公司用的比较多(很贵啊)。

我们分析一下问题,原因就是在主库(写库)与从库(读库)之间数据同步延迟导致,mysql中有全同步复制机制、半同步复制、异步复制三种复制方案(小伙伴可以自行去了解)。

mysql全同步复制

在这里插入图片描述

全同步复制,当A提交更新请求主库事务之后,不是立即返回,而是等到所有的从库节点必须收到、APPLY并且提交这些事务,主库线程才返回请求A结果,才能做后续操作。这样就解决了数据同步延迟的问题。

问题:但这个同步方案严重的问题就是写请求耗时会很长,而且会随者从库数量增加,耗时也会增加。(不推荐)

oracle共享存储

在这里插入图片描述

上图采用了oracle RAC方案,DB服务其实就代表一个应用服务,所有的数据存储在同一个地方,所有就不存在数据同步这个问题。当然这个部署方案不是我们严格意义上面的读写分离,存储是独立的。

方案二:不解决

我们设计任何架构方案,都要围绕着业务,如果业务能够接受可以不解决;其实很多互联网产品都有短时间的数据不一致问题。如:58同城,美团,贴吧等。

但有些场景是不允许的。如
在这里插入图片描述
上图中:

1)用户写了一篇文章,点击保存按钮
 
2)系统执行保存方法,提示用户保存成功
 
3)保存成功后一般系统就会立即跳转到文章列表,按照时间倒序,最新的文章排在第一个,这个业务是很正常的,让用户可以看到自己的文章列表
 
4)这样就是调用获取文章列表的方法getArticleList,但这个方法是读请求,走的是从库。
 
5)如果出现主库和从库同步延迟,就出现了不一致。

方案三:客户端保存法

这个方案是:一些业务的操作是有前端页面的,不管是网页或App等。此方案的思路就是把之前保存的文章缓存到客户端,在用户到文章列表时,数据的组成就是(客户端缓存文章 + 后端读库返回的文章数据)。客户端要做的就是缓存要设置一个时间(这个缓存时间,可以预估主库同步到从库的时间延迟);以及要做文章去重,防止读库已经同步完成,客户端缓存没有过期。

问题:客户端逻辑复杂;客户端有缓存数据大小的限制,不能保存大数据。列表分页处理复杂。

方案四:缓存标记法


在这里插入图片描述
上图流程:

1)A发起写请求,更新了主库,但在缓存中设置一个标记,代表此数据已经更新,标记格式(业务代号:数据库:表:主键ID)根据自己业务场景。
 
2)设置此标记,要加上过期时间,可以为预估的主库和从库同步延迟的时间
 
3)B发起读请求的时候,先判断此请求的业务在缓存中有没有更新标记
 
4)如果存在标记,走主库;如果没有走从库。

这个方案就有效了解决了数据不一致的问题。

但这个方案会有个严重的问题,也就是每次的读请求都要到缓存中去判断是否存在缓存标记,如果是单机部署用的是jvm缓存,对性能还好;但如果是集群部署缓存肯定用redis,每次读都要和redis进行交互,这样肯定会影响系统吞吐量。

那怎么办?怎么办?继续往下看

方案五:本地缓存标记


在这里插入图片描述
上图流程:

1)用户A发起写请求,更新了主库,并在客户端设置标记,过期时间,如:cookies
 
2)用户A再发起读请求时,带上这个本地标记在后端
 
3)后端在处理请求时,获取请求传过来的数据,看有没有这个标记(如:cookies)
 
4)有这个业务标记,走主库;没有走从库。

这个方案就保证了用户A的读请求肯定是数据一致的,而且没有性能问题,因为标记是本地客户端传过去的。

但有写小伙伴就会问那其他用户在本地客户端是没有这个标记的,他们走的就是从库了。那其他用户不就看不到这个数据了吗?说的对,其他用户是看不到,但看不到的时间很短,过个1~10秒就能够看到。

但这个方案解决了当前用户的数据一致性的问题,如上面举的例子,写文章,然后到文章列表,本用户是能够看到的。其他用户暂时看不到是没有关系的。还是那句话,脱离业务的方案是耍流氓。(推荐)

那DB读写分离情况下,如何解决缓存和数据库不一致性问题呢?

方案一:延迟消息

其实在真实业务中,尤其互联网项目中,数据短时间的不一致时能够接受的。就像怎么解决DB读写分离,导致数据不一致问题?中提到的本地缓存标记法,保证了本用户数据一致,其他用户可暂时不一致,但最终是一致的这个思路。我们可以设置一个延迟消息,如下图
在这里插入图片描述
流程:

1)在订阅到binlog更新日志时,先不删除缓存,而是投递一个延迟消息(如:延迟10秒的消息,就是过10秒此消息才会被消费者监听到,从而被消费)

2)延迟消息的延迟时间,设置为主库与从库的数据同步延迟的时间,可自行预估

3)监听到延迟消息,在删除缓存。

这个方案的特点就是读请求会在延迟时间内读取到的是旧值,等到延迟时间一过,取到的就是新值。这个业务在互联网产品中是允许的。

如果要保证本用户(更新数据的用户)一定读到的是新值,这边可以采用本地缓存标记方案,直接从主数据库读取,读取到数据后,可以把新值设置到缓存中,这样就保证了数据一致性。

方案二:更新用户再次发起读请求

在方案一中,其他用户的读请求会有暂时间读取到的是旧值,如何缩短时间?其实是有一个方案,就是让更新用户再次发起读请求,也就是在方案一最后提到的

1)更新用户再次发起读请求,根据本地缓存标记,直接走主数据库,读取的肯定是新值,

2)再把这个新值设置到缓存中。这样就保证了缓存中的是新值,虽然从库还没有不同完成,但缓存中已经是新值了。

3)最后从库同步数据完成,值就达到了一致性

参考文章:

DB读写分离情况下,如何解决缓存和数据库不一致性问题?

如何更新缓存保证缓存和数据库双写一致性?

怎么解决DB读写分离,导致数据不一致问题?

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/398266.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Open CASCADE学习|为什么由Edge生成Wire不成功?

Wire 是一种复合形状,不是由几何形状构建的,而是由边缘的装配构建的。BRepBuilderAPI_MakeWire类可以从一个或多个Edge构建Wire,或将新Edge连接到现有Wire。 BRepBuilderAPI_MakeWire 类将Edge连接到Wire。添加新Edge时,如果其顶点…

云呐智能运维硬件包括哪些?智能运维体系包括哪些?

智能运维体系时,能够详细了解该体系包含的各个组成部分。具体来说,我们应该知道智能运维体系中涉及的软件组件有哪些,以及这些组件是如何相互协作以实现高效运维的。此外,智能运维体系中使用的硬件设备感兴趣。列举了智能运维硬件…

《Go 简易速速上手小册》第4章:接口与抽象(2024 最新版)

文章目录 4.1 接口的定义与实现 - Go 语言的多面手4.1.1 基础知识讲解4.1.2 重点案例:动物乐队功能描述实现代码 4.1.3 拓展案例 1:通用支付系统拓展案例 1:通用支付系统功能描述实现代码 4.1.4 拓展案例 2:动物园管理器拓展案例 …

Vuex状态管理

Vuex状态管理 一、[Vuex](https://vuex.vuejs.org/zh/) 概述二、需求: 多组件共享数据三、vuex 的使用 - 创建仓库四、核心概念 - state 状态五、通过辅助函数 - mapState获取 state中的数据六、开启严格模式及Vuex的单项数据流七、核心概念-mutations八、带参数的 mutations九…

探秘OpenAI的神奇之作:Sora技术揭秘

探秘OpenAI的神奇之作:Sora技术揭秘 1. 引言 在当今科技快速发展的时代,人工智能(AI)正日益成为各个领域的关键技术。而在人工智能领域中,OpenAI公司一直以来都扮演着重要的角色。他们的最新创新——Sora技术&#x…

Linux:docker的Portainer部署

官网 Portainer: Container Management Software for Kubernetes and Dockerhttps://www.portainer.io/ 1.下载 portainer也是一个docker的镜像直接下载即可 docker pull portainer/portainer 2.运行 直接运行镜像即可直接使用 docker run -d -p 8000:8000 -p 9000:9000 -…

2.20学习总结

1.【模板】单源最短路径(弱化版) 2.【模板】单源最短路径(标准版) 3.无线通讯网 4.子串简写 5.整数删除 6.拆地毯 【模板】单源最短路径(标准版)https://www.luogu.com.cn/problem/P4779 题目描述 给定一个…

社区店选址的黄金法则:选择最佳位置的关键因素

对于计划开设实体店或创业的人来说,选址是至关重要的一步。 作为一名5年的鲜奶吧创业者,我将以专业的角度,详细阐述社区店选址的黄金法则,帮助你找到最理想的店铺位置。 1、市场需求与目标客户: 在选址之前&#xf…

Vue 使用 v-bind 动态绑定 CSS 样式

在 Vue3 中&#xff0c;可以通过 v-bind 动态绑定 CSS 样式。 语法格式&#xff1a; color: v-bind(数据); 基础使用&#xff1a; <template><h3 class"title">我是父组件</h3><button click"state !state">按钮</button&…

MyBatis数据库查询

文章目录 什么是MyBatisMyBatis程序的创建MyBatis实现数据库查询传参查询插入实现添加操作获取自增ID删除实现修改实现#{}和${}SQL注入 like查询 resultMap和resultType多表查询 对于普遍的后端开发而言&#xff0c;其程序主要包含了后端主程序和数据库两个部分&#xff0c;用户…

floyd算法解析+python实现

具体原理可以参考链接1 视频讲解 python实现如下 # dist是任意两点之间的最短路径&#xff0c;path是这两点之间的最短路径&#xff0c;所需途径的点 def floyd_warshall(graph):n len(graph)dist [[float(inf)] * n for _ in range(n)]path [[-1] * n for _ in range(n)]…

【算法2-1】前缀和、差分与离散化

一、【P3406】海底高铁&#xff08;差分贪心&#xff09;​​​​​​ 由于本题涉及到线路问题&#xff0c;需要统计Uim途径每条线路的次数&#xff0c;而且Uim每次的轨迹都是很长一段路径&#xff0c;所以需要使用一个合理的数据结构来维护区间的变化&#xff0c;首先想到线段…

测试工具之压测工具JMeter(一)

有时候我们接到的需求是秒杀或者抽奖类的功能开发&#xff0c;这时候可能会在某一时间点大量请求并发&#xff0c;我们手工自测很难发现一些高并发场景下的问题&#xff0c;这时候可以借助一些压测工具帮我们模拟出大量请求来测试我们的接口是否能满足业务要求。JMeter是Apache…

Golang for 循环

从基础知识到高级技术、并发和通道 Go&#xff08;Golang&#xff09;编程语言中的“for”循环是一个基本而多功能的结构&#xff0c;用于迭代集合、重复执行代码块以及管理循环控制流。Golang的“for”循环语法简洁却强大&#xff0c;为处理多样的循环场景提供了一系列能力。无…

神经网络基础——激活函数的选择、参数初始化

一、神经网络 1、神经网络 人工神经网络&#xff08;Artificial Neural Network&#xff0c;即ANN&#xff09;也简称为神经网络&#xff08;NN&#xff09;是一种模仿生物神经网络结构 和功能的计算模型。 2、基本部分 输入层&#xff1a;输入 x 输出层&#xff1a;输出 y 隐…

DS Wannabe之5-AM Project: DS 30day int prep day20

Q1. Do you have any idea about Event2Mind in NLP? Yes, it is based on NLP research paper to understand the common-sense inference from sentences. Event2Mind: Common-sense Inference on Events, Intents, and Reactions The study of “Commonsense Reasoning”…

为什么json属性名被设计为必须有引号?

JSON——JavaScript Object Notation&#xff0c;直译过来就是JavaScript对象标记法。 这是一种数据交换格式&#xff0c;简单来说&#xff0c;就像我们平时写收发地址一样&#xff0c;规定了一种大家都认同的格式&#xff0c;让数据在不同的系统之间传递得既安全又不会走丢。 …

使用go-llama.cpp 运行 yi-01-6b大模型,使用本地CPU运行,速度挺快的

1&#xff0c;视频地址 2&#xff0c;关于llama.cpp 项目 https://github.com/ggerganov/llama.cpp LaMA.cpp 项目是开发者 Georgi Gerganov 基于 Meta 释出的 LLaMA 模型&#xff08;简易 Python 代码示例&#xff09;手撸的纯 C/C 版本&#xff0c;用于模型推理。所谓推理…

Python之海象运算符

在 Python 3.8 及更高版本中&#xff0c;引入了一种新的语法特性&#xff0c;称为"海象运算符"&#xff08;Walrus Operator&#xff09;&#xff0c;它使用 : 符号。这个运算符的主要目的是在表达式中同时进行赋值和返回赋值的值。 使用海象运算符可以在一些情况下…

14. UE5 RPG使用GameplayTag

GameplayTag本来是应用在GAS游戏技能系统里面的&#xff0c;后来UE直接将其抽离出来&#xff0c;作为一个模块&#xff0c;现在可以不在GAS里也可以使用这个模块。比如&#xff0c;我需要判断一个射线拾取的物体&#xff0c;首先我需要判断这个actor是否存在&#xff0c;然后判…