分布式事务完美解决方案：消息中间件（kafka）+ 本地事物 + 消息校对

前言

分布式事务是要保证多个服务下的多个数据库操作的一致性。分布式事务常见解决方案有：二阶段、三阶段和TCC实现强一致性事务，其实还有一种广为人知的方案就是利用消息队列来实现分布式事务，保证数据的最终一致性，也就是我们常说的柔性事务。本次使用MQ+本地事务+消息校对的方式来实现分布式事务。

案例描述

有两张银行卡为bankcard1和bankcard2，且这两张银行卡存在于不同的服务中，bankcard1存在于payment服务中，专门用于转账支付，bankcard2存在于collection服务中，用于接收收款。下面为了方便讨论，将转账的payment服务记做主服务，收账的collection服务记为从服务。

解决思路

  • 增加一张事务表，用作记录事务的id，事务状态和事务交易数据。且这张表在不同的服务中和服务中的银行卡当作本地事务，一同更新。其中，事务状态有三种，分别为：started、success和failed。started在主服务本地事务中更新，success在从服务本地事务成功中更新，failed在从服务消费失败时更新，并用做回滚主服务本地事物的提交。
  • 使用定时任务，主服务开启定时任务，定时查询状态为strated事务，并将事物涉及到的交易信息封装为事务的data信息，将事物信息一并通过kafka发送给从服务。
  • 幂等性问题解决，在从服务在进行本地事物的时候，会检查当前事物ID是否已经是success，如果是说明已经重复消费，回滚本地事物。
  • 消费者手动确认消费，保证从服务的可靠性。
    消息队列默认的自动ack机制是在消费者拿到消息就会将这条消息在队列中清除，那这边会出现了一个问题，消费者怎么能确定自己手上这条信息在流程中不会出问题呢，按道理我们是要消费者做完事情在告诉队列去删除，我出问题了你下次再给我重发我再次消费，所以这里我们要开启手动ack在执行完业务逻辑后手动提交，以此来保证整个流程的数据一致性。
  • 最后，为了进一步保证分布式事务的一致性，在以后操作这些关联事务的表的之前，需要多一次查表操作，先看一下该表所关联的事务的状态是否是success。

流程图

在这里插入图片描述

数据库设计

-- MySQL dump 10.13  Distrib 8.0.34, for macos13 (x86_64)
--
-- Host: 127.0.0.1    Database: mq-transaction
-- ------------------------------------------------------
-- Server version	8.0.34

/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;
/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;
/*!50503 SET NAMES utf8mb4 */;
/*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */;
/*!40103 SET TIME_ZONE='+00:00' */;
/*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;

--
-- Table structure for table `bankcard1`
--

DROP TABLE IF EXISTS `bankcard1`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!50503 SET character_set_client = utf8mb4 */;
CREATE TABLE `bankcard1` (
  `id` bigint NOT NULL AUTO_INCREMENT COMMENT '自增主键',
  `card_number` varchar(32) COLLATE utf8mb4_general_ci NOT NULL COMMENT '银行卡号',
  `amount` double NOT NULL DEFAULT '0' COMMENT '银行卡余额',
  `transaction_id` varchar(32) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '关联事务uuid',
  PRIMARY KEY (`id`),
  UNIQUE KEY `bankcard1_card_number_uindex` (`card_number`) COMMENT '银行卡号唯一索引'
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci COMMENT='银行卡1，用于支付';
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Dumping data for table `bankcard1`
--

LOCK TABLES `bankcard1` WRITE;
/*!40000 ALTER TABLE `bankcard1` DISABLE KEYS */;
INSERT INTO `bankcard1` VALUES (1,'7b3904c584d74c6fa5bce8daa65f7c9c',900,'74ad50c1a82c4b2fb322f2708a9aafb7');
/*!40000 ALTER TABLE `bankcard1` ENABLE KEYS */;
UNLOCK TABLES;

--
-- Table structure for table `bankcard2`
--

DROP TABLE IF EXISTS `bankcard2`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!50503 SET character_set_client = utf8mb4 */;
CREATE TABLE `bankcard2` (
  `id` bigint NOT NULL AUTO_INCREMENT COMMENT '自增主键',
  `card_number` varchar(32) COLLATE utf8mb4_general_ci NOT NULL COMMENT '银行卡号',
  `amount` double NOT NULL DEFAULT '0' COMMENT '总金额',
  `transaction_id` varchar(32) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '关联的事务uuid',
  PRIMARY KEY (`id`),
  UNIQUE KEY `bankcard2_card_number_uindex` (`card_number`)
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci COMMENT='银行卡2，用于收款';
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Dumping data for table `bankcard2`
--

LOCK TABLES `bankcard2` WRITE;
/*!40000 ALTER TABLE `bankcard2` DISABLE KEYS */;
INSERT INTO `bankcard2` VALUES (1,'9fc5e9e265c14e5eb9bf77c6eb5c5d98',200,'74ad50c1a82c4b2fb322f2708a9aafb7');
/*!40000 ALTER TABLE `bankcard2` ENABLE KEYS */;
UNLOCK TABLES;

--
-- Table structure for table `transaction_record`
--

DROP TABLE IF EXISTS `transaction_record`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!50503 SET character_set_client = utf8mb4 */;
CREATE TABLE `transaction_record` (
  `id` bigint NOT NULL AUTO_INCREMENT COMMENT '自增主键',
  `transaction_id` varchar(32) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '事务uuid',
  `data` varchar(512) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '涉及到的交易数据',
  `status` varchar(16) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '事务状态',
  `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  `update_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
  `is_delete` tinyint(1) NOT NULL DEFAULT '0' COMMENT '是否删除',
  PRIMARY KEY (`id`),
  UNIQUE KEY `transaction_record_transaction_id_uindex` (`transaction_id`) COMMENT 'transaction_id uuid 唯一索引'
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci COMMENT='事务记录表';
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Dumping data for table `transaction_record`
--

LOCK TABLES `transaction_record` WRITE;
/*!40000 ALTER TABLE `transaction_record` DISABLE KEYS */;
INSERT INTO `transaction_record` VALUES (1,'e2d68d8593594239beec2f68da6a01d0','{\"amount\":50,\"cardNumber2\":\"9fc5e9e265c14e5eb9bf77c6eb5c5d98\",\"cardNumber1\":\"7b3904c584d74c6fa5bce8daa65f7c9c\"}','success','2024-01-06 20:20:32','2024-01-06 20:20:32',0),(2,'74ad50c1a82c4b2fb322f2708a9aafb7','{\"amount\":50,\"cardNumber2\":\"9fc5e9e265c14e5eb9bf77c6eb5c5d98\",\"cardNumber1\":\"7b3904c584d74c6fa5bce8daa65f7c9c\"}','success','2024-01-06 20:29:04','2024-01-06 20:29:04',0);
/*!40000 ALTER TABLE `transaction_record` ENABLE KEYS */;
UNLOCK TABLES;
/*!40103 SET TIME_ZONE=@OLD_TIME_ZONE */;

/*!40101 SET SQL_MODE=@OLD_SQL_MODE */;
/*!40014 SET FOREIGN_KEY_CHECKS=@OLD_FOREIGN_KEY_CHECKS */;
/*!40014 SET UNIQUE_CHECKS=@OLD_UNIQUE_CHECKS */;
/*!40101 SET CHARACTER_SET_CLIENT=@OLD_CHARACTER_SET_CLIENT */;
/*!40101 SET CHARACTER_SET_RESULTS=@OLD_CHARACTER_SET_RESULTS */;
/*!40101 SET COLLATION_CONNECTION=@OLD_COLLATION_CONNECTION */;
/*!40111 SET SQL_NOTES=@OLD_SQL_NOTES */;

-- Dump completed on 2024-01-07 16:56:36

代码地址

https://github.com/ZYNORl/mq-distri-transaction

结语

如果本篇文章对你有用，请帮忙点个star

参考资料

https://blog.csdn.net/alili0619/article/details/118729348
https://blog.csdn.net/xueping_wu/article/details/127143322
https://mp.weixin.qq.com/s?__biz=MjM5NTY1MjY0MQ==&mid=2650860292&idx=3&sn=21be1aef473c4ceb1f2b00116fd4f671&chksm=bd017e4a8a76f75c89aea1b820f6e76071406c9e3cdd7c61cad99c92d6a59baff1daaf751d38&scene=27

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/299831.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

带大家做一个，易上手的家常香干炒腊肉

带大家做一个，易上手的家常香干炒腊肉

从冰箱那一块腊肉 套个食品级的袋子 然后用冷水化冰 准备两块香干 香干切成片 不要太薄 当然也别厚了 一把青蒜 青蒜切成段 干和叶子分开装 腊肉去掉下面的肉皮 然后切小块 锅中加入清水 下入少量油和盐 开小火 水起泡泡后下入香干 过水 半分钟左右 香干捞出备用 将腊…
阅读更多...
Geoserver扩展发布MySQL视图功能

Geoserver扩展发布MySQL视图功能

Geoserver中并不自带mysql数据发布功能，需要扩展外部插件。 1、示例以geoserver-2.20.5版本进行演示，所以MySQL插件需要到该版本对应的“Extensions”标题下查找，下载地址：GeoServer，详见下图 2、选择MySQL进入下载页…
阅读更多...
【北邮国院大四上】Business Technology Strategy 企业技术战略

【北邮国院大四上】Business Technology Strategy 企业技术战略

北邮国院电商大四在读，本笔记仅为PPT内容的整理与翻译，并不代表本课程的考纲及重点，仅为本人复习时方便阅读与思考之作。 写在前面 大家好，欢迎来到大学期间的最后一门课程，本门课程是中方课，所以很庆幸的…
阅读更多...
小微企业在银行信贷相关产品和机器学习建模案例_论文科研_企业调研

小微企业在银行信贷相关产品和机器学习建模案例_论文科研_企业调研

各银行小微企业贷款业务 互联网的时代，大量新信息技术的涌现和网络的无处不在，想要抢占这片金融天地，必须重视小微金融业务，小微企业是一直具有重大潜力的客户，商业银行、消金公司发展小微信贷业务可以拓宽自身客户群…
阅读更多...
C#编程-显示运算符重载

C#编程-显示运算符重载

重载函数的概念也可以应用于运算符。在将C#运算符应用到用户定义的数据类型时，运算符重载为它们提供额外的能力。只可以重载预定义的C#运算符组。 运算符重载的必要性 大多数内置数据类型都有与它们相关的预定义运算符。例如：带有运算符+、-、*和/的C#数据类型int为数学运算…
阅读更多...
JavaScript面向对象编程实战

JavaScript面向对象编程实战

🧑‍🎓 个人主页：《爱蹦跶的大A阿》 🔥当前正在更新专栏：《VUE》 、《JavaScript保姆级教程》、《krpano》 ​ ​ ✨ 前言 面向对象编程(OOP)是JavaScript中非常重要的一个概念。掌握OOP可以帮助我们写出更加清晰、…
阅读更多...
synchronized、volatile关键字

synchronized、volatile关键字

Java中的synchronized关键字 synchronized关键字介绍 synchronized块是Java提供的一种原子性内置锁，Java中的每个对象都可以把它当作一个同步锁来使用，这些Java内置的使用者看不到的锁被称为内部锁，也叫作监视器锁。 线程的执行代码在进入…
阅读更多...
LLM Agent之RAG的反思：放弃了压缩还是智能么？

LLM Agent之RAG的反思：放弃了压缩还是智能么？

已经唠了三章的RAG，是时候回头反思一下，当前的RAG是解决幻觉的终点么？我给不出直接的答案，不过感觉当前把RAG当作传统搜索框架在大模型时代下的改良，这个思路的天花板高度有限~ 反思来源于对RAG下模型回答的直观感受&…
阅读更多...
【软考中级-软件设计师】day3：程序设计语言基础知识

【软考中级-软件设计师】day3：程序设计语言基础知识

概述 练习题 程序设计语言的基本成分 练习题 编译程序基本原理 名词解释 词法分析 词法分析（英语：lexical analysis）是计算机科学中将字符序列转换为单词（Token）序列的过程。进行词法分析的程序或者函数叫作…
阅读更多...
Duboo-入门到学废【下篇】

Duboo-入门到学废【下篇】

目录 🥓1.dubbo-admin 🌭2.序列化 🧂3.超时 🥚4.重试 ❤️5.多版本 🧇6.负载均衡 🍟7.集群容错 1.dubbo-admin 💕💕💕 1.1dubbo-admin是什么 1.duboo-admin是一…
阅读更多...
【大数据】Flink CDC 的概览和使用

【大数据】Flink CDC 的概览和使用

Flink CDC 的概览和使用 1.什么是 CDC2.什么是 Flink CDC3.Flink CDC 前生今世3.1 Flink CDC 1.x3.2 Flink CDC 2.x3.3 Flink CDC 3.x 4.Flink CDC 使用5.Debezium 标准 CDC Event 格式详解 1.什么是 CDC CDC（Change Data Capture，数据变更抓取&#xf…
阅读更多...
SpringCloud-高级篇（十三）

SpringCloud-高级篇（十三）

前面的主从集群可以应对Redis高并发读的问题，Redis主从之间可以做同步，为了提高主从同步时的性能，单节点Redis的内存不要设置太高，如果内存占用过多，做RDB的持久化，或者做全量同步的时候，导致大…
阅读更多...
Kubernetes复习总结（二）：Kubernetes容器网络

Kubernetes复习总结（二）：Kubernetes容器网络

2、Kubernetes容器网络 1）、Docker网络原理 Docker默认使用的网络模型是bridge，这里只讲bridge网络模型 1）容器之间通信原理 当安装完docker之后，docker会在宿主机上创建一个名叫docker0的网桥，默认IP是172.17.0.1…
阅读更多...
家具电子图册制作方法

家具电子图册制作方法

​随着互联网的普及，越来越多的人选择在线购物，家具行业也不例外。为了满足消费者对高品质家具的需求，家具电子图册应运而生。与传统纸质图册相比，家具电子图册具有更高的转化率、更低的成本和更快的更新速度。 一、与纸质版相比有…
阅读更多...
Linux 目录结构及其说明

Linux 目录结构及其说明

Linux 操作系统遵循一种标准的目录结构，称为 Filesystem Hierarchy Standard（文件系统层次结构标准），其定义了不同目录的用途和内容。 浅蓝色文字 /（根目录）： /根目录是整个文件系统的起点&…
阅读更多...
迁移学习|代码实现

迁移学习|代码实现

还记得我们之前实现的猫狗分类器吗？在哪里，我们设计了一个网络，这个网络接受一张图片，最后输出这张图片属于猫还是狗。实现分类器的过程比较复杂，准备的数据也比较少。所以我们是否可以使用一种方法，在数据…
阅读更多...
基于多反应堆的高并发服务器【C/C++/Reactor】（中）添加 删除 修改 释放

基于多反应堆的高并发服务器【C/C++/Reactor】（中）添加 删除 修改 释放

在上篇文章（处理任务队列中的任务）中我们讲解了处理任务队列中的任务的具体流程，eventLoopProcessTask函数的作用： 处理队列中的任务，需要遍历链表并根据type进行对应处理,也就是处理dispatcher中的任务。 // 处理任…
阅读更多...
Linux之Ubuntu环境Jenkins部署前端项目

Linux之Ubuntu环境Jenkins部署前端项目

今天分享Ubuntu环境Jenkins部署前端vue项目 一、插件安装 1、前端项目依赖nodejs，需要安装相关插件 点击插件管理，输入node模糊查询 选择NodeJS安装 安装成功 2、配置nodejs 点击后进入 点击新增 NodeJS 配置脚手架类型：如果不填 默认npm …
阅读更多...
华为HarmonyOS 创建第一个鸿蒙应用 运行Hello World

华为HarmonyOS 创建第一个鸿蒙应用 运行Hello World

使用DevEco Studio创建第一个项目 Hello World 1.创建项目 创建第一个项目，命名为HelloWorld，点击Finish 选择Empty Ability模板，点击Next Hello World 项目已经成功创建，接来下看看效果 2.预览 Hello World 点击右侧的预…
阅读更多...
[VUE]2-vue的基本使用

[VUE]2-vue的基本使用

目录 vue基本使用方式 1、vue 组件 2、文本插值 3、属性绑定 4、事件绑定 5、双向绑定 6、条件渲染 7、axios 8、⭐跨域问题 🍃作者介绍：双非本科大三网络工程专业在读，阿里云专家博主，专注于Java领域学习，擅…
阅读更多...
最新文章

Copyright @ 2022~2023