一种轻量分表方案-MyBatis拦截器分表实践|京东零售技术实践

背景

部门内有一些亿级别核心业务表增速非常快，增量日均100W，但线上业务只依赖近一周的数据。随着数据量的迅速增长，慢SQL频发，数据库性能下降，系统稳定性受到严重影响。本篇文章，将分享如何使用MyBatis拦截器低成本的提升数据库稳定性。

业界常见方案

针对冷数据多的大表，常用的策略有以2种：

1. 删除/归档旧数据。

2. 分表。

归档/删除旧数据

定期将冷数据移动到归档表或者冷存储中，或定期对表进行删除，以减少表的大小。此策略逻辑简单，只需要编写一个JOB定期执行SQL删除数据。我们开始也是用这种方案，但此方案也有一些副作用：

1.数据删除会影响数据库性能，引发慢sql，多张表并行删除，数据库压力会更大。

2.频繁删除数据，会产生数据库碎片，影响数据库性能，引发慢SQL。

综上，此方案有一定风险，为了规避这种风险，我们决定采用另一种方案：分表。

分表

我们决定按日期对表进行横向拆分，实现让系统每周生成一张周期表，表内只存近一周的数据，规避单表过大带来的风险。

分表方案选型

经调研，考虑2种分表方案：Sharding-JDBC、利用Mybatis自带的拦截器特性。

经过对比后，决定采用Mybatis拦截器来实现分表，原因如下：

1.JAVA生态中很常用的分表框架是Sharding-JDBC，虽然功能强大，但需要一定的接入成本，并且很多功能暂时用不上。

2.系统本身已经在使用Mybatis了，只需要添加一个mybaits拦截器，把SQL表名替换为新的周期表就可以了，没有接入新框架的成本，开发成本也不高。

简易架构图

分表具体实现代码

分表配置对象
import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;

import java.util.Date;

@Data
@AllArgsConstructor
@NoArgsConstructor
public class ShardingProperty {
    // 分表周期天数，配置7，就是一周一分
    private Integer days;
    // 分表开始日期，需要用这个日期计算周期表名
    private Date beginDate;
    // 需要分表的表名
    private String tableName;
}
分表配置类
import java.util.concurrent.ConcurrentHashMap;

public class ShardingPropertyConfig {

    public static final ConcurrentHashMap<String, ShardingProperty> SHARDING_TABLE = new ConcurrentHashMap<>();

    static {
        ShardingProperty orderInfoShardingConfig = new ShardingProperty(15, DateUtils.string2Date("20231117"), "order_info");
        ShardingProperty userInfoShardingConfig = new ShardingProperty(7, DateUtils.string2Date("20231117"), "user_info");

        SHARDING_TABLE.put(orderInfoShardingConfig.getTableName(), orderInfoShardingConfig);
        SHARDING_TABLE.put(userInfoShardingConfig.getTableName(), userInfoShardingConfig);
    }
}
拦截器
import lombok.extern.slf4j.Slf4j;
import o2o.aspect.platform.function.template.service.TemplateMatchService;
import org.apache.commons.lang3.StringUtils;
import org.apache.ibatis.executor.statement.StatementHandler;
import org.apache.ibatis.mapping.BoundSql;
import org.apache.ibatis.mapping.MappedStatement;
import org.apache.ibatis.plugin.*;
import org.apache.ibatis.reflection.DefaultReflectorFactory;
import org.apache.ibatis.reflection.MetaObject;
import org.apache.ibatis.reflection.ReflectorFactory;
import org.apache.ibatis.reflection.factory.DefaultObjectFactory;
import org.apache.ibatis.reflection.factory.ObjectFactory;
import org.apache.ibatis.reflection.wrapper.DefaultObjectWrapperFactory;
import org.apache.ibatis.reflection.wrapper.ObjectWrapperFactory;
import org.springframework.stereotype.Component;

import java.sql.Connection;
import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;
import java.util.Date;
import java.util.Properties;

@Slf4j
@Component
@Intercepts({@Signature(type = StatementHandler.class, method = "prepare", args = {Connection.class, Integer.class})})
public class ShardingTableInterceptor implements Interceptor {
    private static final ObjectFactory DEFAULT_OBJECT_FACTORY = new DefaultObjectFactory();
    private static final ObjectWrapperFactory DEFAULT_OBJECT_WRAPPER_FACTORY = new DefaultObjectWrapperFactory();
    private static final ReflectorFactory DEFAULT_REFLECTOR_FACTORY = new DefaultReflectorFactory();
    private static final String MAPPED_STATEMENT = "delegate.mappedStatement";
    private static final String BOUND_SQL = "delegate.boundSql";
    private static final String ORIGIN_BOUND_SQL = "delegate.boundSql.sql";
    private static final DateTimeFormatter FORMATTER = DateTimeFormatter.ofPattern("yyyyMMdd");
    private static final String SHARDING_MAPPER = "com.jd.o2o.inviter.promote.mapper.ShardingMapper";

    private ConfigUtils configUtils = SpringContextHolder.getBean(ConfigUtils.class);

    @Override
    public Object intercept(Invocation invocation) throws Throwable {
        boolean shardingSwitch = configUtils.getBool("sharding_switch", false);
        // 没开启分表 直接返回老数据
        if (!shardingSwitch) {
            return invocation.proceed();
        }

        StatementHandler statementHandler = (StatementHandler) invocation.getTarget();
        MetaObject metaStatementHandler = MetaObject.forObject(statementHandler, DEFAULT_OBJECT_FACTORY, DEFAULT_OBJECT_WRAPPER_FACTORY, DEFAULT_REFLECTOR_FACTORY);
        MappedStatement mappedStatement = (MappedStatement) metaStatementHandler.getValue(MAPPED_STATEMENT);
        BoundSql boundSql = (BoundSql) metaStatementHandler.getValue(BOUND_SQL);
        String originSql = (String) metaStatementHandler.getValue(ORIGIN_BOUND_SQL);
        if (StringUtils.isBlank(originSql)) {
            return invocation.proceed();
        }

        // 获取表名
        String tableName = TemplateMatchService.matchTableName(boundSql.getSql().trim());
        ShardingProperty shardingProperty = ShardingPropertyConfig.SHARDING_TABLE.get(tableName);
        if (shardingProperty == null) {
            return invocation.proceed();
        }

        // 新表
        String shardingTable = getCurrentShardingTable(shardingProperty, new Date());
        String rebuildSql = boundSql.getSql().replace(shardingProperty.getTableName(), shardingTable);
        metaStatementHandler.setValue(ORIGIN_BOUND_SQL, rebuildSql);
        if (log.isDebugEnabled()) {
            log.info("rebuildSQL -> {}", rebuildSql);
        }

        return invocation.proceed();
    }

    @Override
    public Object plugin(Object target) {
        if (target instanceof StatementHandler) {
            return Plugin.wrap(target, this);
        }
        return target;
    }

    @Override
    public void setProperties(Properties properties) {}

    public static String getCurrentShardingTable(ShardingProperty shardingProperty, Date createTime) {
        String tableName = shardingProperty.getTableName();
        Integer days = shardingProperty.getDays();
        Date beginDate = shardingProperty.getBeginDate();

        Date date;
        if (createTime == null) {
            date = new Date();
        } else {
            date = createTime;
        }
        if (date.before(beginDate)) {
            return null;
        }
        LocalDateTime targetDate = SimpleDateFormatUtils.convertDateToLocalDateTime(date);
        LocalDateTime startDate = SimpleDateFormatUtils.convertDateToLocalDateTime(beginDate);
        LocalDateTime intervalStartDate = DateIntervalChecker.getIntervalStartDate(targetDate, startDate, days);
        LocalDateTime intervalEndDate = intervalStartDate.plusDays(days - 1);
        return tableName + "_" + intervalStartDate.format(FORMATTER) + "_" + intervalEndDate.format(FORMATTER);
    }
}

临界点数据不连续问题

分表方案有1个难点需要解决：周期临界点数据不连续。举例：假设要对operate_log（操作日志表）大表进行横向分表，每周一张表，分表明细可看下面表格。

第一周（operate_log_20240107_20240108）第二周（operate_log_20240108_20240114）第三周（operate_log_20240115_20240121）
1月1号 ~ 1月7号的数据1月8号 ~ 1月14号的数据1月15号 ~ 1月21号的数据

1月8号就是分表临界点，8号需要切换到第二周的表，但8号0点刚切换的时候，表内没有任何数据，这时如果业务需要查近一周的操作日志是查不到的，这样就会引发线上问题。

我决定采用数据冗余的方式来解决这个痛点。每个周期表都冗余一份上个周期的数据，用双倍数据量实现数据滑动的效果，效果见下面表格。

第一周（operate_log_20240107_20240108）第二周（operate_log_20240108_20240114）第三周（operate_log_20240115_20240121）
12月25号 ~ 12月31号的数据1月1号 ~ 1月7号的数据1月8号 ~ 1月14号的数据
1月1号 ~ 1月7号的数据1月8号 ~ 1月14号的数据1月15号 ~ 1月21号的数据

注：表格内第一行数据就是冗余的上个周期表的数据。

思路有了，接下来就要考虑怎么实现双写（数据冗余到下个周期表）,有2种方案：

1.在SQL执行完成返回结果前添加逻辑（可以用AspectJ 或 mybatis拦截器），如果SQL内的表名是当前周期表，就把表名替换为下个周期表，然后再次执行SQL。此方案对业务影响大，相当于串行执行了2次SQL，有性能损耗。

2.监听增量binlog，京东内部有现成的数据订阅中间件DRC，读者也可以使用cannal等开源中间件来代替DRC，原理大同小异，此方案对业务无影响。

方案对比后，选择了对业务性能损耗小的方案二。

监听binlog并双写流程图



监听binlog数据双写注意点

1.提前上线监听程序，提前把老表数据同步到新的周期表。分表前只监听老表binlog就可以，分表前只需要把老表数据同步到新表。

2.切换到新表的临界点，为了避免丢失积压的老表binlog，需要同时处理新表binlog和老表binlog，这样会出现死循环同步的问题，因为老表需要同步新表，新表又需要双写老表。为了打破循环，需要先把双写老表消费堵上让消息暂时积压，切换新表成功后，再打开双写消费。

监听binlog数据双写代码

注：下面代码不能直接用，只提供基本思路

/**
 * 监听binlog ，分表双写，解决数据临界问题
*/
@Slf4j
@Component
public class BinLogConsumer implements MessageListener {
    
    private MessageDeserialize deserialize = new JMQMessageDeserialize();

    private static final String TABLE_PLACEHOLDER = "%TABLE%";

    @Value("${mq.doubleWriteTopic.topic}")
    private String doubleWriteTopic;

    @Autowired
    private JmqProducerService jmqProducerService;


    @Override
    public void onMessage(List<Message> messages) throws Exception {
        if (messages == null || messages.isEmpty()) {
            return;
        }
        List<EntryMessage> entryMessages = deserialize.deserialize(messages);
        for (EntryMessage entryMessage : entryMessages) {
            try {
                syncData(entryMessage);
            } catch (Exception e) {
                log.error("sharding sync data error", e);
                throw e;
            }
        }
    }

    private void syncData(EntryMessage entryMessage) throws JMQException {
        // 根据binlog内的表名，获取需要同步的表
        // 3种情况：
        // 1、老表：需要同步当前周期表，和下个周期表。
        // 2、当前周期表：需要同步下个周期表，和老表。
        // 3、下个周期表：不需要同步。
        List<String> syncTables = getSyncTables(entryMessage.tableName, entryMessage.createTime);
        
        if (CollectionUtils.isEmpty(syncTables)) {
            log.info("table {} is not need sync", tableName);
            return;
        }

        if (entryMessage.getHeader().getEventType() == WaveEntry.EventType.INSERT) {
            String insertTableSqlTemplate = parseSqlForInsert(rowData);
            for (String syncTable : syncTables) {
                String insertSql = insertTableSqlTemplate.replaceAll(TABLE_PLACEHOLDER, syncTable);
                // 双写老表发Q，为了避免出现同步死循环问题
                if (ShardingPropertyConfig.SHARDING_TABLE.containsKey(syncTable)) {
                    Long primaryKey = getPrimaryKey(rowData.getAfterColumnsList());
                    sendDoubleWriteMsg(insertSql, primaryKey);
                    continue;
                }
                mysqlConnection.executeSql(insertSql);
            }
            continue;
        }
    }

数据对比

为了保证新表和老表数据一致，需要编写对比程序，在上线前进行数据对比，保证binlog同步无问题。

具体实现代码不做展示，思路：新表查询一定量级数据，老表查询相同量级数据，都转换成JSON，equals对比。

作者：京东零售业务研发 张均杰

来源：京东零售技术 转载请注明来源

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/363036.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

企业微信获客助手怎么实现抖音数据回传？

企业微信获客助手怎么实现抖音数据回传？

在数字化时代&#xff0c;企业微信获客助手和数灵通外链已经成为企业获取潜在客户的得力助手。通过在微信站外的各个渠道上捕获潜在客户&#xff0c;企业能够更好地满足客户需求并提高业务增长。而抖音作为当前最热门的短视频平台&#xff0c;也成为了企业营销的重要战场。 企业…
阅读更多...
OTG -- ULPI接口芯片USB3318讲解（二）

OTG -- ULPI接口芯片USB3318讲解（二）

目录 前沿 1 初识USB PHY芯片 2 ULPI接口与USB PHY芯片 3 USB3318简介 3.1 USB3318引脚定义 3.2 USB3318与ULPI接口时序 3.3 STM32F407 OTGHS如何驱动USB3318 3.4 USB3318原理图设计 4 总结 前沿 前面对STM32F407 OTG模块进行了简单的讲解&#xff0c;如果使用OTG_FS模…
阅读更多...
期末成绩群发给家长

期末成绩群发给家长

每当学期结束&#xff0c;老师们的邮箱和手机便会被成绩报告单填满。那么&#xff0c;如何高效地将成绩群发给家长呢&#xff1f; 一、邮件还是短信&#xff1f; 首先&#xff0c;选择一个合适的通讯方式是关键。邮件正式且便于附件&#xff0c;但短信更快捷。考虑到大多数家长…
阅读更多...
项目经理如何成功接手做到一半的项目：从0到1的高效指南

项目经理如何成功接手做到一半的项目：从0到1的高效指南

最近看到很多帖子&#xff0c;吐槽自己一年到头来一直频繁被拉去救火、去接做到一半的项目。这种情况应该是很多项目经理都会遇见的&#xff0c;大多数情况是因为前任项目经理由于各种原因&#xff0c;如调岗、离职而留下的项目&#xff0c;但往往到大家手上的时候&#xff0c;…
阅读更多...
Qt实现窗口吸附屏幕边缘 自动收缩

Qt实现窗口吸附屏幕边缘 自动收缩

先看效果&#xff1a; N年前的QQ就可以吸附到屏幕边缘&#xff0c;聊天时候非常方便&#xff0c;不用点击状态栏图标即可呼出QQ界面 自己尝试做了一个糙版的屏幕吸附效果。 关键代码&#xff1a; void Widget::mouseMoveEvent(QMouseEvent *e) {int dx e->globalX() - l…
阅读更多...
Java Chassis 3技术解密：与Spring Cloud的互操作

Java Chassis 3技术解密：与Spring Cloud的互操作

作者&#xff1a;刘宝 原文链接&#xff1a;Java Chassis 3技术解密&#xff1a;与Spring Cloud的互操作-云社区-华为云 Java Chassis 3一个很重要的设计原则&#xff1a;利用架构的韧性设计来解决兼容性问题。 比如通过引入微服务网关&#xff0c;来解决不同语言、不同框架、…
阅读更多...
C#，洛布数（Lobb Number）的计算方法与源代码

C#，洛布数（Lobb Number）的计算方法与源代码

1 洛布数&#xff08;Lobb Number&#xff09; 在组合数学中&#xff0c;洛布数&#xff08;Lobb Number&#xff09;L(m&#xff0c;n)计算nm开括号的排列方式&#xff0c;以形成一个有效的平衡括号序列的开始。 Lobb数由两个非负整数m和n参数化&#xff0c;其中n>m>0。…
阅读更多...
计算机网络实验一

计算机网络实验一

目录 实验一 使用PacketTracer组建简单局域网 1、实验目的 2、实验设备 &#xff08;1&#xff09;内容一&#xff08;组建简单局域网&#xff09;&#xff1a; &#xff08;2&#xff09;内容二&#xff08;使用交叉线直连两台机器&#xff09;&#xff1a; &#xff08…
阅读更多...
基于SpringBoot+Vue学科竞赛管理系统

基于SpringBoot+Vue学科竞赛管理系统

文章目录 基于SpringBootVue学科竞赛管理系统1系统概述1.3系统设计思想 2相关技术2.1 MYSQL数据库2.2 B/S结构2.3 Spring Boot框架简介2.4 Vue简介 3系统分析3.1可行性分析3.1.1技术可行性3.1.2经济可行性3.1.3操作可行性 3.2系统性能分析3.2.1 系统安全性3.2.2 数据完整性 3.4…
阅读更多...
「数据结构」1.初识泛型

「数据结构」1.初识泛型

&#x1f387;个人主页&#xff1a;Ice_Sugar_7 &#x1f387;所属专栏&#xff1a;Java数据结构 &#x1f387;欢迎点赞收藏加关注哦&#xff01; 初识泛型 &#x1f349;前言&#x1f349;包装类&#x1f34c;装箱&拆箱 &#x1f349;泛型&#x1f34c;擦除机制&#x1f…
阅读更多...
拒绝单调，Focussend智能AI助阵邮件营销，让打开率大幅提升

拒绝单调，Focussend智能AI助阵邮件营销，让打开率大幅提升

在互联网时代&#xff0c;邮件营销成为了企业推广产品和服务的一把重要利器。但是&#xff0c;面对大量垃圾邮件和用户审美疲劳&#xff0c;如何让你的邮件脱颖而出&#xff0c;成为了每一个市场人的头疼问题。光靠无聊的标题和内容可不行&#xff0c;得有点新花样。 搜索&…
阅读更多...
记一次某竞赛中的渗透测试（Windows Server 2003靶机漏洞）

记一次某竞赛中的渗透测试（Windows Server 2003靶机漏洞）

靶机简介 Windows Server 2003是微软公司于2003年3月28日发布的服务器操作系统&#xff0c;它基于Windows XP/Windows NT 5.1进行开发&#xff0c;并在同年4月底上市。以下是关于Windows Server 2003的详细介绍&#xff1a; 系统名称与发布历程&#xff1a; 该产品最初被命名为…
阅读更多...
linux vim 异常退出 异常处理 交换文件

linux vim 异常退出 异常处理 交换文件

交换文件 *.swp 格式 同时是隐藏的 如在vim一个文件&#xff0c; 在没有正常退出&#xff0c; 如直接断开连接 在次编辑这个文件 会出现下图的错误 解决方案&#xff1a; 直接删除这个交换文件即可 rm -fr .zen.txt.swp
阅读更多...
经典左旋，指针面试题

经典左旋，指针面试题

今天给大家带来几道面试题&#xff01; 实现一个函数&#xff0c;可以左旋字符串中的k个字符。 例如&#xff1a; ABCD左旋一个字符得到BCDA ABCD左旋两个字符得到CDAB 我们可以先自己自行思考&#xff0c;下面是参考答案&#xff1a; 方法一&#xff1a; #define _CRT_SEC…
阅读更多...
人工智能网络安全挑战赛（AIxCC）：超亿元大奖等你来拿！

人工智能网络安全挑战赛（AIxCC）：超亿元大奖等你来拿！

2023年底&#xff0c;DARPA开启了一项前所未有的挑战——人工智能网络安全挑战赛&#xff08;AIxCC&#xff09;&#xff0c;旨在通过技术竞赛探索AI时代下网络安全的新格局。该赛事希望孕育出一种创新的网络安全通用人工智能&#xff08;AGI&#xff09;系统&#xff0c;该系统…
阅读更多...
从0到1入门C++编程——06 类和对象之多态、文件操作

从0到1入门C++编程——06 类和对象之多态、文件操作

文章目录 多态1.多态基本概念2.多态案例——计算器3.纯虚函数和抽象类4.多态案例——制作饮品5.虚析构和纯虚析构6.多态案例——电脑组装 文件操作1.文本文件--写文件2.文本文件--读文件3.二进制文件--写文件4.二进制文件--读文件 多态 1.多态基本概念 多态是C面向对象的三大…
阅读更多...
阿里云 DMS 执行sql变更

阿里云 DMS 执行sql变更

数据库开发-数据变更-无锁变更 选择数据库&#xff1a;比如要更新生产库&#xff0c;搜索生产库名字。 填入变更sql。
阅读更多...
实现两栏布局和三栏布局的多种详细方法

实现两栏布局和三栏布局的多种详细方法

目录 一、背景两栏布局三栏布局 二、两栏布局flex弹性布局 三、三栏布局两边使用 float&#xff0c;中间使用 margin两边使用 absolute&#xff0c;中间使用 margin两边使用 float 和负 margin使用 display: table 实现使用flex实现grid网格布局 参考文献 一、背景 在日常布局…
阅读更多...
AI大模型专题：大模型赋能座舱，智能座舱新战场

AI大模型专题：大模型赋能座舱，智能座舱新战场

今天分享的是AI大模型系列深度研究报告&#xff1a;《AI大模型专题&#xff1a;大模型赋能座舱&#xff0c;智能座舱新战场》。 &#xff08;报告出品方&#xff1a;国泰君安证券&#xff09; 报告共计&#xff1a;19页 大模型技术将给予智能座舱一次深度进化 拥抱大模型技术…
阅读更多...
vue 打包下载多层zip文件

vue 打包下载多层zip文件

npm install jszip npm install file-saverimport JSZip from "jszip"; import FileSaver from "file-saver"; import {Message} from "view-design";/*** 下载文件 传数组* fileList* [* {* type:file,* name:17034953113790548.png,…
阅读更多...
最新文章

Copyright @ 2022~2023