ShardingSphere再回首

概念:

 连接:通过协议 方言及库存储的适配,连接数据和应用,关注多模数据苦之间的合作

  增量:抓取库入口流量题提供重定向, 流量变形(加密脱敏)/鉴权/治理(熔断限流)/分析等

  可插拔:微内核

DDL:create table/index | alter table |drop table |truncate table|drop index/table 表结构

DML:insert update delete 表数据的操作

DQL:select 

DCL:grant分权限 revoke废除权限

分表分库

数据分片:按某维度将存放在单一数据库中的数据分散地存放至多个数据库或表

垂直分片

专库专用,按业务

水平分片

通过某个字段(或某几个字段),根据某种规则将数据分散至多个库或表中

流程

Standard 内核流程:SQL 解析 => SQL 路由 => SQL 改写 => SQL 执行 => 结果归并,用于处理标准分片场景下的 SQL 执行

Federation 执行引擎流程:SQL 解析 => 逻辑优化 => 物理优化 => 优化执行 => Standard 内核流程,在优化执行阶段依赖Standard内核流程,对优化后的逻辑 SQL 进行路由、改写、执行和归并

sql解析:词法/语法解析,词法解析器SQ拆分不可再拆的词 Token,词法解析器 理解 sql,解析上下文(表/选择项/排序项/分组项/聚合函数/分页信息/查询条件/占位符标记)

sql路由:分片/广播,解析上下文匹配分片策略,生成路由路径

sql改写:在真实数据可以执行的语句,正确性/优化改写

sql执行:多线程执行器异步执行

结果归并:结果由统一的JDBC接口输出,流式归并/内存归并/装饰者模式追加归并

   流式归并:以结果集游标下移进行结果归并,省内存 减少垃圾回收

查询优化:Federation提供,优化关联/子查询跨库分布式查,关系代数优化查询计划,最优计划查询出结果

解析引擎

抽象语法树

    sql解析阶段的token,再据不同数据库方言提供的字典,将其归类为关键字 表达式 字面量 操作符,语法解析器将sql转换为抽象语法树

 解析过程不可逆,token按原本顺序依次解析,性能高

sql解析引擎

   3.0 ANTLR作为SQL解析的引擎(兼容sql),据DDL -> TCL -> DAL –> DCL -> DML –>DQL依次替换原有的解析引擎,慢 需要搭配PreparedStatement预编译

路由引擎

上下文匹配数据库/表的分片策略,生成路由

携带分片键sql,分片键不同划分单片路由(=)多片路由(in)范围路由(between)

不携带 分片键 的广播路由

分片策略

 内置:尾数取模 哈希 范围 标签 时间

 用户配置:需求定制复合分片策略

分片路由

直接路由:分库不分表 hint指定路由到库,避免sql解析 结果归并;可子查询 自定义函数等任意sql

标准路由:推荐,不含关联查 仅绑定表间关联的sql,=单表 between/in不定 sql拆分数目与单表一致

笛卡尔积路由:复杂 非绑定表间关联查询需拆解为笛卡尔积组合执行 t0t0  t0t1  t1t0  t1t1

广播路由
  • 全库表:库中逻辑表相关的all操作,DQL DML DDL,all库all表匹配逻辑表和真实表名 执行
  • 全库:对库操作,set/TCL事务控制语句,据逻辑名字遍历符合名字匹配的真实库
  • 全实例:DCL 每个库只执行一次
  • 单播:获取真实的表信息 任意库的任意真实表即可
  • 阻断:屏蔽sql对数据库的操作

改写引擎

逻辑SQL改写在真实数据库中可正确执行的SQL:正确性改写 优化改写

流式归并优化:group by 的sql增加order by和分组项相同的排序项/顺序

执行引擎

 执行引擎的目标是自动化的平衡资源控制与执行效率

连接模式

   每个分片查询维持一个独立的数据库连接:利用多线程提供执行效率/并行处理io消耗/避免过早将结果放到内存/持有查询结果集游标位置的引用

  无法保证每个分片持有独立数据库连接,在复用该库连接获取下一张分表查询结果集之前,当前查询结果集全数加载至内存,流式退化为内存归并

   抉择:对库连接资源控制保护 更优归并模式对中间件内存资源节省

内存限制模式

  不限制一次操作所耗费的数据库连接数量,多线程并发处理,执行效率最大化

  且在sql满足条件情况下,优先选择流式归并,防止内存溢出 避免频繁垃圾回收

  OLAP:提供吞吐量,联机分析处理 复杂计算和统计 数据分析预测

连接限制模式

   控制连接数量唯一连接串行执行处理,分片散落不同数据库 多线程处理不同库的操作 一个库一个连接,防止对一次请求对数据库连接占用过多所带来的问题,内存归并

   OLTP(联机事务) 实时性 事务处理数据操作

      带分片键 路由到单一分片 保证库资源被更多应用使用到

自动化执行引擎

由执行引擎根场景自动选择最优的执行方案

连接模式的选择粒度细化至每一次SQL的操作

    据路由结果,实时演算和权衡,自主选择:资源 效率最优 

    仅配置maxConnectionSizePerQuery一次查询时每个数据库所允许使用的最大连接数

准备阶段

结果集分组 执行单元执行两步

  1. sql路由结果按数据源的名称分组
  2. 获得在数据库实例在maxConnectionSizePerQuery范围,一连接需执行的SQL路由结果组,计算出本次请求的最优连接模式

避免死锁:同步获取连接,创建执行单元 原子性一次性获取本次sql需要all库连接

  • 避免锁定一次性只需要1个库连接的操作,不需锁定,OLTP分片键路由唯一节点 读写分离
  • 内存限制模式才资源限定,连接限制all结果集在内存后释放连接资源 不会死锁
执行阶段

分组执行

   准备执行阶段生成的执行单元下发到底层并发执行引擎,执行过程中关键步骤发送事件 执行引擎仅关注事件发布 订阅感兴趣的并处理

归并结果

   内存归并结果集或流式归并结果集,将其传递至结果归并引擎   

归并引擎

   结果归并:从各个数据节点获取的多数据结果集,组合成结果集并正确的返回给请求客户端

   返回结果集方式归并,减少内存消耗

流式归并:每一次从结果集中获取到的数据,能通过逐条获取的方式返回正确的单条数据,与数据库原生的返回结果集的方式契合

   遍历、排序以及流式分组都属于流式归并的一种

内存归并:需将结果集的all数据都遍历并存储在内存,通过统一的分组、排序及聚合等计算,再将其封装成逐条访问的数据结果集返回

装饰者归并:对all结果集归并进行统一的功能增强,分页归并和聚合归并这2种类型

遍历:将多个数据结果集合并为一个单向链表

   遍历完当前结果集,链表元素后移一位,继续遍历下一个数据结果集

排序:ORDER BY每个数据结果集自身是有序的,将结果集当前游标指向的数据值进行排序

    将每个结果集的当前数据值进行比较(通过实现Java的Comparable接口),将其放入优先级队列, 获取下一条数据时,只需将队列顶端结果集的游标下移,并据新游标重新进入优先级排序队列找到自己的位置即可

  ???

分组:流式分组归并/内存分组归并

聚合:之前介绍的归并类的之上追加的归并能力,比较min max、累加sum count和求平均值avg

分页:通过结果集的next方法跳过无需取出的数据,不会将其存入内存

数据脱敏

完整、安全、透明化、低改造成本的数据加密整合解决方案

  •   解析用户输入的SQL进行,依据用户提供的加密规则改写SQL,实现对原数据加密,将原文数据(可选)及密文数据同时存储到底层数据库
  • 查询数据,从数据库中取出密文数据,并对其解密,将解密后的原始数据返回给用户。
  • 自动化 & 透明化数据加密过程,无需关注数据加密的细节,像使用普通数据那样使用加密数据

    加密模块拦截 SQL ,语法解析器进行解析、理解 SQL 行为,依传入的加密规则,找出需加密的字段和所使用的加解密算法对目标字段进行加解密处理后,与底层数据库交互

    在用户查询时,将密文从数据库中取出进行解密后返回给终端用户。 屏蔽对数据的加密解密处理过程

加密规则

加密处理过程

解决方案

新业务直接配置 

老业务

新的数据 走配置 新增字段 自动赋值

旧数据 自行加密清洗

将明文删除,建立映射关系 底层使用密文处理

加密算法

EncryptAlgorithm

 encrypt decrypt

    insert/delete/update ,按配置 sql解析/改写/路由 encrypt加密 存储到库

    查询decrypt从库取出加密 逆向解密,原始数据返回

md5 不可逆,aes可选,rc4可逆

QueryAssistedEncryptAlgorithm

相同的数据,库中也应该是不一样的

encrypt()阶段,设置某个变动种子,如时间戳。

    针对原始数据+变动种子组合的内容进行加密,加密数据是不一样的

decrypt()可依据之前规定的加密算法,利用种子数据进行解密

辅助查询列queryAssistedEncrypt

   另一种方式加密原始数据,针对原始数据相同的数据,产生的加密数据是一致的

事务

xa

X/OPEN组织定义的DTP模型抽象的 AP(应用程序), TM(事务管理器)和 RM(资源管理器)

  

    set autoCommit=0 ,XAShardingSphereTransactionManager 为调用具体的 XA 事务管理器开启 XA 全局事务,以 XID 的形式进行标记

   XAResource注册XA事务中,事务管理器 XAResource.start,库收到XAResource.end前,all的sql操作标记为xa事务

   XAShardingSphereTransactionManager收到接入端提交命令,委托xa事务管理器提交,收集到all注册xaResource, 发送XAResource.end 指令,依次发送prepare,手机xaResource投票,all均正确 commit最终提交,否rollback回滚

Saga

   一个Saga事务是一个有多个短时事务组成的长时的事务

   分布式事务场景下,一个Saga分布式事务看做是一个由多个本地事务组成的事务,每个本地事务都有一个与之对应的补偿事务

   在Saga事务的执行过程中,如某一步执行出现异常,Saga事务会被终止,同时会调用对应的补偿事务完成相关的恢复操作

自动反向补偿

     Saga事务管理器根程序执行结果生成一张有向无环图,在需要执行回滚操作时,据该图依次按照相反的顺序调用反向补偿操作

    Saga事务管理器只用于控制何时重试,何时补偿,补偿的具体操作需开发者提供

ShardingSphere采用反向SQL技术,将对数据库进行更新操作的SQL自动生成反向SQL,并交由saga-actuator执行,无需关注如何实现补偿,柔性事务管理器的应用范畴定位回了数据库层面

Seata

弹性伸缩

对现有的分片集群进行弹性扩容或缩容,4.1.0

临时建两个库集群,伸缩完切换

   解析旧分片规则,提取配置中的数据源、数据节点等,之后创建伸缩作业工作流

压测

   解析 SQL,对传入的 SQL 进行影子判定,根配置文件设置的影子规则,路由到生产库或者影子库

 以 INSERT 语句为例,对 SQL 进行解析,据配置文件规则,构造一条路由链

   在当前版本的功能中(很老的版本), 影子功能处于路由链中的最后一个执行单元:如果有其他需要路由的规则存在,如分片,据分片规则路由到某一个数据库,执行影子路由判定流程,判定执行SQL满足影子规则的配置,数据路由到对应的影子库,生产数据维持不变

DML:先判断执行SQL表与配置的影子表是否有交集,有:判交集影子表关联的影子算法,任一成功 sql路由到影子库,无交集 判定失败 路由到生产库

DDL:注解影子算法,初始化/修改影子库使用,执行的sql有注解 配置hint判定 成功路由影子库 否路由生产库

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/536074.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

ssm+vue的实验室课程管理系统(有报告)。Javaee项目,ssm vue前后端分离项目。

演示视频: ssmvue的实验室课程管理系统(有报告)。Javaee项目,ssm vue前后端分离项目。 项目介绍: 采用M(model)V(view)C(controller)三层体系结构…

来补上LangChain的CookBook(二)

LangChain Experssion Language 简称LCEL,感觉就是为了节省代码量,让程序猿们更好地搭建基于大语言模型的应用,而在LangChain框架中整了新的语法来搭建promptLLM的chain。来,大家直接看官网链接:LangChain Expression …

pandas(day10)

一. 各各品类产品交易指数对比 获取文件名 files glob.glob("./*.xlsx")# 读取数据,并改列名,增加一列 品牌 dfs [] for f in files:t f[2:4]df pd.read_excel(f)df["品牌"] tif t "拜耳":df.rename(columns{"…

C语言读取 .ico 文件并显示数据

原来是想做光标编辑器&#xff0c;自己把绘图板的内容导出为光标格式 鼠标指针文件格式解析——Windows&#xff08;一&#xff09; (qq.com) 代码来源自 Icons | Microsoft Learn 鄙人又补充些变量可以运行微软的代码 简单代码如下 #include <stdio.h> #include &l…

uniapp 小程序获取WiFi列表

<template><view ><button click"getWifiList">获取WiFi列表</button><scroll-view:scroll-top"scrollTop"scroll-yclass"content-pop"><viewclass"itemInfo"v-for"(item, index) in wifiList&…

unity——Button组件单击双击长按功能

1.实现单击、双击、长按功能 using UnityEngine; using UnityEngine.Events; using UnityEngine.EventSystems; public class ButtonControl_Click_Press_Double : MonoBehaviour, IPointerClickHandler, IPointerDownHandler, IPointerUpHandler, IPointerExitHandler {publi…

debian安装和基本使用

debian安装和基本使用 文章目录 debian安装和基本使用1. 为什么选择debian2. 如何下载Debian2.1 小型安装镜像2.2 完整安装镜像 3. Debian操作系统安装3.1 创建Debian虚拟机3.2 安装操作系统 4. Debian系统的初始设置4.1 桌面环境的配置4.2 配置网络4.3 生效网络配置4.4 配置de…

第24次修改了可删除可持久保存的前端html备忘录:文本编辑框不再隐藏,又增加了哔哩哔哩搜索和必应搜索

第24次修改了可删除可持久保存的前端html备忘录:文本编辑框不再隐藏&#xff0c;又增加了哔哩哔哩搜索和必应搜索. <!DOCTYPE html> <html lang"zh"><head><meta charset"UTF-8"><meta name"viewport" content"…

Python学习之-matplotlib详解

前言&#xff1a; Matplotlib 是一个 Python 的图表绘制库&#xff0c;广泛用于生成各种静态、动态和交互式的图表。它能够创建线图、散点图、条形图、饼图、直方图、误差线图、箱型图、热图、子图网络、散点矩阵等图表。 安装 Matplotlib&#xff1a; pip install matplotli…

RocketMQ的docker安装和SpringBoot的集成

1.Docker安装 1.1创建docker-compose.yml文件 version: 3.5 services:rmqnamesrv:image: foxiswho/rocketmq:servercontainer_name: rmqnamesrvports:- 9876:9876networks:rmq:aliases:- rmqnamesrvrmqbroker:image: foxiswho/rocketmq:brokercontainer_name: rmqbrokerports…

docker完美安装分布式任务调度平台XXL-JOB

分布式任务调度平台XXL-JOB 1、官方文档 自己看 https://www.xuxueli.com/xxl-job/#1.1%20%E6%A6%82%E8%BF%B0 2、使用docker部署 本人使用的腾讯云&#xff0c;安装docker暴露一下端口&#xff0c;就很舒服的安装这个服务了。 docker pull xuxueli/xxl-job-admin:2.4.03…

ELFK的部署

目录 一、ELFK&#xff08;FilebeatELK&#xff09; 1. Filebeat的作用 2. ELFK工作流程 3. ELFK的部署 3.1 服务器配置 3.2 服务器环境 3.3 安装filebeat 3.4 修改filebeat主配置文件 3.5 在logstash组件所在节点&#xff08;apache节点&#xff09;上新建一个logstas…

关闭笔记本自带的键盘

目录 一、问题 二、方法 【方法一】 【方法二】 一、问题 笔记本自带的键盘上的个别按键又坏了&#xff0c;可能是因为使用电脑时&#xff0c;最先坏的几个按键那里温度比较高&#xff0c;久而久之就烧坏了吧。距离上次更换新键盘才差不多一年&#xff0c;所以不打算再买新…

librosa.beat.beat_track()报错解决记录

在使用librosa.beat.beat_track(yy, srsr)时报错&#xff1a;AttributeError: module scipy.signal has no attribute hann&#xff0c;很奇怪的问题&#xff0c;大家好像都没有遇到这个错误&#xff1a; 很奇怪&#xff0c;这个hann明明是scipy.signal.windows里面的。。虚拟环…

开发日志2024-04-11

开发日志2024/04/11 1、会员/普通用户预约完成后&#xff0c;技师对应的积分添加预约完成的项目价格添加到统计表的业绩字段中&#xff0c;同时对应的服务次数字段1 实现代码&#xff1a; 前端 shHandler(){this.$confirm(确定操作?, "提示", {confirmButtonText…

数据仓库的ELT/ETL

ETL 和 ELT 有很多共同点&#xff0c;从本质上讲&#xff0c;每种集成方法都可以将数据从源端抽取到数据仓库中&#xff0c;两者的区别在于数据在哪里进行转换。 01 ETL ETL – 抽取、转换、加载 从不同的数据源抽取信息&#xff0c;将其转换为根据业务定义的格式&#xff0…

如何实现word一键注音?给一篇word文章快速注音的方法

在日常生活和工作中&#xff0c;我们经常需要处理各种文档&#xff0c;其中不乏包含大量生僻字或需要标注拼音的文本。手动为每一个字添加拼音不仅效率低下&#xff0c;而且容易出错。那么&#xff0c;有没有一种方法可以实现Word文档的一键注音呢&#xff1f;本文将为大家详细…

Python 基于 OpenCV 视觉图像处理实战 之 OpenCV 简单视频处理实战案例 之九 简单视频卡通画效果

Python 基于 OpenCV 视觉图像处理实战 之 OpenCV 简单视频处理实战案例 之九 简单视频卡通画效果 目录 Python 基于 OpenCV 视觉图像处理实战 之 OpenCV 简单视频处理实战案例 之九 简单视频卡通画效果 一、简单介绍 二、简单视频卡通画效果实现原理 三、简单视频卡通画效果…

Python处理PDF:在PDF文档中插入页眉和页脚

在处理篇幅较长、结构复杂的PDF文档时&#xff0c;页眉和页脚的设计与插入就显得尤为重要。它们不仅扮演着美化文档、提升专业度的角色&#xff0c;更承担了导航指引、信息标注的重要功能。 页眉通常用于展示文档的标题或章节名称&#xff0c;有助于读者在翻阅过程中迅速定位所…

构建强大的物联网平台系统架构:关键步骤与最佳实践

随着物联网&#xff08;IoT&#xff09;技术的快速发展和广泛应用&#xff0c;越来越多的企业开始意识到搭建一个强大而可靠的物联网平台系统架构的重要性。一个完善的物联网平台可以帮助企业高效地管理和监控各种连接设备&#xff0c;并实现数据的收集、处理和分析。在本文中&…