MyCat实现分库分表

两个集群 两个库 两个表

  • 搭建数据库服务
    • 使用docker启动两个mysql 3506 3507
    • 连接MyCat创建两个数据源
    • 连接MyCat创建集群
  • mycat创建逻辑库
  • MyCat创建全局表广播表
  • 创建分片表
    • mycat逻辑库
    • MyCat插入数据
    • mycat查看数据
    • 物理库3506查看数据
    • 物理库3507查看数据
  • ER表
    • 创建ER表
    • mycat插入数据
    • mycat查询数据
    • 物理节点3506数据分布
    • 物理节点3507数据分布
    • join关联查询

相关文档
MyCat安装

搭建数据库服务

使用docker启动两个mysql 3506 3507

version: '3'
services:
  lx-one:
    image: mysql:8.0.29
    restart: always
    environment:
      MYSQL_ROOT_PASSWORD: 123456
      MYSQL_PASSWORD: 123456
    ports:
      - 3506:3306
    container_name: "lx-one"
    
  lx-two:
    image: mysql:8.0.29
    restart: always
    environment:
      MYSQL_ROOT_PASSWORD: 123456
      MYSQL_PASSWORD: 123456
    ports:
      - 3507:3306

    container_name: "lx-two"

连接MyCat创建两个数据源

/*+ mycat:createDataSource{
"name":"dw0",
"url":"jdbc:mysql://172.23.85.23:3506",
"user":"root",
"password":"123456"
} */;

/*+ mycat:createDataSource{
"name":"dr0",
"url":"jdbc:mysql://172.23.85.23:3506",
"user":"root",
"password":"123456"
} */;

/*+ mycat:createDataSource{
"name":"dw1",
"url":"jdbc:mysql://172.23.85.23:3507",
"user":"root",
"password":"123456"
} */;

/*+ mycat:createDataSource{
"name":"dr1",
"url":"jdbc:mysql://172.23.85.23:3507",
"user":"root",
"password":"123456"
} */;

在这里插入图片描述

连接MyCat创建集群

/*! mycat:createCluster{"name":"c0","masters":["dw0"],"replicas":["dr0"]}*/;
/*!mycat:createCluster{"name":"c1","masters":["dw1"],"replicas":["dr1"]}*/;

在这里插入图片描述
c0.cluster.json

{
        "clusterType":"MASTER_SLAVE",
        "heartbeat":{
                "heartbeatTimeout":1000,
                "maxRetryCount":3,
                "minSwitchTimeInterval":300,
                "showLog":false,
                "slaveThreshold":0.0
        },
        "masters":[
                "dw0"
        ],
        "maxCon":2000,
        "name":"c0",
        "readBalanceType":"BALANCE_ALL",
        "replicas":[
                "dr0"
        ],
        "switchType":"SWITCH"
}

c1.cluster.json

{
        "clusterType":"MASTER_SLAVE",
        "heartbeat":{
                "heartbeatTimeout":1000,
                "maxRetryCount":3,
                "minSwitchTimeInterval":300,
                "showLog":false,
                "slaveThreshold":0.0
        },
        "masters":[
                "dw1"
        ],
        "maxCon":2000,
        "name":"c1",
        "readBalanceType":"BALANCE_ALL",
        "replicas":[
                "dr1"
        ],
        "switchType":"SWITCH"
}

集群文件名称规范是 c0.cluster.json 、 c1.cluster.json 、 c2.cluster.json，以此类推，mycat启动的时候才会自动识别集群配置文件。

mycat创建逻辑库

CREATE DATABASE db1

在这里插入图片描述
db1.shema.json内容

{
        "customTables":{},
        "globalTables":{},
        "normalProcedures":{},
        "normalTables":{},
        "schemaName":"db1",
        "shardingTables":{},
        "views":{}
}

MyCat创建全局表广播表

CREATE TABLE db1.`travelrecord` (
 `id` bigint NOT NULL AUTO_INCREMENT,
 `user_id` varchar(100) DEFAULT NULL,
 `traveldate` date DEFAULT NULL,
 `fee` decimal(10,0) DEFAULT NULL,
 `days` int DEFAULT NULL,
 `blob` longblob,
 PRIMARY KEY (`id`),
 KEY `id` (`id`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8 BROADCAST;

查看db1.schema.json变化

{
        "customTables":{},
        "globalTables":{
                "travelrecord":{
                        "broadcast":[
                                {
                                        "targetName":"c1"
                                },
                                {
                                        "targetName":"c0"
                                }
                        ],
                        "createTableSQL":"CREATE TABLE db1.`travelrecord` (\n\t`id` bigint NOT NULL AUTO_INCREMENT,\n\t`user_id` varchar(100) DEFAULT NULL,\n\t`traveldate` date DEFAULT NULL,\n\t`fee` decimal(10, 0) DEFAULT NULL,\n\t`days` int DEFAULT NULL,\n\t`blob` longblob,\n\tPRIMARY KEY (`id`),\n\tKEY `id` (`id`)\n) BROADCAST ENGINE = InnoDB CHARSET = utf8"
                }
        },
        "normalProcedures":{},
        "normalTables":{},
        "schemaName":"db1",
        "shardingTables":{},
        "views":{}
}

不需要自己指定targetName,创建全局表之后 会自动指定targetName。可能是自动识别了集群配置文件。因为全局表是每个库都要有的。所以mycat需要知道有哪些数据库

两个数据库3506、3507物理表有什么变化呢
在这里插入图片描述
发现两个MySQL服务也都有了db1 库和表

创建分片表

CREATE TABLE db1.orders(
id BIGINT NOT NULL AUTO_INCREMENT,
order_type INT,
customer_id INT,
amount DECIMAL(10,2),
PRIMARY KEY(id),
KEY `id` (`id`)
)ENGINE=INNODB DEFAULT CHARSET=utf8
dbpartition BY mod_hash(customer_id) tbpartition BY mod_hash(customer_id)
tbpartitions 1 dbpartitions 2;

查看db1.schema.json变化

{
        "customTables":{},
        "globalTables":{
                "travelrecord":{
                        "broadcast":[
                                {
                                        "targetName":"c1"
                                },
                                {
                                        "targetName":"c0"
                                }
                        ],
                        "createTableSQL":"CREATE TABLE db1.`travelrecord` (\n\t`id` bigint NOT NULL AUTO_INCREMENT,\n\t`user_id` varchar(100) DEFAULT NULL,\n\t`traveldate` date DEFAULT NULL,\n\t`fee` decimal(10, 0) DEFAULT NULL,\n\t`days` int DEFAULT NULL,\n\t`blob` longblob,\n\tPRIMARY KEY (`id`),\n\tKEY `id` (`id`)\n) BROADCAST ENGINE = InnoDB CHARSET = utf8"
                }
        },
        "normalProcedures":{},
        "normalTables":{},
        "schemaName":"db1",
        "shardingTables":{
                "orders":{
                        "createTableSQL":"CREATE TABLE db1.orders (\n\tid BIGINT NOT NULL AUTO_INCREMENT,\n\torder_type INT,\n\tcustomer_id INT,\n\tamount DECIMAL(10, 2),\n\tPRIMARY KEY (id),\n\tKEY `id` (`id`)\n) ENGINE = INNODB CHARSET = utf8\nDBPARTITION BY mod_hash(customer_id) DBPARTITIONS 2\nTBPARTITION BY mod_hash(customer_id) TBPARTITIONS 1",
                        "function":{
                                "properties":{
                                        "dbNum":"2",
                                        "mappingFormat":"c${targetIndex}/db1_${dbIndex}/orders_${index}",
                                        "tableNum":"1",
                                        "tableMethod":"mod_hash(customer_id)",
                                        "storeNum":2,
                                        "dbMethod":"mod_hash(customer_id)"
                                }
                        },
                        "shardingIndexTables":{}
                }
        },
        "views":{}
}

文件解释

  • shardingTables ：分片表规则
  • shardingTables.properties： 分片配置
  • dbNum：分库数量
  • dbMethod(customer_id) ：库的分片算法,以及根据的字段
  • tableNum：分表数量
  • tableMethod(customer_id) ：表的分片算法,以及根据的字段

mycat逻辑库

在这里插入图片描述
物理库 两个MySQL 服务也都分了库和表
在这里插入图片描述
为什么出现了db1_0和db1_1

因为在创建表的时候指定了数据库分片规则和数据表的分片规则
dbpartition BY mod_hash(customer_id) tbpartition BY mod_hash(customer_id)
tbpartitions 1 dbpartitions 2;

MyCat插入数据

INSERT INTO orders(id,order_type,customer_id,amount)
VALUES(1,101,100,100100);
INSERT INTO orders(id,order_type,customer_id,amount)
VALUES(2,101,100,100300);
INSERT INTO orders(id,order_type,customer_id,amount)
VALUES(3,101,101,120000);
INSERT INTO orders(id,order_type,customer_id,amount)
VALUES(4,101,101,103000);
INSERT INTO orders(id,order_type,customer_id,amount)
VALUES(5,102,101,100400);
INSERT INTO orders(id,order_type,customer_id,amount)
VALUES(6,102,100,100020);

mycat查看数据

在这里插入图片描述

物理库3506查看数据

在这里插入图片描述

物理库3507查看数据

在这里插入图片描述

发现每个物理库根据分片字段存储数据库是不一样的,

ER表

与分片表关联的表如何分表，也就是 ER 表如何分表，

创建ER表

CREATE TABLE orders_detail(
`id` BIGINT NOT NULL AUTO_INCREMENT,
detail VARCHAR(2000),
order_id INT,
PRIMARY KEY(id)
)ENGINE=INNODB DEFAULT CHARSET=utf8
dbpartition BY mod_hash(order_id) tbpartition BY mod_hash(order_id)
tbpartitions 1 dbpartitions 2;

mycat显示
在这里插入图片描述
物理库3506显示
在这里插入图片描述
物理库3507显示
在这里插入图片描述

mycat插入数据

INSERT INTO orders_detail(id,detail,order_id) VALUES(1,'detail1',1);
INSERT INTO orders_detail(id,detail,order_id) VALUES(2,'detail1',2);
INSERT INTO orders_detail(id,detail,order_id) VALUES(3,'detail1',3);
INSERT INTO orders_detail(id,detail,order_id) VALUES(4,'detail1',4);
INSERT INTO orders_detail(id,detail,order_id) VALUES(5,'detail1',5);
INSERT INTO orders_detail(id,detail,order_id) VALUES(6,'detail1',6);

mycat查询数据

在这里插入图片描述

物理节点3506数据分布

在这里插入图片描述

物理节点3507数据分布

在这里插入图片描述

join关联查询

SELECT * FROM orders o INNER JOIN orders_detail od ON od.order_id=o.id;

在这里插入图片描述
看一下具体物理划分到底是不是数据都划分到一块了呢?
物理节点3506数据分布
在这里插入图片描述
物理节点3507数据分布
在这里插入图片描述
发现两个数据有的不是在同一个数据库 怎么查询出来的呢?
在这里插入图片描述
原理:
mycat作为一个中间件，根据查询的SQL语句进行分片分析，找到对应的实际物理数据库节点，然后把数据合并之后再返回。
查看配置的表是否具有 ER 关系(父表和子表的关系),使用

/*+ mycat:showErGroup{}*/

在这里插入图片描述

一个是db1下的orders，一个是db1下的orders_detail都属于一个groupId
#group_id 表示相同的组,该组中的表具有相同的存储分布，运行关联语句的时候，就会把相同组的表自动进行关联

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/614946.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【Linux：lesson1】的基本指令

【Linux：lesson1】的基本指令

🎁个人主页：我们的五年 🔍系列专栏：Linux课程学习 🌷追光的人，终会万丈光芒 🎉欢迎大家点赞👍评论📝收藏⭐文章 目录 🚗打开Xshell，登陆root…
阅读更多...
Python | Leetcode Python题解之第76题最小覆盖子串

Python | Leetcode Python题解之第76题最小覆盖子串

题目： 题解： class Solution:def minWindow(self, s: str, t: str) -> str:ans_left, ans_right -1, len(s)left 0cnt_s Counter() # s 子串字母的出现次数cnt_t Counter(t) # t 中字母的出现次数less len(cnt_t) # 有 less 种字母的出现次数…
阅读更多...
【Vue基础】Vue在组件数据传递详解

【Vue基础】Vue在组件数据传递详解

Vue核心基础-CSDN博客 先回顾Vue特性： Vue.js 是一个用于构建用户界面的渐进式框架，具有许多强大的特性。以下是一些主要的 Vue 特性： 响应式数据：Vue 使用双向绑定来实现数据的响应式更新。当数据发生变化时，视图会自…
阅读更多...
系统重构思路

系统重构思路

系统重构之道 现在是进行重构的恰当时机吗？重构前需要做什么准备？如何保障重构工作顺利完成并达成预期目标？从这几个大家都关心的问题，来谈谈重构工作遵循的基本思路和原则。 从实际问题出发 “不能解决实际问题的重构就是耍流…
阅读更多...
详解：ic网站建设开发需要注意什么？

详解：ic网站建设开发需要注意什么？

IC网站建设开发需注重专业内容的呈现、强大的产品检索功能、全面的技术支持、严格的合规性展示、便捷的采购工具、良好的用户账户管理、移动适应性和多语言支持，以及高性能与高安全性，以满足行业用户的专业需求，提升网站的实用性和吸引力。 …
阅读更多...
winhex工具，将文件转换为16进制数据放入代码。

winhex工具，将文件转换为16进制数据放入代码。

今天介绍winhex工具，可以将任何内容读取读取为16进制数据。下面看下效果。 下载链接： WinHex: Hex Editor & Disk Editor, Computer Forensics & Data Recovery Software 一、WinHex打开文件 我们要打开的文件： 打开后： 我…
阅读更多...
数据结构--单链表 详解（附代码

数据结构--单链表 详解（附代码

目录： 1：链表的概念及结构 2：实现单链表 3：常见疑问 解答 （看到最后！！） 一：链表的概念及结构 1.1 概念： 链表是⼀种 物理存储结构上非连续、非顺序的 存储结…
阅读更多...
Qt | QSpinBox 类 QDoubleSpinBox 类(微调框)

Qt | QSpinBox 类 QDoubleSpinBox 类(微调框)

01、QSpinBox 类 1、QSpinBox类是 QAbstractSpinBox 类的直接子类和具体实现， 2、QSpinBox 类被设计用于处理整数和离散值集合，对于浮点值使用 QDoubleSpinBox 类实现。 3、QSpinBox 默认只支持整数值，但可通过其内部的成员函数进行扩展，以支持使用不同的 字符串。 02…
阅读更多...
Web数字孪生引擎

Web数字孪生引擎

Web数字孪生引擎是指用于在Web上创建和运行数字孪生的软件平台。它们通常提供一组API和工具，用于连接到实时数据源、可视化数据并创建交互式体验。Web数字孪生引擎被广泛应用于各种应用，例如工业物联网、智能建筑、城市管理和公共安全等。北京木奇移动技…
阅读更多...
stata空间计量模型基础+检验命令LM检验、sem、门槛+arcgis画图

stata空间计量模型基础+检验命令LM检验、sem、门槛+arcgis画图

目录 怎么安装stata命令 3怎么使用已有的数据 4数据编辑器中查看数据 4怎么删除不要的列 4直接将字符型变量转化为数值型的命令 4改变字符长度 4描述分析 4取对数 5相关性分析 5单位根检验 5权重矩阵标准化 6计算泰尔指数 6做核密度图 7Moran’s I 指数 8空间计量模型 9LM检验…
阅读更多...
基于Huffman编码的字符串统计及WPL计算

基于Huffman编码的字符串统计及WPL计算

一、问题描述 问题概括： 给定一个字符串或文件，基于Huffman编码方法，实现以下功能： 1.统计每个字符的频率。 2.输出每个字符的Huffman编码。 3.计算并输出WPL（加权路径长度）。 这个问题要求对Huffman编码算…
阅读更多...
在 Kubernetes 上运行 Apache Spark 进行大规模数据处理的实践

在 Kubernetes 上运行 Apache Spark 进行大规模数据处理的实践

在刚刚结束的 Kubernetes Community Day 上海站，亚马逊云科技在云原生分论坛分享的“在 Kunernets 上运行 Apache Spark 进行大规模数据处理实践”引起了现场参与者的关注。开发者告诉我们，为了充分利用 Kubernetes 的高可用设计、弹性，在越来…
阅读更多...
FFmpeg常用API与示例（四）——过滤器实战

FFmpeg常用API与示例（四）——过滤器实战

1.filter 在多媒体处理中，filter 的意思是被编码到输出文件之前用来修改输入文件内容的一个软件工具。如：视频翻转，旋转，缩放等。 语法：[input_link_label1]… filter_nameparameters [output_link_label1]… 1、视…
阅读更多...
凸优化理论学习二|凸函数及其相关概念

凸优化理论学习二|凸函数及其相关概念

系列文章目录 凸优化理论学习一|最优化及凸集的基本概念 文章目录 系列文章目录一、凸函数（一）凸集（二）凸函数的定义及举例（三）凸函数的证明1、将凸函数限制在一条直线上2、判断函数是否为凸函数的一阶条件…
阅读更多...
[每周一更]-(第96期)：Rsync 用法教程：高效同步文件与目录

[每周一更]-(第96期)：Rsync 用法教程：高效同步文件与目录

文章目录 一、引言二、rsync 基本概念三、介绍rsync 是什么？四、安装五、rsync 基本语法常见示例（默认ssh协议）： 六、常用选项1. -a 或 --archive2. -v 或 --verbose3. -z 或 --compress4. --delete5. --exclude6. --exclude-from…
阅读更多...
VR全景技术在养老院的应用优势浅析

VR全景技术在养老院的应用优势浅析

随着时代的快速发展，人口老龄化越来越严重，如何利用VR技术提升养老服务的质量，成为了社会各界关注的焦点。为养老院拍摄制作VR全景，不仅能够为养老院的老人子女们跨越空间限制，实现与家人的情感连接，还可以…
阅读更多...
做题杂记666

做题杂记666

[XYCTF2024] 铜匠 题目描述： from Crypto.Util.number import * from secrets import flagm bytes_to_long(flag) m1 getRandomRange(1, m) m2 getRandomRange(1, m) m3 m - m1 - m2def task1():e 149p getPrime(512)q getPrime(512)n p * qd inverse(e,…
阅读更多...
基于fastapi sqladmin开发，实现可动态配置admin

基于fastapi sqladmin开发，实现可动态配置admin

1. 功能介绍： 1. 支持动态创建表、类，属性，唯一约束、外键，索引，关系，无需写代码，快速创建业务对象； 2. 支持配置admin显示参数，支持sqladmin原生参数设置，动…
阅读更多...
2203-简单点-ultralytics库解析-data模块

2203-简单点-ultralytics库解析-data模块

data模块 overview布局\_\_init__.pyfrom .base import BaseDataset\_\_all__ annotator.pyaugment.pyclass BaseTransformclass Composeclass BaseMixTransformclass 未完继续 overview布局 从上往下解析 __init__.py from .base import BaseDataset __init__.py 文件在 Pyt…
阅读更多...
nc生成临时凭证配置

nc生成临时凭证配置

nc生成临时凭证配置 要实现的功能： 审批时生成临时凭证弃审时删除临时凭证 前台配置 后台配置 BillReflectorServiceImpl.java package nc.pubimpl.jych.qtsq.voucher;import java.util.ArrayList; import java.util.Collection; import java.util.HashMap; impo…
阅读更多...
最新文章

Copyright @ 2022~2023