分表策略,你真的分对了?

垂直分表方案

  • 表的记录并不多,但是字段却很长,表占用空间很大,检索表的时候需要执行大量的IO,严重降低了性能。这时需要把大的字段拆分到另一个表,并且该表与原表是一对一的关系。
为什么垂直拆分之后查询性能就变快了?
  • 由于数据量本身大,需要更长的读取时间。
  • 跨页,页是数据库存储单位,很多查找及定位操作都是以页为单位,单页内的数据行越多数据库整体性能越好,而大字段占用空间大,单页内存储行数少,因此IO效率较低。
  • 数据库以行为单位将数据加载到内存中,这样表中字段长度较短且访问频率较高,内存能加载更多的数据,命中率更高,减少了磁盘IO,从而提升了数据库性能。

水平分表方案

ID取模分表
优点
  • 分表比较简单,并且数据都可以很均匀的分摊到每个分表上。
缺点
  • 如果想要扩展表的个数,比如从2张表变成3张表。那同样还是id=3的数据,以前3和2取模得到1,所以ID=3的数据会放在user1表里,现在3和3取模得到0,那就要存在在user0这张表里,跟原来的user1对不上了,这就需要考数据迁移的问题了。当然也可以在一开始就对数据进行预估建立多张表。

ID范围分表
优点
  • 设置每张表的存放的数据范围,这样就可以很好的解决ID取模时数据扩展的问题。数据少的时候,表也少,随着数据增多,表会慢慢变多。而且这样表还可以无限扩展。
缺点
  • 根据id范围去做分表,因为id是递增的,那新写入的数据一般都会落到某一张表上,如果你的业务场景写数据特别频繁,那这张表就会出现写热点的问题。

ID取模分表+ID范围分表
  • 可以在ID范围分表后再增加几张表进行ID取模分表。比如通过ID范围分表后得到user1表,此时可以增加user1-1、user1-2、user1-3等三张表来进行ID取模,以此减少单表的读写压力。

什么是读扩散问题?
  • 理想情况下我们已知一个id,不管是根据哪种规则,我们都能很快定位到该读哪个分表。但很多情况下,我们的查询又不是只查主键,如果我的数据库表有一列name,并且加了个普通索引。由于name并不是分片键,我们我们没法定位到具体要到哪个分表上去执行sql,于是就会对所有分表进行查询,随着我的表越来越多,次数会越来越多,这就是所谓的读扩散问题。
如何解决读扩散问题?
  • 我们可以单独建个新的分片表,这个新表里的列就只有旧表的主键id和普通索引列,而这次换普通索引列来做分片键。
  • 当我们要查询普通索引列时,先到这个新的分片表里做一次查询,就能迅速定位到对应的主键ID,然后再拿主键ID去旧的分片表里再查一次数据,这个做法的缺点就是需要维护两套表,并且普通索引列更新时,要两张表同时进行更改。也可以使用es+mysql来实现。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/684259.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Django里的Form组件

Form组件提供 自动生成HTML标签和半自动读取关联数据 (“半自动”是指还得需要自己手写输入数据进来)表单验证和错误提示 要想创建并使用该组件,操作步骤如下: 在 views.py 里创建类 # 在 views.py 文件里from django import formsclass AssetForm(fo…

HDFS文件块损坏处理方案

1、问题概述 flume采集文本文件存储到hdfs中hive的ods层目录,并在hive中通过msck repair table刷新元数据,加载文本文件。报错如下: 2、问题分析 文件块BP-531411289-172.31.57.12-1539657748238出现了未知异常,导致namenode不能获取该文件块的信息,该文件块是由flume采…

JeecgBoot/SpringBoot升级Nacos(2.0.4到2.2.3)启动报错

错误如下&#xff1a; 报这种错误基本就很头大了&#xff0c;是框架不兼容的问题&#xff0c;自己找很难找到解决方法。 解决方案是把SpringBoot框架版本调高。 修改前&#xff1a; <parent><groupId>org.springframework.boot</groupId><artifactId&g…

如何在 Mac 上玩 Windows 游戏:Parallels Desktop 玩转秘籍

引言 作为一名热爱游戏的 Mac 用户&#xff0c;你可能曾为 Mac 系统的有限游戏选择感到困扰。然而&#xff0c;通过 Parallels Desktop 虚拟机软件&#xff0c;你可以在 Mac 上轻松畅玩多款 Windows 游戏&#xff0c;尽情体验游戏的乐趣。 为什么选择 Parallels Desktop&…

刷机维修进阶教程-----魅族18系列 魅族21系列机型修复基带 改写参数等 通用新机型操作 步骤解析

在前面几期博文中解析了一些老款机型修复基带 修复各项参数以及改写参数的步骤解析。通常这些步骤可以用于各种问题导致的基带丢失 串码丢失以及有些参数修复或者一些特殊场合需要改写参数的需求。今天对于一些新机型操作以上需求做一些步骤解析,明白其操作原理。可以通用于一…

LeetCode 26删除有序数组中的重复项

去重题&#xff0c;双指针&#xff0c;&#xff0c;因为题干说原地删除&#xff0c;且nums其余元素不重要。一个cur记录当前不重复的数应该插在第几位了&#xff0c;for循环里的i相当于是第二个指针&#xff08;右指针&#xff09;&#xff0c;遍历数组来找不重复的元素 class …

C#WPF数字大屏项目实战12--动态获取设备数据

1、如何获取设备实时数据 现在大屏上的数据都是静态的数据或后台构造的来源数据&#xff0c;在实际项目中现场数据应该来自现场的实时数据&#xff0c;这些数据有些是来自现场设备的动态数据&#xff0c;有些是来自其他系统推送的&#xff0c;有些需要主动查询其他业务&#xf…

基于Arduino的简易磁悬浮装置原理图和源代码分享

磁悬浮装置原理 大家可能都玩过这种磁悬浮玩具&#xff0c;它们的工作原理与此类似。 首先&#xff0c;让我们了解一下这个原理&#xff0c;其实非常简单。它主要依赖于磁力对悬浮物体的控制。基本原理如下&#xff1a;在浮子的正下方放置一个霍尔传感器。当传感器检测到浮子向…

Vue3+.NET6前后端分离式管理后台实战(二十五)

1&#xff0c;Vue3.NET6前后端分离式管理后台实战(二十五)已经在微信公众号更新&#xff0c;有兴趣的扫码关注一起交流学习。

Java面试题:Redis持久化问题

Redis持久化问题 RDB (Redis Database Backup File) Redis数据快照 将内存中的所有数据都记录到磁盘中做快照 当Redis实例故障重启时,从磁盘读取快照文件恢复数据 使用 save/bgsave命令进行手动快照 save使用主进程执行RDB,对所有命令都进行阻塞 bgsave使用子进程执行R…

多链路聚合设备在自然灾害应急能力提升工程基层防灾项目内的应用

在近几年信息技术的飞速发展&#xff0c;面对应急通信和指挥调度时需要移动化无线通信技术来做支撑&#xff0c;多链路聚合设备在中间的作用至关重要&#xff0c;实现从车到车、人到车、车到中心的多样化应用场景进行数据图像的无线传输和多节点组网方案需求&#xff0c;来满足…

(近似求π)可以使用以下公式计算 π:

package myjava; import java.math.*; public class cy {public static void main(String[]args){double pi;double sum0;double t0;int i;for(i1;i<10000;i){tMath.pow(-1,i)/(2.0*i-1.0);sumt;}System.out.println("PI"sum*4);} } 运行结果&#xff1a;

从零开始写 Docker(十七)---容器网络实现(中):为容器插上”网线“

本文为从零开始写 Docker 系列第十七篇&#xff0c;利用 linux 下的 Veth、Bridge、iptables 等等相关技术&#xff0c;构建容器网络模型&#xff0c;为容器插上”网线“。 完整代码见&#xff1a;https://github.com/lixd/mydocker 欢迎 Star 推荐阅读以下文章对 docker 基本实…

python语言中变量的作用域

def getpoint&#xff08;&#xff09;&#xff1a; x 10 y 20 return x&#xff0c;y x&#xff0c;y getpoint&#xff08;&#xff09; print &#xff08;x&#xff0c;y&#xff09; 函数内部的x&#xff0c;y和函数外面的x&#xff0c;y是同一组变量吗? 不同的变量…

AG32 MCU+FPGA 使用感受

前言&#xff1a; 笔者35了&#xff0c;10多年前开始玩单片机/FPGA啥的&#xff0c;从现在回想过去&#xff0c;眼下真的是我们国家微电子发展的好时候。各种各样的国产单片机&#xff0c;FPGA啥的&#xff0c;想想本科的时候用的Freescale&#xff0c;后来用的STM32&#xff0…

SpringCloud Gateway基础入门与使用实践总结

官网文档&#xff1a;点击查看官网文档 Cloud全家桶中有个很重要的组件就是网关&#xff0c;在1.x版本中都是采用的Zuul网关。但在2.x版本中&#xff0c;zuul的升级一直跳票&#xff0c;SpringCloud最后自己研发了一个网关替代Zuul&#xff0c;那就是SpringCloud Gateway一句话…

面试(03)————多线程

目录 一、线程和进程的区别&#xff1f; 二、并行和并发的区别&#xff1f; 三、线程创建的方式有哪些&#xff1f; 3.1、继承Thread类 3.2、实现Runnable接口 3.3、实现Callable接口 3.4、线程池 四、Runnable和Callable的区别&#xff1f; 五、在启动线程的时候&am…

git-生成SSH密钥

git-生成SSH密钥 1 打开命令窗口2 操作 1 打开命令窗口 选择"Git Bash Here"&#xff0c;打开Git命令窗口 2 操作 查看当前用户名称 git config user.name配置你的邮箱&#xff0c;“6xxxqq.com” 填写自己的邮箱 git config --global user.email "6xxxqq…

WPF真入门教程32--WPF数字大屏项目实干

1、项目背景 WPF (Windows Presentation Foundation) 是微软的一个框架&#xff0c;用于构建桌面客户端应用程序&#xff0c;它支持富互联网应用程序&#xff08;RIA&#xff09;的开发。在数字大屏应用中&#xff0c;WPF可以用来构建复杂的用户界面&#xff0c;展示庞大的数据…

计算机网络错题答案汇总

王道学习 第1章 计算机网络体系结构 1.1 1.2