【业务功能篇73】分布式ID解决方案

业界实现方案

1. 基于UUID
2. 基于DB数据库多种模式(自增主键、segment)
3. 基于Redis
4. 基于ZK、ETCD
5. 基于SnowFlake
6. 美团Leaf(DB-Segment、zk+SnowFlake)
7. 百度uid-generator()

1.基于UUID生成唯一ID

UUID:
UUID长度128bit，32个16进制字符，占用存储空间多，且生成的ID是无序的;

对于InnoDB这种聚集主键类型的引擎来说，数据会按照主键进行排序，由于UUID的无序性，InnoDB会产生巨大的IO压力，此时不适合使用UUID做物理主键，可以把它作为逻辑主键，物理主键依然使用自增ID。

组成部分：

为了保证UUID的唯一性,规范定义了包括网卡MAC地址,时间戳,名字空间,随机或伪随机数,时序等元素.

优点：

性能非常高：本地生成，没有网络消耗。

缺点：

不易于存储：UUID太长，16字节128位，通常以36长度的字符串表示，很多场景不适用

信息不安全：基于MAC地址生成UUID的算法可能会造成MAC地址泄露，这个漏洞曾被用于寻找梅丽莎病毒的制作者位置

ID作为主键时在特定的环境会存在一些问题，比如做DB主键的场景下，UUID就非常不适用：

UUID生成策略 

UUID Version 1：基于时间的UUID

基于时间的UUID通过计算当前时间戳、随机数和机器MAC地址得到。由于在算法中使用了MAC地址，这个版本的UUID可以保证在全球范围的唯一性。但与此同时，使用MAC地址会带来安全性问题，这就是这个版本UUID受到批评的地方。如果应用只是在局域网中使用，也可以使用退化的算法，以IP地址来代替MAC地址－－Java的UUID往往是这样实现的（当然也考虑了获取MAC的难度）

UUID Version 2：DCE安全的UUID

DCE（Distributed Computing Environment）安全的UUID和基于时间的UUID算法相同，但会把时间戳的前4位置换为POSIX的UID或GID。这个版本的UUID在实际中较少用到。

UUID Version 3：基于名字的UUID（MD5）

基于名字的UUID通过计算名字和名字空间的MD5散列值得到。这个版本的UUID保证了：相同名字空间中不同名字生成的UUID的唯一性；不同名字空间中的UUID的唯一性；相同名字空间中相同名字的UUID重复生成是相同的。

UUID Version 4：随机UUID

根据随机数，或者伪随机数生成UUID。这种UUID产生重复的概率是可以计算出来的，但随机的东西就像是买彩票：你指望它发财是不可能的，但狗屎运通常会在不经意中到来。

UUID Version 5：基于名字的UUID（SHA1）

和版本3的UUID算法类似，只是散列值计算使用SHA1（Secure Hash Algorithm 1）算法

 

UUID应用

UUID Version 1：基于时间的UUID

从UUID的不同版本可以看出

• Version 1/2适合应用于分布式计算环境下，具有高度的唯一性
•
• Version 3/5适合于一定范围内名字唯一，且需要或可能会重复生成UUID的环境下
•
• 至于Version 4，建议是最好不用（虽然它是最简单最方便的）
•
• 通常我们建议使用UUID来标识对象或持久化数据，但以下情况最好不使用UUID：
• 映射类型的对象。比如只有代码及名称的代码表。
• 人工维护的非系统生成对象。比如系统中的部分基础数据。
• 对于具有名称不可重复的自然特性的对象，最好使用Version 3/5的UUID。比如系统中的用户。如果用户的UUID是Version 1的，如果你不小心删除了再重建用户，你会发现人还是那个人，用户已经不是那个用户了。（虽然标记为删除状态也是一种解决方案，但会带来实现上的复杂性。

 

 

2.基于DB数据库多种模式(自增主键、segment)

基于DB的自增主键方案 

实现原理:

基于MySQL，最简单的方法是使用auto_increment 来生成全局唯一递增ID，但最致命的问题是在高并发情况下，数据库压力大，DB单点存在宕机风险

优点:

实现简单、基于数据库底层机制

缺点:

高并发情况下，数据库压力大，DB单点存在宕机风险

 

 

基于DB多主模式方案

在分布式系统中我们可以多部署几台机器，

每台机器设置不同的初始值，且步长和机器数相等。

比如有两台机器。设置步长step为2，

TicketServer1的初始值为1（1，3，5，7，9，11…）、

TicketServer2的初始值为2（2，4，6，8，10…）。

这是Flickr团队在2010年撰文介绍的一种主键生成策略

（Ticket Servers: Distributed Unique Primary Keys on the Cheap ）

如下所示，为了实现上述方案分别设置两台机器对应的参数，

TicketServer1从1开始发号，

TicketServer2从2开始发号，

两台机器每次发号之后都递增2

 

基于DB号段实现方案

实现原理:

每次向db申请一个号段，加载到内存中，然后采用自增的方式来生成id，这个号段用完后，再次向db申请一个新的号段，这样对db的压力就减轻了很多，同时内存中直接生成id。向数据库申请新号段，对max_id字段做一次update操作，update max_id= max_id + step，update成功则说明新号段获取成功，新的号段范围是(max_id ,max_id +step]。

优点:

利用了缓存，减轻DB压力，性能提升

缺点:

依然存在DB模式下的性能瓶颈，ID最大值的限制

 

3.基于Redis实现分布式ID 

  • 因为Redis是单线程的，所以天然没有资源争用问题，可以采用 incr 指令，实现ID的原子性自增。
  • 但是因为Redis的数据备份-RDB，会存在漏掉数据的可能，所以理论上存在已使用的ID再次被使用，所以备份方式可以加上AOF方式，这样的话性能会有所损耗。

 

4.基于Zookeeper实现分布式ID

原理:
利用zookeeper中的顺序节点的特性,制作分布式的序列号生成器(ID生成器)

5.基于ETCD实现分布式ID 

原理:
每个tx事务有唯一事务ID，在etcd中叫做main ID，全局递增不重复。

一个tx可以包含多个修改操作（put和delete），每一个操作叫做一个revision（修订），共享同一个main ID。

一个tx内连续的多个修改操作会被从0递增编号，这个编号叫做sub ID。

每个revision由（main ID，sub ID）唯一标识。

6.美团Leaf-基于ZK的SnowFlake算法 

Leaf-snowflake方案完全沿用snowflake方案的bit位设计.

即是“1+41+10+12”的方式组装ID号。

对于workerID的分配，当服务集群数量较小的情况下，完全可以手动配置。

Leaf服务规模较大，动手配置成本太高。所以使用Zookeeper持久顺序节点的特性

自动对snowflake节点配置wokerID

 

7.百度uid-generator分布式ID生成器

UidGenerator是Java实现的, 基于Snowflake算法的唯一ID生成器。

UidGenerator以组件形式工作在应用项目中, 支持自定义workerId位数和初始化策略,

从而适用于docker等虚拟化环境下实例自动重启、漂移等场景。

 在实现上, UidGenerator通过借用未来时间来解决sequence天然存在的并发限制;

采用RingBuffer来缓存已生成的UID, 并行化UID的生产和消费, 同时对CacheLine补齐，

避免了由RingBuffer带来的硬件级「伪共享」问题. 最终单机QPS可达600万。

其实现原理和雪花算法并无二致，自定义号段，并且采用RingBuffer作为缓冲

从而提升性能。详见官网地址：

https://github.com/baidu/uidgenerator/blob/master/README.zh_cn.md

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/89800.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

springcloud3 GateWay章节-Nacos+gateway（跨域，filter过滤等5

springcloud3 GateWay章节-Nacos+gateway（跨域，filter过滤等5

一 常用工具类 1.1 结构 1.2 跨域 Configuration public class CorsConfig {Beanpublic CorsWebFilter corsFilter() {CorsConfiguration config new CorsConfiguration();config.addAllowedMethod("*");config.addAllowedOrigin("*");config.addAllowe…
阅读更多...
gma 2 教程（二）数据操作：6.NumPy数组交互

gma 2 教程（二）数据操作：6.NumPy数组交互

gma 栅格数据集可以通过 ToArray 方法将栅格数据转为NumPy数组，也提供将NumPy数据转换为栅格数据（集）的方法。 读取NumPy数组到数据集 （一）函数简介  　（二）示例 保存NumPy数组到文件 &…
阅读更多...
Stable Diffusion 系列教程 | 如何获得更高清优质的AI绘画

Stable Diffusion 系列教程 | 如何获得更高清优质的AI绘画

目录 1 高清修复 1.1 原理 1.2 基本操作 1.3 优缺点 2 UpScale 放大脚本 2.1 原理 2.2 基本操作 2.3 优缺点 3 附加功能放大 3.1 原理 3.2 基本操作 3.3 优缺点 优化出图质量，产出更高清，分辨率更高，更有细节的绘画作品呢&#x…
阅读更多...
05-Numpy基础-用于数组的文件输入输出

05-Numpy基础-用于数组的文件输入输出

np.save和np.load是读写磁盘数组数据的两个主要函数。默认情况下，数组是以未压缩的原始二进制格式保存在扩展名为.npy的文件中的： 如果文件路径末尾没有扩展名.npy，则该扩展名会被自动加上。然后就可以通过np.load读取磁盘上的数组&#xff1…
阅读更多...
9.阿里Sentinel哨兵

9.阿里Sentinel哨兵

1.Sentinel Sentinel（哨兵）是由阿里开源的一款流量控制和熔断降级框架，用于保护分布式系统中的应用免受流量涌入、超载和故障的影响。它可以作为微服务架构中的一部分，用于保护服务不被异常流量冲垮，从而提高系统的稳定…
阅读更多...
IDEA常用配置之类Tab页多行显示

IDEA常用配置之类Tab页多行显示

文章目录 IDEA常用配置之类Tab页多行显示 IDEA常用配置之类Tab页多行显示 默认在Idea中打开类过多，后面会隐藏显示，这里修改配置，将类设置为多行显示，方便查找已经打开的类 修改后显示样式
阅读更多...
【C++设计模式】用动画片《少年骇客》（Ben10）来解释策略模式

【C++设计模式】用动画片《少年骇客》（Ben10）来解释策略模式

2023年8月25日&#xff0c;周五上午 今天上午学习设计模式中的策略模式时&#xff0c;发现这个有点像很多卡通片里面的变身器... #include<iostream>//alien hero是外星英雄的意思 //在《少年骇客》中&#xff0c;主角可以通过变身器变成10种外星英雄 class AlienHero{ …
阅读更多...
Vue快速入门以及基础标签使用

Vue快速入门以及基础标签使用

目录 开始示例el挂载点data数据对象 vue基本标签v-textv-htmlv-on计数器示例实现v-showv-ifv-bind图片切换示例v-forv-on补充v-model axios网络请求axios基本使用vue中使用axios 开始示例 1.首先在html页面中引入vue的生产环境&#xff0c;在body标签中粘上下面代码 <scrip…
阅读更多...
C语言刷题训练DAY.13

C语言刷题训练DAY.13

1.有序序列判断 解题思路&#xff1a; 这里我们先看代码&#xff0c;我们定义了一个flag1和flag2&#xff0c;它的作用主要就是判断是不是升序&#xff0c;具体怎么使用的&#xff0c;我为大家画图展示。 解题代码&#xff1a; #include<stdio.h> int main() {int n 0;…
阅读更多...
基于HarmonyOS ArkUI实现音乐列表功能

基于HarmonyOS ArkUI实现音乐列表功能

本节将演示如何在基于HarmonyOS ArkUI的List组件来实现音乐列表功能。 本文涉及的所有源码&#xff0c;均可以在文末链接中找到。 活动主页 华为开发者论坛 规则要求具体要求如下&#xff1a; 第1步&#xff1a;观看<HarmonyOS第一课>“营”在暑期•系列直播&#x…
阅读更多...
数据结构双向链表

数据结构双向链表

Hello&#xff0c;好久不见&#xff0c;今天我们讲链表的双向链表&#xff0c;这是一个很厉害的链表&#xff0c;带头双向且循环&#xff0c;学了这个链表&#xff0c;你会发现顺序表的头插头删不再是一个麻烦问题&#xff0c;单链表的尾插尾删也变得简单起来了&#xff0c;那废…
阅读更多...
spring整合mybatis教程（详细易懂）

spring整合mybatis教程（详细易懂）

一、引言 1、Spring整合MyBatis的目的是&#xff1f; 将两个框架结合起来&#xff0c;以实现更好的开发体验和效果。Spring提供了一种轻量级的容器和依赖注入的机制&#xff0c;可以简化应用程序的配置和管理。而MyBatis是一个优秀的持久层框架&#xff0c;可以方便地进行数据…
阅读更多...
Docker使用mysql:5.6和 owncloud 镜像，构建一个个人网盘,安装搭建私有仓库 Harbor

Docker使用mysql:5.6和 owncloud 镜像，构建一个个人网盘,安装搭建私有仓库 Harbor

一、使用mysql:5.6和 owncloud 镜像&#xff0c;构建一个个人网盘。 [rootlocalhost ~]# docker pull mysql:5.6[rootlocalhost ~]# docker pull owncloud[rootlocalhost ~]# docker run -itd --name mysql --env MYSQL_ROOT_PASSWORD123456 mysql:5.6 d45cc5b95f00692881baaf…
阅读更多...
传输层协议

传输层协议

文章目录 端口号UDP协议UDP报文UDP发送数据报过程 TCP协议TCP报文确认应答超时重传连接管理流量控制拥塞控制补充小结 UDP实现TCP总结TCP和UDP的区别 端口号 端口号(Port)标识了一个主机上进行通信的不同的应用程序。 简单的说&#xff0c;就是两台主机通信时&#xff0c;要想…
阅读更多...
Linux内核学习（八）—— 内存管理（基于Linux 2.6内核）

Linux内核学习（八）—— 内存管理（基于Linux 2.6内核）

目录 一、页&#xff08;page&#xff09; 二、区&#xff08;zone&#xff09; 三、页操作 四、kmalloc() 五、vmalloc() 六、slab 分配器 七、在栈上的静态分配 一、页&#xff08;page&#xff09; 内核把物理页作为内存管理的基本单位。尽管处理器的最小可寻 …
阅读更多...
Notepad++正则匹配

Notepad++正则匹配

Notepad正则匹配 Notepad正则表达式字符串最长不能超过69个字符一、支持的语法二、正则表达式诀窍三、案例3.1、匹配时间戳3.2、提取指定字符串3.3、提取单词3.4、查找中文字符 四、示例4.1、示例1&#xff1a;把含目标字符串及之后的字符串全部替换4.2、示例2&#xff1a;4.3、…
阅读更多...
项目部署之后页面没有刷新怎么办?

项目部署之后页面没有刷新怎么办?

最近项目部署成功之后&#xff0c;突然产品找我&#xff0c;上线之后&#xff0c;页面没有生效&#xff0c;这是怎么回事&#xff1f;我这是第一次部署这个项目,也不太清楚历史问题,接下来就慢慢寻找答案吧, 如果心急的可以直接看后面的总结&#xff0c;下面我们好好聊聊缓存的…
阅读更多...
RE：从零开始的车载Android HMI（四） - 收音机刻度尺

RE：从零开始的车载Android HMI（四） - 收音机刻度尺

最近比较忙&#xff0c;研究复杂的东西需要大量集中的时间&#xff0c;但是又抽不出来&#xff0c;就写点简单的东西吧。车载应用开发中有一个几乎避不开的自定义View&#xff0c;就是收音机的刻度条。本篇文章我们来研究如何绘制一个收音机的刻度尺。 本系列文章的目的是在讲…
阅读更多...
4.12 TCP 连接，一端断电和进程崩溃有什么区别？

4.12 TCP 连接，一端断电和进程崩溃有什么区别？

目录 TCP keepalive TCP 的保活机制 主机崩溃 进程崩溃 有数据传输的场景 客户端主机宕机&#xff0c;又迅速重启 客户端主机宕机&#xff0c;一直没有重启 TCP连接服务器宕机和进程退出情况总结 TCP keepalive TCP 的保活机制 TCP 保活机制需要通过 socket 接口设置 S…
阅读更多...
pytorch 实现VGG

pytorch 实现VGG

VGG全称是Visual Geometry Group&#xff0c;因为是由Oxford的Visual Geometry Group提出的。AlexNet问世之后&#xff0c;很多学者通过改进AlexNet的网络结构来提高自己的准确率&#xff0c;主要有两个方向&#xff1a;小卷积核和多尺度。而VGG的作者们则选择了另外一个方向&a…
阅读更多...
最新文章

Copyright @ 2022~2023