垂直分表、分布式Id详细介绍、模板引擎FreeMarker、对象存储服务MinIO（黑马头条Day02）

       

目录

垂直分表

分布式ID

为什么需要分布式ID

分布式ID需要满足的条件

常见的分布式ID算法有哪些

项目中具体如何使用分布式ID

模板引擎FreeMarker

freemarker简介 

对象存储服务MinIO

MinIO简介

MinIO的优点

本项目中使用的FreeMarker和MinIO示例

        今天在学习黑马头条用户端文章相关内容时，首次在项目中接触到垂直分表的具体实例，之前学习MySQL以及Redis的过程中了解过垂直分表和水平分表但没有涉及到具体项目的使用，借此机会小记心得体会。

垂直分表

垂直分表：根据业务的逻辑，将原本一个库中的一个表拆分为多个表，每个库中的表与表结构不同。

水平分表： 根据分片算法，将一个库拆分为多个库，每个库仍然保存原有的结构。

        文章相关信息数据存储分为三张表：文章基本信息表（ap_article）、文章配置表（ap_article_config）和文章内容表（ap_article_content）。

 文章基本信息表：存储文章的基本信息。

文章配置表：存储文章的相关权限如：是否允许评论、是否允许转发、是否下架、是否已删除
 文章内容表：存放文章对应的文本内容（longtext）

         关于为什么需要将文章信息拆分为三张表格分别存储而不是将其全部放在一张表里进行存储，考虑实际业务场景，某个人刷微博、小程序时，首先看到的是一条一条的文章的简介以及对应的封面选图，用户可以上滑查看以往的消息同时也可以下拉刷新查看最新的消息，在这个过程中只需要将消息的概述信息进行展示即可，只有当用户点击某一条具体的消息的时候才需要将此条消息对应的具体文本内容进行查找并将其显示在页面上。参考实际场景的使用，可以理解将文章相关信息拆分为“文章基本信息表”和”文章内容表“，文章内容对应类型为longtext，查询比较耗时，和文章基本信息相比查询耗时但查询具有选择性。文章基本信息的查询量比较大，所以考虑将其拆分分表存储，满足业务场景。此时又产生新的问题：为什么不将”文章配置表“直接嵌入到以上提及到的两个表格中呢？？？以上两个表格在具体查询的时候均涉及到配置信息的条件的使用：如：文章是否下架，假如文章已经下架则不能查询并且显示。所以将其抽取为公共字段供两个表格查询使用，减少重复字段。

分布式ID

为什么需要分布式ID

        单机MySQL数据存储有一定的容量上限，随着项目上线后使用人数的增多，系统的数据量将会越来越大，单机MySQL没有办法继续提供数据支持，需要进行分库分表。在分库之后，数据将分布在不同服务器上的数据库中，数据库的自增主键无法保证生成的主键ID在不同服务器的数据库间具有唯一性。此时需要分布式ID保证多个服务器上的数据库中主键的唯一性。

        通过引入分布式ID可以解决上面图示问题。 

分布式ID需要满足的条件

  • 全局唯一：ID 的全局唯一性肯定是首先要满足的！
  • 高性能：分布式 ID 的生成速度要快，对本地资源消耗要小。
  • 高可用：生成分布式 ID 的服务要保证可用性无限接近于 100%。
  • 方便易用：拿来即用，使用方便，快速接入！
  • 安全：ID 中不包含敏感信息。
  • 有序递增：如果要把 ID 存放在数据库的话，ID 的有序性可以提升数据库写入速度。并且，很多时候 ，我们还很有可能会直接通过 ID 来进行排序。
  • 有具体的业务含义：生成的 ID 如果能有具体的业务含义，可以让定位问题以及开发更透明化（通过 ID 就能确定是哪个业务）。
  • 独立部署：也就是分布式系统单独有一个发号器服务，专门用来生成分布式 ID。这样就生成 ID 的服务可以和业务相关的服务解耦。不过，这样同样带来了网络调用消耗增加的问题。总的来说，如果需要用到分布式 ID 的场景比较多的话，独立部署的发号器服务还是很有必要的。

常见的分布式ID算法有哪些

        Snowflake（雪花算法）

        Snowflake是Twitter开源的分布式ID生成算法，结果是一个long型的ID。其核心思想是：使用41bit作为毫秒数，10bit作为机器的ID（5个bit是数据中心，5个bit的机器ID），12bit作为毫秒内的流水号（意味着每个节点在每毫秒可以产生 4096 个 ID），最后还有一个符号位，永远是0。其组成如下：

  • sign(1bit):符号位（标识正负），始终为 0，代表生成的 ID 为正数。
  • timestamp (41 bits):一共 41 位，用来表示时间戳，单位是毫秒，可以支撑 2 ^41 毫秒（约 69 年）
  • datacenter id + worker id (10 bits):一般来说，前 5 位表示机房 ID，后 5 位表示机器 ID（实际项目中可以根据实际情况调整）。这样就可以区分不同集群/机房的节点。
  • sequence (12 bits):一共 12 位，用来表示序列号。 序列号为自增值，代表单台机器每毫秒能够产生的最大 ID 数(2^12 = 4096),也就是说单台机器每毫秒最多可以生成 4096 个 唯一 ID。

MyBatis-plus中已经集成了雪花算法，使用的时候可以方便使用。

雪花算法的优缺点：

  • 优点：生成速度比较快、生成的 ID 有序递增、比较灵活（可以对 Snowflake 算法进行简单的改造比如加入业务 ID）
  • 缺点：需要解决重复 ID 问题（ID 生成依赖时间，在获取时间的时候，可能会出现时间回拨的问题，也就是服务器上的时间突然倒退到之前的时间，进而导致会产生重复 ID）、依赖机器 ID 对分布式环境不友好（当需要自动启停或增减机器时，固定的机器 ID 可能不够灵活）。

        UUID(Universally Unique Identifier)通用唯一标识符。

        UUID包含32个16进制数字。JDK中自带生成UUID的算法：

//输出示例：cb4a9ede-fa5e-4585-b9bb-d60bce986eaa
UUID.randomUUID()

      UUID的生成简单到只有一行代码，输出结果 cb4a9ede-fa5e-4585-b9bb-d60bce986eaa，但UUID却并不适用于实际的业务需求。像用作订单号UUID这样的字符串没有丝毫的意义，看不出和订单相关的有用信息；而对于数据库来说用作业务主键ID，它不仅是太长还是字符串，存储性能差查询也很耗时，所以不推荐用作分布式ID。

UUID算法的优缺点：

  • 优点：生成速度比较快、简单易用
  • 缺点：存储消耗空间大（32 个字符串，128 位）、 不安全（基于 MAC 地址生成 UUID 的算法会造成 MAC 地址泄露)、无序（非自增）、没有具体业务含义、需要解决重复 ID 问题（当机器时间不对的情况下，可能导致会产生重复 ID）

项目中具体如何使用分布式ID

        在黑马头条项目中选用雪花算法生成唯一ID，主要实现：

  • 在数据库对应实体中的id字段上加入配置，指定其类型为id_worker。
@TableId(value = "id",type = IdType.ID_WORKER)
private Long id;
  • 在配置文件application.yml中配置机房ID和机器ID。
mybatis-plus:
  mapper-locations: classpath*:mapper/*.xml
  # 设置别名包扫描路径，通过该属性可以给包中的类注册别名
  type-aliases-package: com.heima.model.article.pojos
  global-config:
    datacenter-id: 1    #取值范围0-31
    workerId: 1         #取值范围0-31

模板引擎FreeMarker

freemarker简介 

        FreeMarker 是一款 模板引擎： 即一种基于模板和要改变的数据， 并用来生成输出文本(HTML网页，电子邮件，配置文件，源代码等)的通用工具。 它不是面向最终用户的，而是一个Java类库，是一款程序员可以嵌入他们所开发产品的组件。模板编写为FreeMarker Template Language (FTL)。它是简单的，专用的语言， 不是 像PHP那样成熟的编程语言。 那就意味着要准备数据在真实编程语言中来显示，比如数据库查询和业务运算， 之后模板显示已经准备好的数据。在模板中，你可以专注于如何展现数据， 而在模板之外可以专注于要展示什么数据。

对象存储服务MinIO

MinIO简介

        MinIO基于Apache License v2.0开源协议的对象存储服务，可以做为云存储的解决方案用来保存海量的图片，视频，文档。由于采用Golang实现，服务端可以工作在Windows,Linux, OS X和FreeBSD上。配置简单，基本是复制可执行程序，单行命令可以运行起来。

        MinIO兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。

MinIO的优点

  • 数据保护

    Minio使用Minio Erasure Code（纠删码）来防止硬件故障。即便损坏一半以上的driver，但是仍然可以从中恢复。

  • 高性能

    作为高性能对象存储，在标准硬件条件下它能达到55GB/s的读、35GB/s的写速率

  • 可扩容

    不同MinIO集群可以组成联邦，并形成一个全局的命名空间，并跨越多个数据中心

  • SDK支持

    基于Minio轻量的特点，它得到类似Java、Python或Go等语言的sdk支持

  • 有操作页面

    面向用户友好的简单操作界面，非常方便的管理Bucket及里面的文件资源

  • 功能简单

    这一设计原则让MinIO不容易出错、更快启动

  • 丰富的API

    支持文件资源的分享连接及分享链接的过期策略、存储桶操作、文件列表访问及文件上传下载的基本功能等。

  • 文件变化主动通知

    存储桶（Bucket）如果发生改变,比如上传对象和删除对象，可以使用存储桶事件通知机制进行监控，并通过以下方式发布出去:AMQP、MQTT、Elasticsearch、Redis、NATS、MySQL、Kafka、Webhooks等。

本项目中使用的FreeMarker和MinIO示例

        原本打算今天将FreeMarker和MinIO的基本使用方法用代码示例的方式展示出来，写到一半的发现官方讲义挺详细的，自己没有思绪如何去写，暂时就写到这里吧，后续有更新及时补上的。

悲伤的涛 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/435002.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

短视频矩阵系统技术开发商--支持技术资质核验（自研独立saas框架开发）

短视频矩阵系统技术开发商--支持技术资质核验（自研独立saas框架开发）

短视频矩阵系统是一种能够帮助用户快速制作、发布和推广短视频的系统。 🍇🍇它通常包括以下部分： 短视频矩阵系统#短视频矩阵系统源头#短视频矩阵系统源头开发#短视频矩阵系统软件#短视频矩阵系统技术#2024互联网风口项目短视频矩阵系统带动…
阅读更多...
ORACLE RAC反应卡顿时enq: SV - contention和latch: row cache objects的分析

ORACLE RAC反应卡顿时enq: SV - contention和latch: row cache objects的分析

某客户数据库系统使用ORACLE RAC 11G版本，两个节点。在上午8点钟之后，业务开始大量进行时，出现严重的卡顿问题；在工程师分析后，发现当时出现了很多异常等待数据，如典型的enq: SV - contention 、enq: TX - …
阅读更多...
【Java JVM】Class 文件

【Java JVM】Class 文件

Java 的口号 “一次编写, 到处运行 (Write Once, Run Anywhere)” 的基础: JVM 和 所有平台都统一支持的程序存储格式 – 字节码 (Byte Code)。 只要在对应的平台安装对应的 JVM, 将我们编写的源码编译为 Class 文件, 就能达到了一次编写, 导出运行的目标, 中间的所有细节由不同…
阅读更多...
微服务基础

微服务基础

目录 一、单体架构 二、分布式架构 三、微服务 四、微服务结构 五、SpringCloud 六、服务拆分 七、远程调用 一、单体架构 单体架构就是将业务的所有功能都集中在一个项目中进行开发，并打成一个包进行部署。 他的优点很明显，就是架构简单&#xff…
阅读更多...
微信小程序（五十二）开屏页面效果

微信小程序（五十二）开屏页面效果

注释很详细&#xff0c;直接上代码 上一篇 新增内容&#xff1a; 1.使用控件模拟开屏界面 2.倒计时逻辑 3.布局方法 4.TabBar隐藏复现 源码&#xff1a; components/openPage/openPage.wxml <view class"openPage-box"><image src"{{imagePath}}"…
阅读更多...
单细胞联合BulkRNA分析思路｜加个MR锦上添花，增强验证～

单细胞联合BulkRNA分析思路｜加个MR锦上添花，增强验证～

今天给大家分享一篇IF7.3的单细胞MR的文章&#xff0c;2023年12月发表在Frontiers in Immunology&#xff1a;An integrative analysis of single-cell and bulk transcriptome and bidirectional mendelian randomization analysis identified C1Q as a novel stimulated risk…
阅读更多...
力扣刷题Days11第二题--141. 环形链表（js）

力扣刷题Days11第二题--141. 环形链表（js）

目录 1,题目 2&#xff0c;代码 2.1快慢指针 2.2&#xff0c;哈希表 3&#xff0c;学习与总结 3.1自己尝试写快慢指针 反思 1,题目 给你一个链表的头节点 head &#xff0c;判断链表中是否有环。 如果链表中有某个节点&#xff0c;可以通过连续跟踪 next 指针再次到达&…
阅读更多...
【视频转码】基于RK3588的视频转码探索

【视频转码】基于RK3588的视频转码探索

传统的视频转码服务基本都是基于X86下CPU、GPU转码&#xff0c;对硬件性能、功耗、成本来说都比较高。从技术角度来说现有视频转码技术有&#xff1a; 视频编码转变&#xff1a; 1. H.264 > H.265 保持视频分辨率、清晰度不变情况下&#xff0c;更改视频压缩方式&#xff0…
阅读更多...
hyperf 二十五 数据迁移 一

hyperf 二十五 数据迁移 一

教程&#xff1a;Hyperf 版本说明 一 生成迁移 php bin/hyperf.php gen:migration create_users_table 执行文件&#xff1a;Hyperf\Database\Commands\Migrations\GenMigrateCommand 功能&#xff1a;创建迁移文件 参数&#xff1a; name 文件名称 选项&#xff1a; c…
阅读更多...
【JS】关于this的使用

【JS】关于this的使用

this 前言一、this是什么&#xff1f;二、做什么&#xff1f;1.全局环境2.函数环境3.new实例对象4.apply、bind、call绑定4.1 apply()4.2 call()4.3 bind() 三、为什么用this&#xff1f;四、如何改变this&#xff1f;五、应用场景&#xff1f;总结 前言 痛点 经常写Vue项目&a…
阅读更多...
day36 贪心算法part5

day36 贪心算法part5

435. 无重叠区间 中等 给定一个区间的集合 intervals &#xff0c;其中 intervals[i] [starti, endi] 。返回 需要移除区间的最小数量&#xff0c;使剩余区间互不重叠 。 气球问题稍加改动就可ac 一个交叉区间里&#xff0c;最终只能保留一个&#xff0c;其他的全部要去掉。…
阅读更多...
软考66-上午题-【面向对象技术】-小结+杂题

软考66-上午题-【面向对象技术】-小结+杂题

一、杂题 真题1&#xff1a; 真题2&#xff1a; 真题4&#xff1a; 真题5&#xff1a; 真题6&#xff1a; 二、面向对象设计-总结 2-1、考题分析 选择题&#xff1a;11道&#xff08;11分&#xff09; 综合分析题&#xff1a;2道&#xff08;30分&#xff09; java程序设计…
阅读更多...
Common Sense Machines（CSM）：立志成为图像生成适用于游戏引擎的3D资产AI产品

Common Sense Machines（CSM）：立志成为图像生成适用于游戏引擎的3D资产AI产品

详细说明 Common Sense Machines&#xff08;CMS&#xff09;&#xff1a;立志成为图像生成适用于游戏引擎的3D资产AI产品-喜好儿aigc详细说明&#xff1a;https://heehel.com/CSM-3d 官方网站&#xff1a;https://www.csm.ai/ 使用体验网址&#xff1a;https://3d.csm.ai/ 来…
阅读更多...
Rust错误处理和Result枚举类异常错误传递

Rust错误处理和Result枚举类异常错误传递

Rust 有一套独特的处理异常情况的机制&#xff0c;它并不像其它语言中的 try 机制那样简单。 首先&#xff0c;程序中一般会出现两种错误&#xff1a;可恢复错误和不可恢复错误。 可恢复错误的典型案例是文件访问错误&#xff0c;如果访问一个文件失败&#xff0c;有可能是因…
阅读更多...
微信小程序用户登陆和获取用户信息功能实现

微信小程序用户登陆和获取用户信息功能实现

官方文档&#xff1a; https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/login.html 接口说明&#xff1a; https://developers.weixin.qq.com/miniprogram/dev/OpenApiDoc/user-login/code2Session.html 我们看官方这个图&#xff0c;梳理一下用户…
阅读更多...
【Python爬虫实战】抓取省市级城市常务会议内容

【Python爬虫实战】抓取省市级城市常务会议内容

&#x1f349;CSDN小墨&晓末:https://blog.csdn.net/jd1813346972 个人介绍: 研一&#xff5c;统计学&#xff5c;干货分享          擅长Python、Matlab、R等主流编程软件          累计十余项国家级比赛奖项&#xff0c;参与研究经费10w、40w级横向 文…
阅读更多...
Three.js--》探寻Cannon.js构建震撼的3D物理交互体验（二）

Three.js--》探寻Cannon.js构建震撼的3D物理交互体验（二）

我们用three.js可以绘制出各种酷炫的画面&#xff0c;但是当我们想要一个更加真实的物理效果的话&#xff0c;这个时候我们就需要一个物理的库&#xff0c;接下来我们就讲解一下今天要学习的canon&#xff0c;它可以给我们提供一个更加真实的物理效果&#xff0c;像物体的张力、…
阅读更多...
Python - Pycharm 配置 autopep8 并设置快捷键

Python - Pycharm 配置 autopep8 并设置快捷键

什么是 PEP8 官方&#xff1a;PEP 8 – Style Guide for Python Code | peps.python.org PEP8 是 Python 官方推出的一套编码的规范&#xff0c;只要代码不符合它的规范&#xff0c;就会有相应的提示&#xff0c;还可以让代码自动的格式化 Pycharm 自带的代码格式化 ​ 但这…
阅读更多...
【C++】String常用的函数总结

【C++】String常用的函数总结

目录 一、string的构造函数方式&#xff1a; 二、常用的大小/容量相关操作&#xff1a; 三、string的常用修改操作&#xff1a; 四、string的遍历&#xff1a; 五、string的任意位置插入 / 删除&#xff1a; 六&#xff1a;补充&#xff1a; 一、string的构造函数方式&a…
阅读更多...
JavaWeb环境配置 IDE2022版

JavaWeb环境配置 IDE2022版

一、新建一个javaweb文件 文件名可以自己随意改 二、给建立的项目添加框架支持 勾选Web Application,点击确定 建立成功界面&#xff0c;会生成一个新的web文件夹 三、配置tomcat 1、两种打开配置文件方式&#xff1a; 第一种 第二种 2、打开后&#xff0c;点击号&#xf…
阅读更多...
最新文章

Copyright @ 2022~2023