某人事系统架构搭建设计记录

首发博客地址

https://blog.zysicyj.top/

先大致列一下基础情况

  • 架构必须是微服务
  • 场景上涉及大量查询操作，分析操作
  • 存在临时大量写入的场景
  • 并发并不高
  • 对高可用要求较高，不能挂掉
  • 对安全要求高
  • 要能过等保测试等三方测试
  • 使用人数并不多，十万内
  • 涉及很多在线编辑，预览等操作
  • 对大屏展示有需求
  • 数据库还不确定，如果要求高的话mysql必须换成达梦
  • 中间件也不确定，要求高的话必须换成东方通
  • 加密必须是国密

前言

好的代码，肯定最基本的有一套开发规范去约束的，不然堆砌的代码肯定成”屎山“。扩展性，性能啥的先不谈，单单维护代码成本就会很高，也很容易出BUG。

所以呀，我们必须先有一套开发规范，我这里拟了一套规范供内部使用：

  1. MySQL开发规范
  2. 后台开发规范
  3. 前端开发规范
  4. 代码提交规范

架构

这里微服务框架我推荐直接使用Spring Cloud Alibaba体系组件，原因如下：

  1. Spring Cloud Alibaba 已经是国内实际上微服务标准
  2. 服务于阿里集团大大小小各种业务，生产使用稳定
  3. 社区庞大，遇到问题容易解决
  4. 文档齐全，中文文档详细，方便查阅
  5. 与 Spring Cloud 集成，可以充分使用 Spring Cloud 特性
  6. 组件丰富
系统架构图
系统架构图

高清大图地址：https://www.processon.com/view/link/64ef11baa8c890267a8a023d

聊聊组件选型

那么，具体我们需要哪些组件呢？这里的组件并不是必须的，需要后续综合考虑

  1. ES：数据检索
  2. Redis：缓存
  3. JetCache：多级缓存
  4. MySQL，如果有国产化需求，考虑 达梦数据库
  5. Druid：数据源管理框架
  6. ShardingSphere：对数据库进行增强，比如 分库分表，加密的支持
  7. Minio：文件存储
  8. Seata：分布式事务
  9. Spring Cloud Gateway：由于并发量并不大，所以我们可以不需要 Nginx网关
  10. Sentinel: 熔断限流
  11. Spring Cloud Alibaba Sidecar：项目中很有可能涉及其他非 Spring Cloud 应用，此时就需要将其接入 Spring Cloud
  12. 引入 GraalVM，可以看到，对比 JVM 启动速度提升 alt
  13. JimuReport+EasyExcel：报表设计
  14. KkFileView：在线预览各种文件
  15. Activity：工作流支持
  16. Hutool：最全工具类库
  17. Nacos：服务注册和配置中心
  18. RocketMQ：消息队列，削峰填谷
  19. Docker：使用 Docker 进行容器化部署
  20. GitLab：源码管理
  21. Nexus：构建仓库
  22. Jenkins：部署平台
  23. SkyWalking：链路追踪
  24. SaToken 或 Spring Cloud Security+Oauth：授权
  25. Leaf：分布式 ID 生成器
  26. MybatisFlex：ORM 框架
  27. Dubbo 或 Feign：服务间通信

一些细节

再次声明一点，业务上是读多写少，分析报表多，所以很多设计上要优化

  • MySQL：读写分离，分库分表
  • Redis：主从从架构，哨兵集群
  • 项目使用多级缓存
  • 数据国密加密
  • 账号最小权限分配，严格限制超级管理员账号
  • 统一线程池使用

打任务量导入导出

  • 通过优化线程池提高效率
  • 通过逻辑过滤重复任务
  • 使用消息队列削峰
  • 使用缓存优化查询速度

查询流程

  1. 客户端发送请求
  2. 前端请求加密
  3. 请求发送到网关
  4. 网关校验请求合法性
  5. 网关根据路由规则转发到具体的服务器上处理
  6. 服务器解密请求数据
  7. 查询本地缓存
  8. 若无则查询 Redis
  9. 若无则进行业务流转，最终查询 MySQL
  10. 根据路由规则，查询只读 MySQL 节点并返回数据
  11. 数据本地缓存，然后 Redis 缓存
  12. 返回响应数据
  13. 对响应加密，转发到网关
  14. 网关转发给客户端
  15. 客户端解密，展示数据

部署流程

开发环境

  1. 开发提交代码
  2. 基于 GitLab CI/CD 自动拉取代码生成 Docker 镜像并提供服务

测试环境

  1. 合并代码到测试分支
  2. 基于 GitLab CI/CD 自动拉取代码生成 Docker 镜像并提供服务

生产环境

  1. 合并代码到生产分支
  2. 基于 GitLab，手动用 Jenkins 部署项目

详细部署策略

如果中台能提供，那肯定是最好的，不用考虑那么多了

现在假设有10台服务器

  1. 服务器1和服务器2：MySQL数据库服务器，部署主从复制架构。

    • 服务器1作为主数据库（Master），负责写入操作和部分读取操作。
    • 服务器2作为从数据库（Slave），负责复制主数据库的数据，并提供读取操作，实现读写分离。
    • 主从复制可以提高数据库的可用性和性能，当主数据库出现故障时，可以快速切换到从数据库。

  2. 服务器3和服务器4：Redis缓存服务器，部署主从架构。

    • 服务器3作为主节点（Master），负责处理写入和读取操作。
    • 服务器4作为从节点（Slave），复制主节点的数据，并提供读取操作。
    • Redis主从架构可以提高缓存的可用性和读取性能。

  3. 服务器5：Minio文件存储服务器，用于存储上传的文件。

    • Minio是一个开源的对象存储服务器，提供高可用性和可扩展性的存储解决方案。

  4. 服务器6和服务器7：Nacos服务注册和配置中心，用于服务的注册和配置管理。

    • Nacos提供了服务注册、发现和配置管理的功能，支持高可用和可靠的服务部署。

  5. 服务器8：RocketMQ消息队列服务器，用于削峰填谷，异步处理导入任务。

    • RocketMQ提供了高吞吐量、低延迟的消息传递能力，可以将导入任务放入消息队列中，由异步消费者进行处理。

  6. 服务器9和服务器10：用于部署应用程序和其他中间件，如Spring Cloud Gateway、Sentinel、SkyWalking等。

    • 这些服务器用于部署应用程序和其他中间件，如API网关、熔断限流、链路追踪等，提供服务的访问和监控。

将MySQL数据库和Redis缓存部署为主从架构的原因如下：

  1. 高可用性：主从复制可以提供故障容错能力，当主节点出现故障时，可以快速切换到从节点，保证服务的连续性和可用性。
  2. 读写分离：通过将读操作分发到从节点，可以减轻主节点的负载，提高数据库的读取性能。同时，从节点的复制过程对主节点的影响较小，不会对主节点的写入操作产生影响。

本文由 mdnice 多平台发布

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/101879.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

SpringBoot-学习笔记（基础）

SpringBoot-学习笔记（基础）

文章目录 1. 概念1.1 SpringBoot快速入门1.2 SpringBoot和Spring对比1.3 pom文件坐标介绍1.4 引导类1.5 修改配置1.6 读取配置1.6.1 读取配置信息1.6.2 读取配置信息并创建类进行封装 1.7 整合第三方技术1.7.1 整合JUnit1.7.1 整合Mybatis1.7.1 整合Mybatis-Plus1.7.1 整合Drui…
阅读更多...
SpringCloudAlibaba Gateway(三)-整合Sentinel功能路由维度、API维度进行流控

SpringCloudAlibaba Gateway(三)-整合Sentinel功能路由维度、API维度进行流控

Gateway整合Sentinel ​ 前面使用过Sentinel组件对服务提供者、服务消费者进行流控、限流等操作。除此之外，Sentinel还支持对Gateway、Zuul等主流网关进行限流。 ​ 自sentinel1.6.0版开始，Sentinel提供了Gateway的适配模块，能针对路由(rou…
阅读更多...
ARM编程模型-寄存器组

ARM编程模型-寄存器组

Cortex A系列ARM处理器共有40个32位寄存器,其中33个为通用寄存器,7个为状态寄存器。usr模式和sys模式共用同一组寄存器。 通用寄存器包括R0~R15,可以分为3类: 未分组寄存器R0~R7分组寄存器R8~R14、R13(SP) 、R14(LR)程序计数器PC(R15)、R8_fiq-R12_fir为快中断独有 在不同模…
阅读更多...
Go的数据结构-hashmap

Go的数据结构-hashmap

开放寻址法和拉链法 runtime.hamp bucket的数据结构 bucket的指针指向这里 map初始化：make 和字面量 make初始化 新建一个hamp结尾体，计算大B，创建一个桶数组 字面量初始化 map的并发解决 sync.map
阅读更多...
leetcode622-设计循环队列

leetcode622-设计循环队列

本题重点： 1. 选择合适的数据结构 2. 针对选择的数据结构判断“空”和“满” 这两点是不分先后次序的，在思考时应该被综合起来。事实上，无论我们选择链表还是数组，最终都能实现题中描述的“循环队列”的功能，只不过…
阅读更多...
HTTP协议概述

HTTP协议概述

HTTP 协议定义 HTTP协议，直译为超文本传输协议，是一种用于分布式、协作、超媒体的信息系统的应用协议。HTTP协议是万维网数据通信的基础。HTTP协议在客户端-服务器计算模型中充当请求-响应协议。客户端向服务器提交HTTP请求消息。服务器提供HTML文件和其…
阅读更多...
在springboot项目中显示Services面板的方法

在springboot项目中显示Services面板的方法

文章目录 前言方法一：Alt8快捷键方法二：使用Component标签总结 前言 在一个springboot项目中，通过开启Services面板，可以快速的启动、配置、管理多个子项目。 方法一：Alt8快捷键 1、在idea界面输入Alt8，在…
阅读更多...
IP网络广播系统有哪些优点

IP网络广播系统有哪些优点

IP网络广播系统有哪些优点 IP网络广播系统有哪些优点？ IP网络广播系统是基于 TCP/IP 协议的公共广播系统，采用 IP 局域网或 广域网作为数据传输平台，扩展了公共广播系统的应用范围。随着局域网络和 网络的发展 , 使网络广播的普及变为可能 …
阅读更多...
从零开始探索C语言（四）----循环

从零开始探索C语言（四）----循环

文章目录 1. C 循环1.1 while 循环1.2 for 循环1.3 do...1.4 嵌套循环 2. 循环控制语句2.1 break 语句2.2 continue 语句2.3 goto 语句 1. C 循环 有的时候，我们可能需要多次执行同一块代码。一般情况下，语句是按顺序执行的：函数中的第一个语…
阅读更多...
ELK安装、部署、调试（五）filebeat的安装与配置

ELK安装、部署、调试（五）filebeat的安装与配置

1.介绍 logstash 也可以收集日志，但是数据量大时太消耗系统新能。而filebeat是轻量级的，占用系统资源极少。 Filebeat 由两个主要组件组成：harvester 和 prospector。 采集器 harvester 的主要职责是读取单个文件的内容。读取每个文件&…
阅读更多...
软件测试Day5|软件测试理论03

软件测试Day5|软件测试理论03

白盒测试方法 针对程序的代码进行测试，代码覆盖率高；缺点：覆盖所有代码路径大、业务功能可能覆盖不全、测试开销大 静态方法：1）桌面检查（一个人检查）；2）代码审查&#…
阅读更多...
链表OJ练习（2）

链表OJ练习（2）

一、分割链表 题目介绍： 思路：创建两个链表，ghead尾插大于x的节点，lhead尾插小于x的节点。先遍历链表。最后将ghead尾插到lhead后面，将大小链表链接。 我们需要在创建两个链表指针，指向两个链表的头节点&…
阅读更多...
WebAssembly 在云原生中的实践指南

WebAssembly 在云原生中的实践指南

1 WebAssembly 介绍 WebAssembly（Wasm）是一种通用字节码技术，它可以将其他编程语言（如 Go、Rust、C/C 等）的程序代码编译为可在浏览器环境直接执行的字节码程序。 WebAssembly 的初衷之一是解决 JavaScript 的性能问…
阅读更多...
Nginx基础+高级（2022版）：待更新

Nginx基础+高级（2022版）：待更新

1. 文章说明 说明：目前讲的是第一部分nginx核心技术篇，后需篇章会以第一部分为核心技术篇为基础来展开深度讲解，详情关注后续课程的发布。 2. 介绍和准备环境 2.1 介绍 Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器&#xf…
阅读更多...
【QT】使用qml的QtWebEngine遇到的一些问题总结

【QT】使用qml的QtWebEngine遇到的一些问题总结

在使用qt官方的一些QML的QtWebEngine相关的例程的时候，有时在运行会报如下错误： WebEngineContext used before QtWebEngine::initialize() or OpenGL context creation failed 这个问题在main函数里面最前面加上： QCoreApplication::setAttr…
阅读更多...
元素居中的方法总结

元素居中的方法总结

目录 垂直居中 行内元素垂直居中 单行文本垂直居中 1.line-height: 200px; 多行文本垂直居中 1.tablevertical-align:middle 块级元素垂直居中 1.display: flex;align-items: center; 2.使用position top margin-top 水平居中 行内元素水平居中 1.text-align:cente…
阅读更多...
CUDA小白 - NPP(3) 图像处理 Color and Sampling Conversion

CUDA小白 - NPP(3) 图像处理 Color and Sampling Conversion

cuda小白 原始API链接 NPP GPU架构近些年也有不少的变化，具体的可以参考别的博主的介绍，都比较详细。还有一些cuda中的专有名词的含义，可以参考《详解CUDA的Context、Stream、Warp、SM、SP、Kernel、Block、Grid》 常见的NppStatus&#xf…
阅读更多...
说说TIME_WAIT和CLOSE_WAIT区别

说说TIME_WAIT和CLOSE_WAIT区别

分析&回答 TCP协议规定，对于已经建立的连接，网络双方要进行四次握手才能成功断开连接，如果缺少了其中某个步骤，将会使连接处于假死状态，连接本身占用的资源不会被释放。网络服务器程序要同时管理大量连接&#xf…
阅读更多...
【ES6】—类与继承

【ES6】—类与继承

一、 定义类 class People {constructor (name, age) {this.name namethis.age age}showName () {console.log(this.name)} } let p1 new People(xiaoxiao, 30) console.log(p1) // People {name: xiaoxiao, age: 30}小节： 使用class关键字声明类使用construc…
阅读更多...
查看GPU占用率

查看GPU占用率

如何监控NVIDIA GPU 的运行状态和使用情况_nvidia 85c_LiBiGo的博客-CSDN博客设备跟踪和管理正成为机器学习工程的中心焦点。这个任务的核心是在模型训练过程中跟踪和报告gpu的使用效率。有效的GPU监控可以帮助我们配置一些非常重要的超参数，例如批大小，…
阅读更多...
最新文章

Copyright @ 2022~2023