总结

文章目录

  • 1. GateWay:10010
  • 2. Docker
  • 3. ES:海量数据的存储、搜索、计算
    • 3.1 数据搜索
    • 3.2 数据同步
  • 4. 微服务保护:Sentinel
  • 4. 分布式事务:(二阶段提交)
  • 5. Redis
  • 6. 多级缓存

1. GateWay:10010

在这里插入图片描述

2. Docker

镜像:将代码打包成镜像,镜像中就包含程序所依赖的全部东西
容器:其实就是运行的镜像,读到内存运行起来就是容器

镜像操作:
在这里插入图片描述

容器操作:
在这里插入图片描述

容器数据管理:数据卷
容器与数据分离,数据卷是一个虚拟目录,指向宿主机文件系统中的某个目录。

Docker-Compose:将多个docker run命令写到一个文件,开启多个容器

3. ES:海量数据的存储、搜索、计算

倒排索引:存词条(因为词条有唯一性,像 Hash这样的结构就可以存储),词条对应的文档 id,根据文档 id 到 数据库找到具体信息。
在这里插入图片描述

为什么这么快?
虽然要先查询倒排索引,再查询对应的正排索引,但是无论是词条、还是文档id都建立了索引,查询速度非常快!无需全表扫描

基本操作有:索引库操作、文档操作。原理:根据我们要存的东西的结构创建索引库,创建好之和就可以在索引库操作文档,比如新增、删除、修改等。

索引库操作有哪些?

  • 创建索引库:PUT /索引库名
  • 查询索引库:GET /索引库名
  • 删除索引库:DELETE /索引库名
  • 添加字段:PUT /索引库名/_mapping

文档操作:

  • 创建文档:POST /{索引库名}/_doc/文档id { json文档 }
  • 查询文档:GET /{索引库名}/_doc/文档id
  • 删除文档:DELETE /{索引库名}/_doc/文档id
  • 修改文档:
    • 全量修改:PUT /{索引库名}/_doc/文档id { json文档 }
    • 增量修改:POST /{索引库名}/_update/文档id { “doc”: {字段}}

使用RestHighLevelClient操作ES:

文档操作的基本步骤:

初始化RestHighLevelClient
创建XxxRequest。XXX是Index、Get、Update、Delete、Bulk
准备参数(Index、Update、Bulk时需要)
发送请求。调用RestHighLevelClient#.xxx()方法,xxx是index、get、update、delete、bulk
解析结果(Get时需要)

3.1 数据搜索

  • query:查询条件
  • from和size:分页条件
  • sort:排序条件
  • highlight:高亮条件

用ES实现搜索:(用户可以给一些限制搜索的条件、我身边的*********** 、搜出来结果的排序)
用户可以输入想搜索的内容,对用户搜索的用全文检索;当用户对搜索的内容限制时:城市、价格,使用复合查询(布尔查询);用户想实现我身边的**:添加距离排序;酒店竞价排名:有些酒店花钱了做广告,要让这些酒店先展示:给酒店添加一个字段用来标识是不是广告,使用复合查询(得分查询),filter用来选出这些打广告的酒店,选择算分函数和加权方式,让其得分变大。还可以:搜索框自动补齐

3.2 数据同步

同步调用
异步通知 MQ
监听binlog Canal

4. 微服务保护:Sentinel

解决服务雪崩问题的解决办法:

  • 流量控制 ---------- 预防措施

    • 以下为对资源的限流(接口)
    • 直接:统计当前资源的请求,触发阈值时对当前资源直接限流,也是默认的模式
    • 关联:统计与当前资源相关的另一个资源,触发阈值时,对当前资源限流
      • 使用场景:比如用户支付时需要修改订单状态,同时用户要查询订单。查询和修改操作会争抢数据库锁,产生竞争。业务需求是优先支付和更新订单的业务,因此当修改订单业务触发阈值时,需要对查询订单业务限流。
    • 链路:统计从指定链路访问到本资源的请求,触发阈值时,对指定链路限流
    • 热点参数的限流(秒杀商品)
  • 隔离和降级 ------将故障控制在一定范围,都是保护的调用方

    • 说明:微服务远程调用都是基于Feign来完成的,因此需要将Feign与Sentinel整合,在Feign里面实现线程隔离和服务熔断。
    • 隔离:setinel采用的基于信号量的隔离,用计算器来计数,超过时就限流
    • 降级:断路器统计服务调用的异常比例慢请求比例,如果超出阈值则会熔断该服务,走降级逻辑。它是通过断路器实现的(打开、关闭、半开),打开状态就是熔断了,关闭状态就可以正常请求,半开状态是熔断后出现的,之后隔几秒再尝试放行,看看断路器用不用关闭。

4. 分布式事务:(二阶段提交)

TCC空回滚和事务悬挂
try阶段阻塞时,可能导致全局事务超时而触发二阶段的cancel操作。在未执行try操作时先执行了cancel操作,这时cancel不能做回滚,就是空回滚

对于已经空回滚的业务,之前被阻塞的try操作恢复,继续执行try,就永远不可能confirm或cancel ,事务一直处于中间状态,这就是业务悬挂

业务悬挂解决办法:执行try操作时,应当判断cancel是否已经执行过了,如果已经执行,应当阻止此次try操作,避免悬挂

5. Redis

什么时候执行RDB:

  • 执行save命令
  • 执行bgsave命令
    • fork采用的是copy-on-write技术,当主进程执行读操作时,访问共享内存,当主进程执行写操作时,则会拷贝一份数据,执行写操作。
  • Redis停机时
  • 触发RDB条件时:在 redis.conf 中可以配置

AOF:文件追加的方式,记录的是一个一个命令,可能涉及到Rewrite机制,AOF文件比RDB文件大的多

主从第一次建立连接时,采用RDB持久化进行全量同步,master判断一个节点是否是第一次同步的依据,就是看replid是否一致。


什么时候执行全量同步?
slave节点第一次连接master节点时
slave节点断开时间太久,repl_baklog中的offset已经被覆盖时

故障转移选新的master:其实就是执行slaveof no one ,其他slave执行slaveof 自己

6. 多级缓存

参考多级缓存篇:https://blog.csdn.net/qq_51240148/article/details/133556865
在这里插入图片描述
首先用户发一个请求,先经过Nginx(此处Nginx作为静态资源服务器与反向代理服务器)返回一个静态资源,经过浏览器渲染给呈现出来,但是上面的数据都是假的,此时前端会发一些ajax请求后端数据,先吧请求发送给Nginx,因为Nginx中有本地缓存,所以还是将请求路由(这里类似于redis的槽),确保同一个请求路由到同一个Nginx服务器,当Nginx接收到请求时,首先会查看本地缓存有没有,没有的话先在redis缓存中找,当redis中也没有的话才访问Tomcat,此时Tomcat会先在JVM进程缓存中去找,再没有的话才去数据库查,然后针对缓存同步来说的话,用canal监听mysql的binlog日志,其实canal就是伪装成一个slave节点,当监听到binlog变换时,通知给java客户端,然后在程序中进行缓存同步的操作。其实canal在代码中的话就是实现EntryHandler<>这个接口重写里面的insert、update、delete方法,将redis和jvm进程缓存进行更新操作。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/469434.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【工具】Mermaid + 大模型画流程图

&#x1f308;个人主页: 鑫宝Code &#x1f525;热门专栏: 闲话杂谈&#xff5c; 炫酷HTML | JavaScript基础 ​&#x1f4ab;个人格言: "如无必要&#xff0c;勿增实体" 文章目录 引入使用画TCP三次握手了解历史人物 总结 引入 最近看面试文章关于TCP三次握手和…

【数据结构】链表力扣刷题详解

前言 题目链接 移除链表元素 链表的中间结点 反转链表 分割链表 环形链表的约瑟夫问题 ​ 欢迎关注个人主页&#xff1a;逸狼 创造不易&#xff0c;可以点点赞吗~ 如有错误&#xff0c;欢迎指出~ 移除链表元素 题述 给你一个链表的头节点 head 和一个整数 val &#xff0c;请…

基于python的在线学习与推荐系统

技术&#xff1a;pythonmysqlvue 一、系统背景 当前社会各行业领域竞争压力非常大&#xff0c;随着当前时代的信息化&#xff0c;科学化发展&#xff0c;让社会各行业领域都争相使用新的信息技术&#xff0c;对行业内的各种相关数据进行科学化&#xff0c;规范化管理。这样的大…

大模型知识库

一种利用 langchain 思想实现的基于本地知识库的问答应用&#xff0c;目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。 1. 下载Langchain-chatchat git clone https://github.com/chatchat-space/Langchain-Chatchat/ 2. 下载大模型和embe…

从零开始学习在VUE3中使用canvas(一):实现一个基础的canvas画布

一、步骤 1.写一个canvas元素 2.获取虚拟dom 3.获取绘制环境 4.绘制想要的效果 5.在挂载后执行 二、代码 <template><div class"canvasPage"><!-- 写一个canvas标签 --><canvas class"main" ref"main"></canv…

StringTable(字符串常量池)

目录 String的基本特性 String的内存分配 字符串拼接操作 intern()的使用 String的基本特性 String&#xff1a;字符串&#xff0c;使用一对""引起来表示 String声明为final的&#xff0c;不可被继承 String实现了Serializable接口&#xff1a;表示字符串是支持…

Docker可视化容器管理工具(Portainer)

一、简介 Portainer 是 Docker 的轻量级&#xff0c;跨平台和开源管理 UI。Portainer 提供了 Docker 的详细概述&#xff0c;并允许您通过基于 Web 的简单仪表板管理容器&#xff0c;镜像&#xff0c;网络和卷。支持 GNU/Linux&#xff0c;Windows 和 Mac。 官网地址&#xf…

Python爬虫之Scrapy框架系列(24)——分布式爬虫scrapy_redis完整实战【XXTop250完整爬取】

目录&#xff1a; 每篇前言&#xff1a;1.使用分布式爬取豆瓣电影信息&#xff08;1&#xff09;settings.py文件中的配置&#xff1a;&#xff08;2&#xff09;spider文件的更改&#xff1a;&#xff08;3&#xff09;items.py文件&#xff08;两个项目一致&#xff01;&…

c语言(数据在内存中的存储)

1. 整数在内存中的存储 整数的2进制表⽰⽅法有三种&#xff0c;即原码、反码和补码 三种表⽰⽅法均有符号位和数值位两部分&#xff0c;符号位都是⽤0表⽰“正”&#xff0c;⽤1表⽰“负”&#xff0c;⽽数值位最 ⾼位的⼀位是被当做符号位&#xff0c;剩余的都是数值位。 正整…

手写简易操作系统(十二)--实现时钟中断

前情提要 前面我们开启了中断&#xff0c;但是这些中断都对应着一个通用的中断处理函数&#xff0c;而且几乎都是处理器触发的中断&#xff0c;没有我们的外设中断&#xff0c;虽然我们提前预留了这些接口。 现在我们实现一个时钟中断 一、可编程计数器8253 计算机中的时钟…

基于SpringBoot+MyBatis-Plus的图书管理系统

基于SpringBoot的图书管理系统 图书管理系统开发技术功能模块代码结构数据库设计运行截图源码获取 图书管理系统 开发技术 技术&#xff1a;SpringBoot、MyBatis-Plus、MySQL、Beetl、Layui。 框架&#xff1a;基于开源框架Snowy-Layui开发。 工具&#xff1a;IDEA、Navicat等…

2078: [蓝桥杯2023初赛] 01 串的熵

对于一个长度为 n 的 01 串 S x1x2x3...xn. 香农信息熵的定义为&#xff1a; 。 其中 p(0), p(1) 表示在这个 01 串中 0 和 1 出现的占比。 比如&#xff0c;对于S 100 来说&#xff0c;信息熵 H(S ) - 1/3 log2(1/3) - 2/3 log2(2/3) - 2/3 log2(2/3) 1.3083。 对于一个…

QT--信号和槽机制

信号槽 信号槽是 Qt 框架引以为豪的机制之一。所谓信号槽&#xff0c;实际就是观察者模式。当某个事件发生之后&#xff0c;比如&#xff0c;按钮检测到自己被点击了一下&#xff0c;它就会发出一个信号(signal)。这种发出是没有目的的&#xff0c;类似广播。如果有对象对这个…

选择排序算法(Selection Sort)原理及实现

选择排序算法&#xff0c;运行效率不高&#xff0c;但是非常容易理解&#xff0c;算法复杂度为 。 原理&#xff1a; 假设要排序的数组的长度为n&#xff0c;将数组先分为两个部分&#xff0c;一个是有序区域部分&#xff0c;另一个为无序区域部分。初始时有序部分中没有元素…

Python学习:注释和运算符

python 注释 在Python中&#xff0c;注释用于在代码中添加解释、说明或者提醒&#xff0c;但并不会被解释器执行。Python中的注释以#开头&#xff0c;直到行末为止。下面是关于Python注释的详细解释和举例&#xff1a; 单行注释&#xff1a;使用#符号在行的开头添加注释&…

十四届蓝桥杯 冶炼金属(二分 / 公式)

二分代码1&#xff1a; #include<iostream> #include<cstdio> #include<cmath> using namespace std;int get(int a, int b){int l1;r1e91;while(l<r){int mid lr >>1;if(a / mid < b){r mid;}else l mid 1;}return l; } int main() {int n…

为什么技术人员副业赚钱那么难?

公众号&#xff1a;小北技术圈。 34岁老程序员&#xff0c;长期探索副业项目&#xff0c;写过IDEA插件&#xff0c;搞过工具导航&#xff0c;做过出海网站&#xff0c;运营过自媒体。欢迎提前探索35岁程序员的第二赛道。 每周分享干货内容。寻找100个技术人员&#xff0c;聚在…

2000-2021年各省研发强度数据(原始数据+计算结果)(无缺失)

2000-2021年各省研发强度数据&#xff08;原始数据计算结果&#xff09;&#xff08;无缺失&#xff09; 1、时间&#xff1a;2000-2021年 2、指标&#xff1a;RD经费内部支出&#xff08;万元&#xff09;、国内生产总值、研发强度 3、范围&#xff1a;31省 4、来源&#…

人工智能技术应用笔记(九):大道至简!提示词学习入门,看这一篇就够了!

本篇为《人工智能技术应用》专栏的第九篇。希望以学习笔记的形式和大家一起了解和探索人工智能技术的实际应用。 现在关于提示词的武功秘笈已经多如牛毛&#xff0c;但是我相信这个就像练功一样&#xff0c;练到最后总是化繁为简&#xff0c;一招制胜&#xff01; 今天想说的这…

03python注释与输入函数

Python 注释的作用: 注释可用于解释 Python 代码。 注释可用于提高代码的可读性。 在测试代码时,可以使用注释来阻止执行。 注释可以放在一行的末尾,Python 将忽略该行的其余部分: 实例1 print("Hello, World!") #打印输出Hello,World print(9-3) #输出9…