微服务-理论(CAP,一致性协议)

CAP理论

关于CAP理论的介绍可以直接看这篇文章

CAP分别是什么?

一致性(Consistency
一致性包括强一致性,弱一致性,最终一致性。
一致性其实是指数据的一致性,为什么数据会不一致呢?
在这里插入图片描述

如上面这张图,我们服务是以集群的方式向外提供服务,客户端并不会关心我这次请求到了那个节点。如果我第一次请求到了A节点做了更新数据的操作,但是第二次我的请求被转发到B节点了。如果这个时候服务A和服务B的数据还没有进行同步,这个时候数据就不一致了,事实上我们也很难做到服务A的数据发生变化就可以立即传给B进行同步,特别是在请求特别频繁的情况下。因此要根据实际场景去判断是否一定要保证强一致性。例如涉及金钱和库存的这种服务集群肯定是要保证强一致性的。又例如点赞量和播放量或者访问量,这些并不需要实时一致,保证最终一致即可。

可用性(Availability)
其实就是不管数据正不正确,只要用户来请求,就返回给用户数据。
在我们说一致性的时候,如果去保证强一致性,这个时候客户端如果请求到达了B是不能对外提供服务的,因为一旦提供服务这个数据还是老的数据,就产生了数据的不一致性。但是如果不提供服务的话,那这个服务节点岂不是不可以用了吗?那就是没有保障可用性呀。所以我们也可以看到,一致性和可用性之间是需要做一定妥协的。

分区容错性(Partition tolerance)

1 分区
什么是分区,分布式系统分布在多个子网络中。分布式系统的服务节点可能由于网络原因,或者其它因素不能相互通信。这种情况就叫产生了分区。
在这里插入图片描述

2 什么是分区容忍?
因为产生分区这种情况一般来说是无法避免的,我们不能完全保证两个服务节点能够完全互通,不产生任何异常。

总结下来就是在一个分布式系统中,这个P分区是一定存在的。我们需要根据业务场景来做C和A的一些取舍。

常见组件保证的模式

  • Nacos 保证了AP + CP
  • Zookeeper 保证了CP
  • Eureka 保证了AP

Distro 一致性协议(临时节点协议)

原文链接
distro协议网上的资料比较少,因为它是阿里“自创的协议“,通过源码总结一下distro协议的关键点:
distro协议是为了注册中心而创造出的协议;
客户端与服务端有两个重要的交互,服务注册与心跳发送;
客户端以服务为维度向服务端注册,注册后每隔一段时间向服务端发送一次心跳,心跳包需要带上注册服务的全部信息,在客户端看来,服务端节点对等,所以请求的节点是随机的;
客户端请求失败则换一个节点重新发送请求;
服务端节点都存储所有数据,但每个节点只负责其中一部分服务,在接收到客户端的“写“(注册、心跳、下线等)请求后,服务端节点判断请求的服务是否为自己负责,如果是,则处理,否则交由负责的节点处理;
每个服务端节点主动发送健康检查到其他节点,响应的节点被该节点视为健康节点;
服务端在接收到客户端的服务心跳后,如果该服务不存在,则将该心跳请求当做注册请求来处理;
服务端如果长时间未收到客户端心跳,则下线该服务;
负责的节点在接收到服务注册、服务心跳等写请求后将数据写入后即返回,后台异步地将数据同步给其他节点;
节点在收到读请求后直接从本机获取后返回,无论数据是否为最新。
新节点同步机制:
DistroProtocol#startDistroTask

private void startDistroTask() {
    if (EnvUtil.getStandaloneMode()) {
        isInitialized = true;
        return;
    }
    // 健康检查
    startVerifyTask();
    // 开始加载
    startLoadTask();
}

平等机制:
Nacos 的每个节点是平等的,都可以处理写的请求
异步复制机制:
DistroProtocol#sync

public void sync(DistroKey distroKey, DataOperation action) {
     sync(distroKey, action, DistroConfig.getInstance().getSyncDelayMillis());
 }

健康检查机制:
DistroProtocol#startDistroTask

private void startVerifyTask() {
    GlobalExecutor.schedulePartitionDataTimedSync(new DistroVerifyTimedTask(memberManager, distroComponentHolder,
                    distroTaskEngineHolder.getExecuteWorkersManager()),
            DistroConfig.getInstance().getVerifyIntervalMillis());
}

本地读机制(每个节点拥有全量的数据):
但是写处理,是只有一部分数据,也就是有个数据拆分,分而治之的机制。
InstanceController#list

/**
  * Get all instance of input service.
  *
  * @param request http request
  * @return list of instance
  * @throws Exception any error during list
  */
 @GetMapping("/list")
 @Secured(action = ActionTypes.READ)
 public Object list(HttpServletRequest request) throws Exception {}

路由转发机制:
DistroFilter#doFilter

if (distroMapper.responsible(distroTag)) {
     filterChain.doFilter(req, resp);
     return;
 }

在这里插入图片描述

Raft 一致性协议(持久化节点协议)

该协议主要是发起选举,选举后如何同步数据。一个节点起来了以后,会发起投票,如果集群过半数据认可这个节点则这个节点为leader,成为leader后与其它节点建立联系。
V1版本的选举与同步

try {
     if (stopWork) {
         return;
     }
     if (!peers.isReady()) {
         return;
     }
     
     RaftPeer local = peers.local();
     local.leaderDueMs -= GlobalExecutor.TICK_PERIOD_MS;
     
     if (local.leaderDueMs > 0) {
         return;
     }
     // 来到这里以后已经和Master失联了
     // reset timeout
     local.resetLeaderDue();
     local.resetHeartbeatDue();
     // 发起投票,里面会向其它节点发起异步请求
     sendVote();
 } catch (Exception e) {
     Loggers.RAFT.warn("[RAFT] error while master election {}", e);
 }
// 过半
if (maxApproveCount >= majorityCount()) {
    RaftPeer peer = peers.get(maxApprovePeer);
    peer.state = RaftPeer.State.LEADER;
    if (!Objects.equals(leader, peer)) {
        leader = peer;
        ApplicationUtils.publishEvent(new LeaderElectFinishedEvent(this, leader, local()));
        Loggers.RAFT.info("{} has become the LEADER", leader.ip);
    }
}

// 处理心跳
try {
     if (stopWork) {
         return;
     }
     if (!peers.isReady()) {
         return;
     }
     RaftPeer local = peers.local();
     local.heartbeatDueMs -= GlobalExecutor.TICK_PERIOD_MS;
     if (local.heartbeatDueMs > 0) {
         return;
     }
     local.resetHeartbeatDue();
     sendBeat();
 } catch (Exception e) {
     Loggers.RAFT.warn("[RAFT] error while sending beat {}", e);
 }

V2版本的选举与同步
涉及源码
com.alibaba.nacos.naming.consistency.DelegateConsistencyServiceImpl
com.alibaba.nacos.naming.consistency.persistent.PersistentConsistencyServiceDelegateImpl#PersistentConsistencyServiceDelegateImpl
com.alibaba.nacos.naming.consistency.persistent.impl.PersistentServiceProcessor#afterConstruct
com.alibaba.nacos.core.distributed.raft.JRaftProtocol#addRequestProcessors
com.alibaba.nacos.core.distributed.raft.JRaftServer#createMultiRaftGroup
com.alipay.sofa.jraft.RaftGroupService#start(boolean)
com.alipay.sofa.jraft.RaftServiceFactory#createAndInitRaftNode
com.alipay.sofa.jraft.core.NodeImpl#init
com.alipay.sofa.jraft.core.NodeImpl#electSelf
com.alipay.sofa.jraft.core.NodeImpl#becomeLeader
同步
com.alipay.sofa.jraft.ReplicatorGroup#addReplicator(com.alipay.sofa.jraft.entity.PeerId)
部分源码

private BasePersistentServiceProcessor createNewPersistentServiceProcessor(ProtocolManager protocolManager,
           ClusterVersionJudgement versionJudgement) throws Exception {
       final BasePersistentServiceProcessor processor =
               EnvUtil.getStandaloneMode() ? new StandalonePersistentServiceProcessor(versionJudgement)
                       : new PersistentServiceProcessor(protocolManager, versionJudgement);
       processor.afterConstruct();
       return processor;
   }

PersistentServiceProcessor#afterConstruct

@Override
public void afterConstruct() {
   super.afterConstruct();
   String raftGroup = Constants.NAMING_PERSISTENT_SERVICE_GROUP;
   this.protocol.protocolMetaData().subscribe(raftGroup, MetadataKey.LEADER_META_DATA, o -> {
       if (!(o instanceof ProtocolMetaData.ValueItem)) {
           return;
       }
       Object leader = ((ProtocolMetaData.ValueItem) o).getData();
       hasLeader = StringUtils.isNotBlank(String.valueOf(leader));
       Loggers.RAFT.info("Raft group {} has leader {}", raftGroup, leader);
   });
   this.protocol.addRequestProcessors(Collections.singletonList(this));
   // If you choose to use the new RAFT protocol directly, there will be no compatible logical execution
   if (EnvUtil.getProperty(Constants.NACOS_NAMING_USE_NEW_RAFT_FIRST, Boolean.class, false)) {
       NotifyCenter.registerSubscriber(notifier);
       waitLeader();
       startNotify = true;
   }
}

JRaft

public void init(RaftConfig config) {
    if (initialized.compareAndSet(false, true)) {
        this.raftConfig = config;
        NotifyCenter.registerToSharePublisher(RaftEvent.class);
        this.raftServer.init(this.raftConfig);
        this.raftServer.start();
        
        // There is only one consumer to ensure that the internal consumption
        // is sequential and there is no concurrent competition
        NotifyCenter.registerSubscriber(new Subscriber<RaftEvent>() {
            @Override
            public void onEvent(RaftEvent event) {
                Loggers.RAFT.info("This Raft event changes : {}", event);
                final String groupId = event.getGroupId();
                Map<String, Map<String, Object>> value = new HashMap<>();
                Map<String, Object> properties = new HashMap<>();
                final String leader = event.getLeader();
                final Long term = event.getTerm();
                final List<String> raftClusterInfo = event.getRaftClusterInfo();
                final String errMsg = event.getErrMsg();
                
                // Leader information needs to be selectively updated. If it is valid data,
                // the information in the protocol metadata is updated.
                MapUtil.putIfValNoEmpty(properties, MetadataKey.LEADER_META_DATA, leader);
                MapUtil.putIfValNoNull(properties, MetadataKey.TERM_META_DATA, term);
                MapUtil.putIfValNoEmpty(properties, MetadataKey.RAFT_GROUP_MEMBER, raftClusterInfo);
                MapUtil.putIfValNoEmpty(properties, MetadataKey.ERR_MSG, errMsg);
                
                value.put(groupId, properties);
                metaData.load(value);
                
                // The metadata information is injected into the metadata information of the node
                injectProtocolMetaData(metaData);
            }
            
            @Override
            public Class<? extends Event> subscribeType() {
                return RaftEvent.class;
            }
            
        });
    }
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/286777.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

R语言——reshape2包、tidyr包、dplyr包(五)

目录 一、数据转换之reshape2包&#xff1a;melt与dcast函数 二、数据转换之tidyr包&#xff1a;gather与spread函数&#xff0c;separate与unite函数 三、据转换之dplyr包 四、参考 一、数据转换之reshape2包&#xff1a;melt与dcast函数 merge 函数 使用merge函数 x &l…

每日一练:LeeCode-739. 每日温度(中)【单调栈】

本文是力扣LeeCode-739. 每日温度&#xff08;中&#xff09; 学习与理解过程&#xff0c;本文仅做学习之用&#xff0c;对本题感兴趣的小伙伴可以出门左拐LeeCode。 给定一个整数数组 temperatures &#xff0c;表示每天的温度&#xff0c;返回一个数组 answer &#xff0c;其…

SQL Server 备份和还原

CSDN 成就一亿技术人&#xff01; 难度指数&#xff1a;* CSDN 成就一亿技术人&#xff01; 目录 1. 备份 01. 为什么要备份&#xff1f; 02. 备份的类型 03. 备份实例 2. 还原 01. 还原类型 02. 删除数据库 03. 还原数据库 测试 04. 恢复失败的原因 1. 备份 01.…

冒泡排序-排序算法

前言 如果有6个人站成一排&#xff0c;要将他们按从矮到高的顺序排列。你可能有多种方式来完成。但是如果其中有一个人特别高&#xff0c;比他身边的人高&#xff0c;在队伍中特别明显&#xff0c;你可以轻易看出那个最高的需要和身边的人交换位置&#xff0c;这是冒泡排序的核…

自然语言处理24-T5模型的介绍与训练过程,利用简单构造数据训练微调该模型,体验整个过程

大家好,我是微学AI,今天给大家介绍一下自然语言处理24-T5模型的介绍与训练过程,利用简单构造数据训练微调该模型,体验整个过程。在大模型ChatGPT发布之前,NLP领域是BERT,T5模型为主导,T5(Text-to-Text Transfer Transformer)是一种由Google Brain团队在2019年提出的自然…

iOS 小组件开发

iOS14之后Apple引入了新的WidgetKit&#xff0c;舍弃了原有额TodayExtension。 开发准备&#xff1a; 新的WidgetExtension只能通过SwiftUI进行开发&#xff1b; Widget有三种尺寸&#xff1a;systemSmall、 systemMedium、systemLarge&#xff0c;三种尺寸对应固定的UI类型布…

简易机器学习笔记(六)不同优化算法器

前言 我们之前不是说了有关梯度下降公式的事嘛&#xff0c;就是那个 这样梯度下降公式涉及两个问题&#xff0c;一是梯度下降的策略&#xff0c;二是涉及到参数的选择&#xff0c;如果我们选择固定步长的时候&#xff0c;就会发现我们求的值一直在最小值左右震荡&#xff0c…

java 开源中文的繁简体转换工具 opencc4j-01-overview

Opencc4j Opencc4j 支持中文繁简体转换&#xff0c;考虑到词组级别。 拓展阅读 pinyin 汉字转拼音 pinyin2hanzi 拼音转汉字 segment 高性能中文分词 opencc4j 中文繁简体转换 nlp-hanzi-similar 汉字相似度 word-checker 拼写检测 sensitive-word 敏感词 Features 特…

视频融合云平台/智慧监控平台EassyCVR告警警告出错是什么原因?该如何解决?

视频集中存储/云存储/视频监控管理平台EasyCVR能在复杂的网络环境中&#xff0c;将分散的各类视频资源进行统一汇聚、整合、集中管理&#xff0c;实现视频资源的鉴权管理、按需调阅、全网分发、智能分析等。AI智能/大数据视频分析EasyCVR平台已经广泛应用在工地、工厂、园区、楼…

快速打通 Vue 3(一):基本介绍与组合式 API

很激动进入了 Vue 3 的学习&#xff0c;作为一个已经上线了三年多的框架&#xff0c;很多项目都开始使用 Vue 3 来编写了 这一组文章主要聚焦于 Vue 3 的新技术和新特性 如果想要学习基础的 Vue 语法可以看我专栏中的其他博客 Vue&#xff08;一&#xff09;&#xff1a;Vue 入…

数据库攻防学习之Redis

Redis 0x01 redis学习 在渗透测试面试或者网络安全面试中可能会常问redis未授权等一些知识&#xff0c;那么什么是redis&#xff1f;redis就是个数据库&#xff0c;常见端口为6379&#xff0c;常见漏洞为未授权访问。 0x02 环境搭建 这里可以自己搭建一个redis环境&#xf…

VS2022 Android NativeActivity 开发指南

几年前最初使用VS时&#xff0c;记得是有Android NativeActivity的&#xff0c;今天更新到了2022最新版&#xff0c;发现找不到这个创建选项。 然后确保安装了C 跨平台开发工具后&#xff0c;开始排查原因。 Visual Studio 2022 中没有“本机活动应用程序” - android - SO中…

AndroidStudio导入程序、项目(教程)

目录 1. 首先解压压缩包&#xff0c;转为文件夹 2. 打开解压好的项目文件夹&#xff0c;删除.gradle和.idea这两个文件 3. 修改bulid.gradle文件&#xff0c;将gradle的版本型号改成自己的 (1) 传统结构 (2) 简洁结构 4. 打开android stdio软件&#xff0c;导入已经修改好…

STM32 学习(二)GPIO

目录 一、GPIO 简介 1.1 GPIO 基本结构 1.2 GPIO 位结构 1.3 GPIO 工作模式 二、GPIO 输出 三、GPIO 输入 1.1 传感器模块 1.2 开关 一、GPIO 简介 GPIO&#xff08;General Purpose Input Output&#xff09;即通用输入输出口。 1.1 GPIO 基本结构 如下图&#xff0…

Docker(八)Python+旧版本chrome+selenium+oss2+fastapi镜像制作

目录 一、背景二、能力三、核心流程图四、制作镜像1.资源清单2.Dockerfile3.制作镜像 五、启动测试 一、背景 近几年我们线下的创业团队已从零到一开发过好几个小程序项目&#xff0c;都是和体育相关。其中生成海报分享图片好像都是不可或缺的功能。之前的项目老板给的时间都比…

STM32MP157D-DK1 Qt程序交叉编译与运行测试

上篇文章介绍了STM32MP157D-DK1开发板Qt镜像的构建&#xff0c;通过在Ubuntu中重新编译带有Qt功能的系统来实现。 本篇在上篇的基础上&#xff0c;继续搭建Qt的交叉编译环境&#xff0c;实现Qt程序在Ubuntu中编译&#xff0c;在STM32MP157板子中运行。 1 编译安装SDK 在上篇…

dyld: Library not loaded: /usr/lib/swift/libswiftCoreGraphics.dylib

更新Xcode14后低版本iPhone调试报错 dyld: Library not loaded: /usr/lib/swift/libswiftCoreGraphics.dylib Referenced from: /var/containers/Bundle/Application/…/….app/… Reason: image not found 这是缺少libswiftCoreGraphics库 直接导入libswiftCoreGraphics库即…

数据库云平台新数科技完成B轮融资,打造全链路智能化数据库云平台

数据库云平台软件厂商「北京新数科技有限公司」&#xff08;以下简称「新数科技」&#xff09;已于2023年完成B1轮和B2轮融资&#xff0c;分别由渤海创富和彬复资本投资&#xff1b;义柏资本担任本轮融资独家财务顾问。 新数科技成立于2014年&#xff0c;当前产品矩阵包括数据库…

经典卷积神经网络-VGGNet

经典卷积神经网络-VGGNet 一、背景介绍 VGG是Oxford的Visual Geometry Group的组提出的。该网络是在ILSVRC 2014上的相关工作&#xff0c;主要工作是证明了增加网络的深度能够在一定程度上影响网络最终的性能。VGG有两种结构&#xff0c;分别是VGG16和VGG19&#xff0c;两者并…

@EnableXXX注解+@Import轻松实现SpringBoot的模块装配

文章目录 前言原生手动装配模块装配概述模块装配的四种方式准备工作声明自定义注解 导入普通类导入配置类导入ImportSelector导入ImportBeanDefinitionRegistrar 总结TODO后续--条件装配 前言 最早我们开始学习或接触过 SSH 或者 SSM 的框架整合&#xff0c;大家应该还记得那些…