Mongodb复制集架构

目录

复制集架构

复制集优点

复制集模式

复制集搭建

复制集常用命令

复制集增删节点 

复制集选举

复制集同步

oplog分析

什么是oplog

查看oplog 

 oplog大小

复制集架构

复制集优点

  • 数据复制: 数据在Primary节点上进行写入，然后异步地复制到Secondary节点，确保数据冗余和高可用性。复制是通过Oplog（操作日志）来完成的，Secondary节点通过Oplog来复制Primary节点的操作。
  • 读写分离: 应用程序可以将读操作分发给Secondary节点，实现读写分离，从而提高读取性能。
  • 故障自动转移: 当Primary节点不可用时，复制集会自动选择一个Secondary节点升级为Primary节点，以保持服务的可用性。

复制集模式

1. PSS模式(推荐)

PSS模式由一个主节点和两个备节点所组成，Primary+Secondary+Secondary。

此模式提供数据集的两个完整副本，如果主节点不可用，则新选举出备节点作为主节点并继续正常操作。旧的主节点在可用时重新加入复制集。

2. PSA

PSA模式由一个主节点、一个备节点和一个仲裁者节点组成，即Primary+Secondary+Arbiter

Arbiter节点不存储数据副本，也不提供业务的读写操作。Arbiter节点发生故障不影响业务，仅影响选举投票。此模式仅提供数据的一个完整副本，如果主节点不可用，则复制集将选择备节点作为主节点。

复制集搭建

1. 下载mongo安装包, 解压

wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-6.0.5.tgz
tar -zxvf mongodb-linux-x86_64-rhel70-6.0.5.tgz

2. 分别建db1,db2,db3三个目录, 存放conf配置文件以及数据, 编辑配置文件, 三个文件夹下面分别修改path,dbPath,port

vim ../data/db1/mongod.conf
systemLog:
  destination: file
  path: /home/kk/local/mongodb-linux-x86_64-rhel70-6.0.5/data/db1/mongod.log # log path
  logAppend: true
storage:   
  dbPath: /home/kk/local/mongodb-linux-x86_64-rhel70-6.0.5/data/db1 # data directory      
net:
  bindIp: 0.0.0.0
  port: 28017 # port
replication:
  replSetName: rs0  
processManagement:
  fork: true

3. 配置mongo环境变量, 方便后面启动

export PATH=/home/kk/local/mongodb-linux-x86_64-rhel70-6.0.5/bin:$PATH

4. 启动三个mongo实例

mongod -f ./data/db1/mongod.conf 
mongod -f ./data/db2/mongod.conf 
mongod -f ./data/db3/mongod.conf

5. 下载mongosh连接客户端

wget https://downloads.mongodb.com/compass/mongodb-mongosh-1.8.0.x86_64.rpm
yum install -y mongodb-mongosh-1.8.0.x86_64.rpm

6. 用mongosh连接, 并初始化复制集

# 连接客户端
mongosh --port 28017
# 初始化复制集
rs.initiate({
    _id: "rs0",
    members: [{
        _id: 0,
        host: "192.168.6.128:28017"
    },{
        _id: 1,
        host: "192.168.6.128:28018"
    },{
        _id: 2,
        host: "192.168.6.128:28019"
    }]
})

7. 验证集群状态, rs.status()

复制集常用命令

# 客户端执行
rs.help()

命令

描述

rs.add()

为复制集新增节点

rs.addArb()

为复制集新增一个 arbiter

rs.conf()

返回复制集配置信息

rs.freeze()

防止当前节点在一段时间内选举成为主节点

rs.help()

返回 replica set 的命令帮助

rs.initiate()

初始化一个新的复制集

rs.printReplicationInfo()

以主节点的视角返回复制的状态报告

rs.printSecondaryReplicationInfo()

以从节点的视角返回复制状态报告

rs.reconfig()

通过重新应用复制集配置来为复制集更新配置

rs.remove()

从复制集中移除一个节点

rs.secondaryOk()

为当前的连接设置 从节点可读

rs.status()

返回复制集状态信息。

rs.stepDown()  

让当前的 primary 变为从节点并触发 election

rs.syncFrom()

设置复制集节点从哪个节点处同步数据，将会覆盖默认选取逻辑

复制集增删节点 

1. 通过remove删除节点

# 1. 进入要删除的节点, 关闭该实例
db.shutdownServer()
# 2.连接主节点，执行remove
rs.remove("ip:port")

2. 通过reconfig, 修改节点

cfg = rs.conf()
cfg.members[0].host = "ip:port"
rs.reconfig(cfg)

复制集选举

MongoDB的复制集选举使用Raft算法（Raft Consensus Algorithm）来实现，选举成功的必要条件是大多数投票节点存活。

另外，MongoDB对raft协议添加了一些自己的扩展：

  • 支持chainingAllowed链式复制，即备节点不只是从主节点上同步数据，还可以选择一个离自己最近（心跳延时最小）的节点来复制数据。
  • 增加了预投票阶段，即preVote，这主要是用来避免网络分区时产生Term(任期)值激增的问题
  • 支持投票优先级，如果备节点发现自己的优先级比主节点高，则会主动发起投票并尝试成为新的主节点。

当复制集内存活的成员数量不足大多数时，整个复制集将无法选举出主节点，此时无法提供写服务，这些节点都将处于只读状态。此外，如果希望避免平票结果的产生，最好使用奇数个节点成员。在MongoDB复制集的实现中，对于平票问题提供了解决方案：

  • 为选举定时器增加少量的随机时间偏差，这样避免各个节点在同一时刻发起选举，提高成功率。
  • 使用仲裁者角色，该角色不做数据复制，也不承担读写业务，仅仅用来投票。

复制集同步

在复制集架构中，主节点与备节点之间是通过oplog来同步数据的，oplog是local库的一个集合，当主节点上的一个写操作完成后，会向oplog集合写入一条对应的日志，而从节点通过这个oplog不断拉取到新的日志，在本地进行回放以达到数据同步的目的。 

oplog分析

什么是oplog

  • MongoDB oplog 是 Local 库下的一个集合，用来保存写操作所产生的增量日志（类似于 MySQL 中 的 Binlog）。
  • 它是一个 Capped Collection（固定集合），即超出配置的最大值后，会自动删除最老的历史数据，MongoDB 针对 oplog 的删除有特殊优化，以提升删除效率。
  • 主节点产生新的 oplog数据，从节点通过复制 oplog 来保证和主节点的状态一致

查看oplog 

ts： 操作时间，当前timestamp + 计数器，计数器每秒都被重置

v：oplog版本信息

op：操作类型:

i：插⼊操作

u：更新操作

d：删除操作

c：执行命令（如createDatabase，dropDatabase）

n：空操作，特殊用途

ns：操作针对的集合

o：操作内容

o2：操作查询条件，仅update操作包含该字段

 oplog大小

oplog如果设置太小, 主从同步延迟严重时, 容易覆盖老的oplog, 造成数据丢失, 所以通常需要修改默认的oplog大小(默认90M)

# oplog大小修改为60g  
db.adminCommand({replSetResizeOplog: 1, size: 60000})
# 查看oplog大小
db.oplog.rs.stats().maxSize

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/255950.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

[ CTF ]【天格】战队WriteUp-第七届“强网杯”全国安全挑战赛

[ CTF ]【天格】战队WriteUp-第七届“强网杯”全国安全挑战赛

第七届“强网杯”全国安全挑战赛 2023.12.16~2023.12.17 文章目录 【Misc】Pyjail ! Its myFILTER !!!easyfuzz谍影重重2.0签到Pyjail ! Its myRevenge !!!server_8F6C72124774022B.py 问卷调查 【Reverse】ezre 【Web】happygame 【强网先锋】石头剪刀布TrieSpeedUpezreez_fmt…
阅读更多...
6TIM定时器

6TIM定时器

STM32的定时器功能众多，拥有基本定时功能，输出比较功能（如产生PWM波等），输入捕获（测量方波信号），读取正交编码器的波形。 1.中断原理 TIM定时器的基本功能是对输入的时钟进行计数&…
阅读更多...
@KafkaListener 注解配置多个 topic

@KafkaListener 注解配置多个 topic

见如下示例 主要见 KafkaListener 中 topics 属性的配置 其中 ${xxxx.topic1} 为从springBoot 配置文件中读取的属性值 KafkaListener(topics {"${xxxx.topic1}", "${xxxx.topic2}"}, groupId "${xxxx.groupId}",containerFactory "xxx…
阅读更多...
Redis一些常用的技术

Redis一些常用的技术

文章目录 第1关：Redis 事务与锁机制第2关：流水线第3关：发布订阅第4关：超时命令第5关：使用Lua语言 第1关：Redis 事务与锁机制 编程要求 根据提示，在右侧编辑器Begin-End补充代码，根据…
阅读更多...
最新AI创作系统ChatGPT系统源码+DALL-E3文生图+支持AI绘画+GPT语音对话功能

最新AI创作系统ChatGPT系统源码+DALL-E3文生图+支持AI绘画+GPT语音对话功能

一、AI创作系统 SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型国内AI全模型。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI…
阅读更多...
Rust与python联动进行多线程跑数据

Rust与python联动进行多线程跑数据

最近有个学弟想请教我联动多线程爬取数据的案例，看了以前的模版没有合适的，我就利用空闲时间，专门给他写了一段模版作为参考。这里遇到注意的是需要代理IP介入，才能让多线程爬取减少网站风控限制。 以下是一个使用 Rust 编写的爬虫…
阅读更多...
【NI-RIO入门】使用LabVIEW进行数据采集测量

【NI-RIO入门】使用LabVIEW进行数据采集测量

于ni kb摘录 选择合适的编程模式 CompactRIO系统具有至少两个用户可选模式。某些CompactRIO型号具有附加的用户可选模式，可以在实时NI-DAQmx中进行编程。请参考本文以判断您的CompactRIO是否能够使用实时NI-DAQmx。将目标添加到项目后，将提示您选择要使…
阅读更多...
函数torch.bincount( )的用法

函数torch.bincount( )的用法

torch.bincount()函数是PyTorch中的一个函数，用于计算一维整数张量中每个非负整数值出现的频次 函数的用法 ： torch.bincount(input, weightsNone, minlength0) → Tensor 参数： input：输入的一维整数张量weights（…
阅读更多...
2024免费mac苹果电脑系统电脑管家CleanMyMac X

2024免费mac苹果电脑系统电脑管家CleanMyMac X

macOS已经成为最受欢迎的桌面操作系统之一，它提供了直观、简洁的用户界面，使用户可以轻松使用和管理系统。macOS拥有丰富的应用程序生态系统；还可以与其他苹果产品和服务紧密协作，如iPhone、iPad，用户可以通过iCloud同…
阅读更多...
CompleteFuture与Future的比较

CompleteFuture与Future的比较

CompleteFuture的介绍CompleteFuture的特点CompleteFuture的应用场景CompletableFuture的优缺点Future的介绍Future的特点Future的应用场景Future的优缺点CompletableFuture和Future的区别CompletableFuture和Future的关联关系CompletableFuture和Future的使用示例CompletableF…
阅读更多...
基于点云去滤除灰尘的滤波算法调研

基于点云去滤除灰尘的滤波算法调研

背景 激光雷达在恶劣天气下会影响感知识别的精度，造成误差，将灰尘，雨雪误识别为障碍物，为了降低对灰尘的误检，因此调研相关的灰尘滤波算法。 方法1 反射强度滤波+半径异常值移除 Design of a LIOR-Based De-Dust Filter for LiDAR Sensors inOff-Road Vehicles 1 上文中…
阅读更多...
卷积神经网络的学习与实现

卷积神经网络的学习与实现

基于matlab的卷积神经网络(CNN)讲解及代码_matlab中如何查看cnn损失函数-CSDN博客 可以看到与BP神经网络相比，卷积神经网络更加的复杂，这里将会以cnn作为学习案例。 1.经典反向传播算法公式详细推导 这里引用经典反向传播算法公式详细推导_反向目标公…
阅读更多...
关联规则 FP-Growth算法

关联规则 FP-Growth算法

FP-Growth算法 FP-growth 算法思想 FP-growth算法是韩家炜老师在2000年提出的关联分析算法，它采取如下分治策略: 将提供频繁项集的数据库压缩到一棵频繁模式树 (FP-Tree)但仍保留项集关联信息。FP-growth算法是对Apriori方法的改进。生成一个频繁模式而不需要生成…
阅读更多...
SQLSERVER数据库主要状态和切换路径

SQLSERVER数据库主要状态和切换路径

前言 一个SQLSERVER数据库会处于很多种状态，例如 ONLINE 、RESTORING 、RECOVERING 、RECOVERY_PENDING 、SUSPECT、EMERGENCY 、OFFLINE等等。 只有在ONLINE的状态下，数据库才能被正常访问。 下图主要反映了数据库的主要状态之间的切换路径 下面说一…
阅读更多...
【MAC】M2 安装mysql

【MAC】M2 安装mysql

一、docker下载地址 下载地址 二、安装docker完成 三、安装mysql 一、拉取镜像 # 拉取镜像 docker pull mysql# 或者 docker pull mysql:latest# 以上两个命令是一致的，默认拉取的就是 latest 版本的# 我们还可以用下面的命令来查看可用版本： docker…
阅读更多...
数据结构(Chapter Two -02)—顺序表基本操作实现

数据结构(Chapter Two -02)—顺序表基本操作实现

在前一部分我们了解线性表和顺序表概念，如果有不清楚可以参考下面的博客： 数据结构(Chapter Two -01)—线性表及顺序表-CSDN博客 首先列出线性表的数据结构： #define MaxSize 50 //定义顺序表最大长度 typedef struct{ElemType data…
阅读更多...
HarmonyOS4.0从零开始的开发教程19HarmonyOS应用/元服务上架

HarmonyOS4.0从零开始的开发教程19HarmonyOS应用/元服务上架

HarmonyOS（十七）HarmonyOS应用/元服务上架 概述 当您开发、调试完HarmonyOS应用/元服务，就可以前往AppGallery Connect申请上架，华为审核通过后，用户即可在华为应用市场获取您的HarmonyOS应用/元服务。 HarmonyOS会…
阅读更多...
xxl-job 分布式调度学习笔记

xxl-job 分布式调度学习笔记

1.概述 1.1什么是任务调度 业务场景： 上午10点，下午2点发放一批优惠券 银行系统需要在信用卡到期还款日的前三天进行短信提醒 财务系统需要在每天凌晨0:10分结算前一天的财务数据，统计汇总 不同系统间的数据需要保持一致，这时…
阅读更多...
3.2 内容管理模块 - 课程分类、新增课程、修改课程

3.2 内容管理模块 - 课程分类、新增课程、修改课程

内容管理模块-课程分类、新增课程、修改课程 文章目录 内容管理模块-课程分类、新增课程、修改课程一、课程分类1.1 课程分类表1.2 查询树形结构1.2.1 表自连接1.2.2 SQL递归 1.3 Mapper1.4 Service1.5 Controller1.6 效果图 二、添加课程2.1 需求分析2.2 数据表2.2.1 课程基础…
阅读更多...
html之CSS的高级选择器应用

html之CSS的高级选择器应用

文章目录 一、CSS高级选择器有哪些呢？二、高级选择器的应用1、层次选择器后代选择器子选择器相邻兄弟选择器通用兄弟选择器 2、结构伪类选择器（不常用）3、属性选择器E[attr]E[attrval]E[attr^val]E[attr$val]E[attr*val] 一、CSS高级选择器有…
阅读更多...
最新文章

Copyright @ 2022~2023