MySQL主从复制过程,延迟高,解决应对策略

MySQL主从复制延迟高是常见的性能问题,通常由主库写入压力大、从库处理能力不足或配置不当导致。以下从原因定位优化策略高级解决方案三个维度提供系统性解决方法:


一、快速定位延迟原因

1. 查看主从同步状态
SHOW SLAVE STATUS\G
  • 关键字段:
    • Seconds_Behind_Master:主从延迟时间(秒)。
    • Read_Master_Log_Pos:主库当前binlog位置。
    • Relay_Log_Pos:从库已读取的relay log位置。
2. 监控性能瓶颈
  • 主库写入压力:监控主库TPS(每秒事务数)、binlog生成速度。
  • 从库处理能力
    • CPU/内存使用率(top, htop)。
    • 磁盘I/O性能(iostat, iotop)。
    • 网络延迟(ping, traceroute)。
3. 常见延迟场景
  • 大事务:主库执行耗时事务(如批量插入/更新)。
  • 单线程复制:从库SQL线程无法并行处理主库并发写入。
  • 锁竞争:从库因查询负载高导致复制线程阻塞。

二、基础优化策略

1. 硬件与网络优化
  • 主从配置对称:确保从库硬件(CPU、内存、磁盘IOPS)不低于主库。
  • 网络优化:主从库部署在同一可用区,使用高速内网通信。
2. MySQL参数调优
  • 启用并行复制(MySQL 5.7+):
    # my.cnf
    slave_parallel_type = LOGICAL_CLOCK
    slave_parallel_workers = 8  # 根据CPU核心数调整
    
  • 增大复制缓冲区
    slave_pending_jobs_size_max = 1G
    
  • 调整事务提交策略(主库):
    sync_binlog = 1        # 每次事务提交同步binlog
    innodb_flush_log_at_trx_commit = 1  # 确保事务持久化
    
3. 避免大事务
  • 拆分事务:将大事务拆分为小批次(如每次处理1000行)。
  • 监控长事务
    SELECT * FROM information_schema.INNODB_TRX\G
    

三、高级解决方案

1. 多线程复制优化
  • MySQL 5.6+基于库级并行
    slave_parallel_workers = 4
    
  • MySQL 5.7+基于逻辑时钟(LOGICAL_CLOCK)
    允许同一组事务在从库并行回放,显著提升吞吐量。
2. 使用GTID与半同步复制
  • GTID(全局事务标识):确保主从数据一致性,简化故障恢复。
    # my.cnf
    gtid_mode = ON
    enforce_gtid_consistency = ON
    
  • 半同步复制:减少数据丢失风险(需插件支持):
    INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';
    SET GLOBAL rpl_semi_sync_master_enabled = 1;
    
3. 读写分离与负载均衡
  • 增加从库数量:通过横向扩展分担读请求压力。
  • 代理中间件:使用ProxySQL或MaxScale自动路由读/写请求。
4. 延迟队列与缓存
  • 消息队列缓冲:在高并发写入场景,用Kafka/RabbitMQ暂存数据,异步同步到从库。
  • 缓存层:用Redis缓存热点数据,减少从库查询压力。

四、应急处理方案

1. 临时跳过错误或延迟
  • 跳过特定事务(谨慎使用):
    STOP SLAVE;
    SET GLOBAL SQL_SLAVE_SKIP_COUNTER = 1;
    START SLAVE;
    
  • 重置主从(极端情况):
    STOP SLAVE;
    RESET SLAVE ALL;
    CHANGE MASTER TO ...;  -- 重新配置主库信息
    START SLAVE;
    
2. 切换读写角色
  • 若从库延迟不可控,临时将业务切换到主库,牺牲读扩展性保证可用性。

五、监控与告警配置

1. Prometheus + Grafana监控
  • 采集指标:
    • mysql_slave_status_seconds_behind_master
    • mysql_global_status_innodb_row_operations
  • 配置告警规则(如延迟超过300秒触发)。
2. 定期健康检查
-- 检查复制线程状态
SHOW PROCESSLIST;
-- 检查未完成的事务
SELECT * FROM performance_schema.events_transactions_current;

总结:按优先级执行

  1. 紧急处理:定位大事务、优化硬件/网络。
  2. 配置调优:启用并行复制、调整线程数。
  3. 架构升级:引入多从库、代理中间件或缓存层。
  4. 长期预防:监控告警、定期拆分大表/索引优化。

通过以上方法,可系统性降低主从延迟,提升复制效率与系统稳定性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/967933.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

以简单的方式过一生

这本书大体讲述了三方面的内容:工作、生活、人际交往。我目前工作方面的认知需求比较大,就把工作部分的内容看了一下,其他两个方面就略看了,在这里就不展开了。 一、成为结果导向的人: 如何让自己在职场上成为明确结果…

软件工程教育的革命:AI辅助学习与实践

软件工程教育正面临着巨大的挑战。传统的教学模式往往以理论讲解为主,实践机会不足,导致学生难以将理论知识转化为实际技能。此外,繁琐的代码编写和项目搭建过程也常常耗费学生大量时间和精力,影响学习效率。为了解决这些问题&…

访问Elasticsearch服务 curl ip 端口可以 浏览器不可以

LINUX学习 在虚拟机上面的linux上面用docker 部署Elasticsearch项目后,在linux系统内部用curl ip 端口地址的形式可以访问到Elasticsearch。可以返回数据。 但是在本机的浏览器中输入ip 端口,会报错,找不到服务。 ping 和 trelnet均不通。 …

C++引用深度详解

C引用深度详解 前言1. 引用的本质与核心特性1.1 引用概念1.2 核心特性 2. 常引用与权限控制2.1 权限传递规则2.2 常量引用2.3 临时变量保护1. 样例2. 样例3. 测试 三、引用使用场景分析3.1 函数参数传递输出型参数避免多级指针高效传参 3.2 做函数返回值正确使用危险案例 4. 性…

网易易盾接入DeepSeek,数字内容安全“智”理能力全面升级

今年农历新年期间,全球AI领域再度掀起了一波革命性浪潮,国产通用大模型DeepSeek凭借其强大的多场景理解与内容生成能力迅速“出圈”,彻底改写全球人工智能产业的格局。 作为国内领先的数字内容风控服务商,网易易盾一直致力于探索…

【含开题报告+文档+PPT+源码】基于SpringBoot+Vue旅游管理网站

开题报告 本论文探讨了一款采用现代Web开发技术构建的台州市旅游综合信息与服务平台的设计与实现。该系统基于SpringBoot框架,以其轻量级、快速开发和强大的企业级应用支持能力为核心后端技术支撑,结合Vue.js前端框架及ElementUI组件库,为用…

python-leetcode-寻找峰值

162. 寻找峰值 - 力扣&#xff08;LeetCode&#xff09; class Solution:def findPeakElement(self, nums: List[int]) -> int:left, right 0, len(nums) - 1while left < right:mid left (right - left) // 2if nums[mid] < nums[mid 1]:left mid 1else:right …

2.11学习记录

web——CTFHub XSS学习 学习资料&#xff1a;xss&#xff08;跨站攻击&#xff09; 原理 1.黑客发送带有xss恶意脚本的链接给用户 2.用户点击了恶意链接&#xff0c;访问了目标服务器&#xff08;正常的服务器&#xff09; 3.目标服务器&#xff08;正常的服务器&#xff09…

macOS 上部署 RAGFlow

在 macOS 上从源码部署 RAGFlow-0.14.1&#xff1a;详细指南 一、引言 RAGFlow 作为一款强大的工具&#xff0c;在人工智能领域应用广泛。本文将详细介绍如何在 macOS 系统上从源码部署 RAGFlow 0.14.1 版本&#xff0c;无论是开发人员进行项目实践&#xff0c;还是技术爱好者…

ASP.NET Core WebSocket、SignalR

目录 WebSocket SignalR SignalR的基本使用 WebSocket WebSocket基于TCP协议&#xff0c;支持二进制通信&#xff0c;双工通信。性能和并发能力更强。WebSocket独立于HTTP协议&#xff0c;不过我们一般仍然把WebSocket服务器端部署到Web服务器上&#xff0c;因为可以借助HT…

【蓝桥杯嵌入式】4_key:单击+长按+双击

全部代码网盘自取 链接&#xff1a;https://pan.baidu.com/s/1PX2NCQxnADxYBQx5CsOgPA?pwd3ii2 提取码&#xff1a;3ii2 1、电路图 将4个按键的引脚设置为input&#xff0c;并将初始状态设置为Pull-up&#xff08;上拉输入&#xff09; 为解决按键抖动的问题&#xff0c;我们…

五、AIGC大模型_01大模型基础知识

1、基本概念 1.1 定义 目前&#xff0c;谈到大模型&#xff0c;通常都指的是大语言模型&#xff08;LLMs&#xff0c;即&#xff1a;Large Language Models) 大语言模型是具有大规模参数和复杂计算结构的深度学习模型&#xff0c;通常由深度神经网络构建而成&#xff0c;参数…

微服务与网关

什么是网关 背景 单体项目中&#xff0c;前端只用访问指定的一个端口8080&#xff0c;就可以得到任何想要的数据 微服务项目中&#xff0c;ip是不断变化的&#xff0c;端口是多个的 解决方案&#xff1a;网关 网关&#xff1a;就是网络的关口&#xff0c;负责请求的路由、转发…

Spring Cloud工程完善

目录 完善订单服务 启动类 配置文件 实体类 Controller Service Mapper 测试运行 完成商品服务 启动类 配置文件 实体类 Controller Service Mapper 测试运行 远程调用 需求 实现 1.定义RestTemplate 2.修改order-service中的OrderService 测试运行 Rest…

网络安全网格架构(CSMA) 网络安全框架csf

CSRF:Cross Site Request Forgy&#xff08;跨站请求伪造&#xff09; 用户打开另外一个网站&#xff0c;可以对本网站进行操作或攻击。容易产生传播蠕虫。 CSRF攻击原理&#xff1a; 1、用户先登录A网站 2、A网站确认身份返回用户信息 3、B网站冒充用户信息而不是直接获取用…

数据库系统课设——教务管理系统

目录 前言 一、总体设计 1、知识背景 2、模块介绍&#xff08;需求分析&#xff09; 3、设计步骤 3.1 页面原型设计 3.2 前端页面开发 3.3 后端接口开发 3.4 数据库设计 二、详细设计 1、 系统功能模块划分 2、 数据流程图 3、数据库概念结构设计 4、 数据库逻辑…

论文概览 |《Cities》2024.12 Vol.155(上)

本次给大家整理的是《Cities》杂志2024年12月第152期的论文的题目和摘要&#xff0c;一共包括73篇SCI论文&#xff01;由于论文过多&#xff0c;我们将通过两篇文章进行介绍&#xff0c;本篇文章介绍第1--第30篇论文! 论文1 Digital economy and risk response: How the digita…

FANUC机器人示教器中如何显示或关闭寄存器或IO的注释信息?

FANUC机器人示教器中如何显示或关闭寄存器或IO的注释信息? 如下图所示,我们打开一个子程序,可以看到程序中的寄存器和IO是显示注释信息的, 如果想关闭注释显示的话,怎么设置? 如下图所示,按下下一页的箭头(NEXT键), 如下图所示,点击“编辑”,在弹出的窗口中,选择“…

[QMT量化交易小白入门]-二十二、deepseek+cline+vscode,让小白使用miniQMT量化交易成为可能

本专栏主要是介绍QMT的基础用法&#xff0c;常见函数&#xff0c;写策略的方法&#xff0c;也会分享一些量化交易的思路&#xff0c;大概会写100篇左右。 QMT的相关资料较少&#xff0c;在使用过程中不断的摸索&#xff0c;遇到了一些问题&#xff0c;记录下来和大家一起沟通&a…

快速集成DeepSeek到项目

DeepSeek API-KEY 获取 登录DeekSeek 官网&#xff0c;进入API 开放平台 2. 创建API-KEY 复制API-KEY进行保存&#xff0c;后期API调用使用 项目中集成DeepSeek 这里只展示部分核心代码&#xff0c;具体请查看源码orange-ai-deepseek-biz-starter Slf4j AllArgsConstructo…