redis 性能优化一

目录

前言

尾延迟


前言

说到redis 性能优化,优化的目的是什么?提高响应,减少延迟。就要关注两点,一是尾延迟,二是Redis 的基线性能。只有指标,我们的优化,才有意义,才能做监控以及报警。这些指标需要借助一定工具进行压力测试,高于这个值就说明需要优化了,这些值,不是绝对的,不同的服务器配置,都会有一些变化,下面我将介绍这两点。

尾延迟

不同公司,不同业务有不同的要求。比如有些公司要求redis 的请求 99% 的 GET 请求要小于400微妙,PUT 请求要小于500微妙。99% 是什么呢?比如说,我们有1000个请求,假设按请求延迟从小到大排序后,第 991 个请求的延迟实测值是 1ms,而前 990 个请求的延迟都小于 1ms,所以,这里 99% 尾延迟就是 1ms。这就是尾延迟,我们必须要把前991个请求的延迟时间在我们的要求范围内。

对于这个问题,我们该怎么优化呢?可以从下面这几个方面考虑

  1. 降低操作命令的复杂度

  2. 同时关闭RDB 和 AOF

  3. 一个 Redis 实例对应绑一个物理核

第1点有点难,操作命令复杂度其实与业务有关,但是也可以考虑用复杂度低的操作,这个看业务

第2点根据业务和架构,如果redis 不是主从也不是集群以及这些数据不需要实例话,那么可以关闭RDB和AOF的

第3点我只想稍微解释下,需要大家对cpu 的结构有一定的理解,我从网上找了一个cpu架构图。

上图中第一个L3 cache 代表第一个cpu,第二哥 L3 cache 代表第二个cpu。每个cpu 都有两个物理核。

上面是多cpu 架构,在多cpu架构上,应用程序可以在不同的处理器上运行。也就是说Redis 可以现在第一个cpu 上运行一段时间,然后在被调度到第二个cpu 运行。Redis 现在第一个cpu 上运行,并且把数据保持到了L1,L2 ,L3 cache。然后又被调度到第二个cpu上运行,此时在访问数据就会去第一个cpu 的 L1,L2 ,L3 cache上的数据,这种属于远程远端内存访问。

在一个 CPU 核上运行时,应用程序需要记录自身使用的软硬件资源信息(例如栈指针、CPU 核的寄存器值等),我们把这些信息称为运行时信息。同时,应用程序访问最频繁的指令和数据还会被缓存到 L1、L2 缓存上,以便提升执行速度。

但是,在多核 CPU 的场景下,一旦应用程序需要在一个新的 CPU 核上运行,那么,运行时信息就需要重新加载到新的 CPU 核上。而且,新的 CPU 核的 L1、L2 缓存也需要重新加载数据和指令,这会导致程序的运行时间增加。

这个优化点不是一股脑的就去优化,我们仔细检测 Redis 实例运行时的服务器 CPU 的状态指标值,如果redis CPU 的 context switch 次数比较多,就需要优化。

context switch 是指线程的上下文切换,这里的上下文就是线程的运行时信息。在 CPU 多核的环境中,一个线程先在一个 CPU 核上运行,之后又切换到另一个 CPU 核上运行,这时就会发生 context switch。

当 context switch 发生后,Redis 主线程的运行时信息需要被重新加载到另一个 CPU 核上,而且,此时,另一个 CPU 核上的 L1、L2 缓存中,并没有 Redis 实例之前运行时频繁访问的指令和数据,所以,这些指令和数据都需要重新从 L3 缓存,甚至是内存中加载。这个重新加载的过程是需要花费一定时间的。而且,Redis 实例需要等待这个重新加载的过程完成后,才能开始处理请求,所以,这也会导致一些请求的处理时间增加。

在linux 系统下可以用下面命令查看程序的context switch:

cswch 表示自愿的上下文切换,进程运行时由于系统资源不足,如IO,内存等原因不得不进行切换。

nvcswch 表示非自愿的上下文切换,比如时间片用完,系统调度让其他任务运行,或者竞争CPU的时候也会发生。

cswch/s 表示每秒上下文切换次数。

那么怎的绑定呢,可以用 taskset 命令,命令如下:

taskset -c 0 ./redis-server

就把 Redis 实例绑在了 0 号核上,其中,“-c”选项用于设置要绑定的核编号。

我们在《redis 为什么会阻塞》讲过,redis 不仅有对redis 主线程关键路径上的操作,还有子线程aof 重写,生成rdb 操作。主线程和子线程都会资源竞争,在aof 重写等情况下,主线程会被阻塞,为了缓解这么状况,应该把cpu物理核的所有核都绑定上。

我们用lscpu 查看cpu 所有的逻辑核:

lscpu
​
Architecture: x86_64
...
NUMA node0 CPU(s): 0-5,12-17
NUMA node1 CPU(s): 6-11,18-23
...

上面表示的一个服务器,有两个cpu 分别是node0,node1 。 每个cpu 是6个物理核,每个物理核又有两个逻辑核,总共24个逻辑核。它的编号规则是,先编号每个物理核的第一个逻辑核,在编号第二个物理核的所有逻辑核

对于node0 来说 0-5 的意思是:

0 第一个物理核的第一个逻辑核 ,1 第二个物理核的第一个逻辑核,2 第三个物理核的第一个逻辑核,3 第四个物理核的第一个逻辑核,4 第五个物理核的第一个逻辑核,5 第六个物理核的第一个逻辑核

对于node0 来说 12-17 的意思是:

12 第一个物理核的第二个逻辑核,13 第二个物理核的第二个逻辑核,14 第三个物理核的第二个逻辑核,15 第四个物理核的第二个逻辑核,16 第五个物理核的第二个逻辑核,17 第六个物理核的第二个逻辑核

那么如我我们要绑定cpu 的第一个物理核上,综上所述可以这么写:

taskset -c 0,12 ./redis-server

还可以进一步优化,把子进程和后台线程绑到不同的 CPU 核上。对于Redis 6.0 以上的版本可以通过配置 (redis.conf) :

io-threads-affinity 1,13   //绑定到第一个cpu第二个物理核上

对于 Redis 6.0 以下可以修改源码,现在大家用的都是高版本,对于修改源码不讲解了,大家用的也不会太多,而且必须对源码有很深的理解。

篇幅比较长下基线性能测试放到下一篇了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/445424.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Java中常用的集合及方法(3)

1、List(接上级--常用方法示例补充) 1.4 常用的方法 1.4.2 LinkedList(JDK8) LinkedList是Java中一个实现了List接口和Deque接口的类,它采用链表结构存储数据,支持高效的插入和删除操作。 LinkedList中…

【C++】深度解剖多态

> 作者简介:დ旧言~,目前大二,现在学习Java,c,c,Python等 > 座右铭:松树千年终是朽,槿花一日自为荣。 > 目标:了解什么是多态,熟练掌握多态的定义&a…

NIO学习总结(一)——简介、Channel、Buffer

相关代码地址:nio_demo_learn: nio学习相关代码 (gitee.com) 一、BIO、NIO和AIO 1.1 阻塞IO(BIO) BIO即同步阻塞IO,实现模型为一个连接就需要一个线程去处理。这种方式简单来说就是当有客户端来请求服务器时,服务器就…

分布式搜索elasticsearch

1.初识elasticsearch 1.1.了解ES 1.1.1.elasticsearch的作用 elasticsearch是一款非常强大的开源搜索引擎,具备非常多强大功能,可以帮助我们从海量数据中快速找到需要的内容 例如: 在GitHub搜索代码 在电商网站搜索商品 在百度搜索答案…

MySQL主从读写分离之Proxysql(openEuler版)

实验目的: 基于proxysql实现MySQL的主从读写分离。 实验过程: 前期准备: 一共有四台虚拟机,其中三台为配置好的一主两从虚拟机,还有一台干净的虚拟机用来配置proxysql。 主机名地址master192.168.27.137node1192.…

NGINX源码安装详细配置文档

NGINX源码安装详细配置文档 一、基础Linux指令 查看nginx进程是否启动:ps -ef | grep nginx 关闭防火墙:systemctl stop firewalld 开放80端口:firewall-cmd --zonepublic --add-port80/tcp --permanent 关闭80端口:firewall-cmd …

(C语言)strcpy与strcpy详解,与模拟实现

目录 1. strcpy strcpy模拟实现&#xff1a; 实现方法1&#xff1a; 实现方法2&#xff1a; 2. strcat strcat模拟实现&#xff1a; 1. strcpy 作用&#xff1a;完成字符串的复制。 头文件&#xff1a;<string.h> destination是字符串要复制到的地点&#xff0c;s…

redis持久化-rdb

redis持久化-rdb策略 redis持久化rdb策略触发时机自动触发手动触发bgsave redis持久化 &#x1f680;我们知道redis是将数据存储在内存当中的&#xff0c;通常使用来作为关系型数据库的缓存使用的&#xff0c;以缓解当大量请求到来时关系型数据库的压力。 &#x1f680;既然数…

[LeetCode][226]翻转二叉树

题目 226. 翻转二叉树 给你一棵二叉树的根节点 root&#xff0c;翻转这棵二叉树&#xff0c;并返回其根节点。 示例 1&#xff1a; 输入&#xff1a;root [4,2,7,1,3,6,9] 输出&#xff1a;[4,7,2,9,6,3,1] 示例 2&#xff1a; 输入&#xff1a;root [2,1,3] 输出&#x…

025—pandas 根多列判断不在其他列的数据

思路 是有两个相同结构的数据表&#xff0c;已知第二个表是第一个表的部分数据&#xff0c;需要以其中两列为单位&#xff0c;判断在第一个表中存在&#xff0c;在另外一个表中不存在的数据。 思路&#xff1a; 我们先将 df1 和 df2 的 x、y 列取出&#xff0c;组合为元组形成…

013 Linux_互斥

前言 本文将会向你介绍互斥的概念&#xff0c;如何加锁与解锁&#xff0c;互斥锁的底层原理是什么 线程ID及其地址空间布局 每个线程拥有独立的线程上下文&#xff1a;一个唯一的整数线程ID, 独立的栈和栈指针&#xff0c;程序计数器&#xff0c;通用的寄存器和条件码。 和其…

【Python】成功解决IndexError: list index out of range

【Python】成功解决IndexError: list index out of range &#x1f308; 个人主页&#xff1a;高斯小哥 &#x1f525; 高质量专栏&#xff1a;Matplotlib之旅&#xff1a;零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程&#x1f448; 希望得到您的订…

整除光棍(pta团体天梯练习题)模拟手算除法c++

这里所谓的“光棍”&#xff0c;并不是指单身汪啦~ 说的是全部由1组成的数字&#xff0c;比如1、11、111、1111等。传说任何一个光棍都能被一个不以5结尾的奇数整除。比如&#xff0c;111111就可以被13整除。 现在&#xff0c;你的程序要读入一个整数x&#xff0c;这个整数一定…

朴素贝叶斯 | 多分类问题

目录 一. 贝叶斯公式的推导二. 朴素贝叶斯1. 离散的朴素贝叶斯朴素贝叶斯导入示例 离散的朴素贝叶斯训练 2. 连续的朴素贝叶斯3. 伯努利朴素贝叶斯4. 多项式朴素贝叶斯4.1 Laplace平滑4.2 Lidstone平滑 三. 概率图模型1. 贝叶斯网络(Bayesian Network)1.1 全连接贝叶斯网络1.2 …

【Redis知识点总结】(二)——Redis高性能IO模型剖析

Redis知识点总结&#xff08;二&#xff09;——Redis高性能IO模型及其事件驱动框架剖析 IO多路复用传统的阻塞式IO同步非阻塞IOIO多路复用机制 Redis的IO模型Redis的事件驱动框架 IO多路复用 Redis的高性能的秘密&#xff0c;在于它底层使用了IO多路复用这种高性能的网络IO&a…

[java入门到精通] 18 字符流,编码表,对象流,其他流

今日目标 编码表 字符输出流 字符输入流 字符缓冲流 转换流 对象操作流 装饰模式 commons-iojar包 1 编码表 1.1 思考&#xff1a; 既然字节流可以操作所有文件&#xff0c;那么为什么还要学习字符流 &#xff1f; 如果使用字节流 , 把文本文件中的内容读取到内存时…

ODP(Open Data Plane)

1. 摘要 本文档旨在指导新的ODP应用程序开发人员。 有关ODP的更多详细信息&#xff0c;请参见 ODP 主页。 Overview of a system running ODP applications ODP是一份API规范&#xff0c;为高性能网络应用程序的实现提供平台独立性、自动硬件加速和CPU扩展。 本文档介绍如何充…

DHCP中继实验(思科)

华为设备参考&#xff1a;DHCP中继实验&#xff08;华为&#xff09; 一&#xff0c;技术简介 DHCP中继&#xff0c;可以实现在不同子网和物理网段之间处理和转发DHCP信息的功能。如果DHCP客户机与DHCP服务器在同一个物理网段&#xff0c;则客户机可以正确地获得动态分配的IP…

OS-Copilot:实现具有自我完善能力的通用计算机智能体

&#x1f349; CSDN 叶庭云&#xff1a;https://yetingyun.blog.csdn.net/ AI 缩小了人类间的知识和技术差距 论文标题&#xff1a;OS-Copilot: Towards Generalist Computer Agents with Self-Improvement 论文链接&#xff1a;https://arxiv.org/abs/2402.07456 项目主页&a…

Hadoop生态选择(一)

一、项目框架 1.1技术选型 技术选型主要考虑因素:维护成本、总成本预算、数据量大小、业务需求、行业内经验、技术成熟度。 数据采集传输:Flume&#xff0c;Kafka&#xff0c;DataX&#xff0c;Maxwell&#xff0c;Sqoop&#xff0c;Logstash数据存储:MySQL&#xff0c;HDFS…