Redis性能攻略:Redis-benchmark工具与实用性能优化技巧

Redis作为一种高性能的内存数据库,广泛应用于各种业务场景。然而,随着业务规模的扩大和数据量的增长,Redis的性能问题逐渐凸显出来。为了提高Redis的性能,本文将深入探讨Redis性能优化方案,包括参数配置、数据结构、多线程、集群分片等方面。

一、性能测试工具

1.1、Redis-benchmark

在聊Redis性能优化方案之前,我们来了解一下Redis性能测试工具 redis-benchmark。

Redis 包含一个名为 redis-benchmark 的实用程序,它可以模拟 N 个客户端同时发送 M 个查询的命令执行情况。该实用程序提供了一组默认的测试,你也可以提供一组自定义的测试。

1.2、影响redis性能的因素

有多种因素会直接影响redis的性能。这里,我们分析一些,因为它们可以改变所有benchmark测试的结果。但请注意,一个典型的redis实例,运行在低速、未调优过的系统上,提供的性能对大多数应用来说也是够好的。

  • 网络带宽和延迟常常是直接影响性能。启动benchmark程序前,使用ping程序快速检查客户端和服务器之间的延迟是一种好习惯。在很多现实的场景中,redis吞吐量先受到网络限制,然后才是CPU。
  • CPU是另一个重要的因素。作为单线程的,redis喜欢高速有大缓存而不是有多个核的cpu。当客户端和服务器运行在同一个系统上,cpu就是redis-benchmark的限制因素。
  • 相同的硬件上,运行在虚拟机上的redis会比运行在真实系统上的redis慢。
  • 当服务器和客户端benchmark程序运行同一系统上时,TCP/IP回路和unix域套接字都可使用。
  • 大量使用管道化(即长管道)时,比起使用TCP/IP,unix域套接字的性能提升会有所下降。
  • 使用以太网访问redis,数据大小保持小于以太网报文大小(大约1500字节),使用管道化汇集多条命令特别有效。实际上,处理10字节,100字节,1000字节的查询几乎是一样的吞吐量。如下图。

  • 在有多个CPU插口的服务器上,redis的性能依赖于NUMA配置和进程位置。

  • 使用高级配置,客户端连接数也是很重要的因素。

其他要考虑的事情

benchmark的一个重要目的是得到可重复的结果,这样才能和其他测试的结果进行比较。

  • 如果打算使用RDB或AOF,请确保系统中没有其他I/O活动。避免把RDB或AOF文件在NAS或NFS上共享,或放在其他影响网络带宽或延迟的设备上(比如Amazon EC2的EBS)。
  • 设置redis的日志级别(参数loglevel)为warning 或notice。避免把日志放在远程文件系统上。

p.s.以上图来源于Redis官方文档中,想了解更详细的可以进入Redis官方文档中查看。

二、性能优化方案

2.1、硬件配置优化

网络优化:

  1. 使用高性能网络设备: 确保Redis服务器和客户端之间的网络连接是高性能的,采用千兆以太网或更高速的网络设备。
  2. 调整内核参数: 针对高负载的情况,优化操作系统的网络相关内核参数,包括调整TCP连接数、缓冲区大小等。
  3. 使用连接池: 在客户端使用连接池,避免频繁地打开和关闭网络连接,减少连接的建立和断开开销。

内存优化:

  1. 使用高性能内存条:选择具有较高速度和低延迟的内存条。
  2. 增加内存容量: Redis是一个内存数据库,更多的内存通常意味着更好的性能,特别是当你的数据集逐渐增大时。确保服务器上安装了足够的内存,以满足数据存储的需求。
  3. 合理设置maxmemory参数: 设置maxmemory参数,防止Redis使用过多内存导致系统出现性能问题。
  4. 使用内存碎片整理: 定期查找和整理内存碎片。

2.2、参数配置优化

Redis的性能参数需要结合实际的应用场景来调整,以达到最佳的性能表现。

  • 设置合理的 maxmemory 参数:maxmemory 参数用于限制 Redis 内存的使用量。如果设置过小,可能会导致 Redis 频繁 LRU 淘汰,影响性能。如果设置过大,可能会导致 Redis 内存不足,导致服务不可用。
  • 设置合理的 maxmemory-policy 参数:maxmemory-policy 参数用于指定 Redis 在内存不足时采取的策略。
  • 设置合理的 timeout 参数:timeout 参数用于指定客户端连接超时时间。如果设置过小,可能会导致客户端连接频繁断开,影响性能。如果设置过大,可能会导致客户端连接时间过长,影响性能。
  • 设置合理的 loglevel 参数:loglevel 参数用于指定 Redis 日志级别。如果设置过高,可能会导致 Redis 日志输出过多,影响性能。如果设置过低,可能会导致重要的日志信息丢失,影响排错。

2.3、数据结构优化

Redis支持多种数据结构,每种数据结构都有自己的特点和适用场景。选择合适的数据结构可以节省内存空间,减少网络开销,提高查询速度。例如:

  • 避免使用过大的键名或值,因为它们会占用更多的内存和网络带宽。
  • 避免使用过多的层级结构,因为它们会增加查询的复杂度和开销。
  • 避免使用过于稀疏的数据结构,因为它们会浪费内存空间。例如,如果你需要存储一个大量空值的矩阵,可以考虑使用压缩列表或位图等更紧凑的数据结构。

2.4、使用合理的过期策略

Redis 的过期策略可以有效提升 Redis 的性能。以下是一些使用合理的过期策略优化 Redis 性能的技巧:

  • 根据数据使用情况设置合理的过期时间:过期时间设置过短,会导致 Redis 频繁进行 LRU 淘汰,影响性能。过期时间设置过长,会导致 Redis 内存使用率过高,影响性能。
  • 根据数据访问频率设置合理的过期策略:对于经常访问的数据,可以设置较长的过期时间。对于不经常访问的数据,可以设置较短的过期时间。
  • 使用惰性过期:惰性过期是指 Redis 在访问键时才判断键是否过期。惰性过期可以降低 LRU 淘汰对性能的影响。

2.5、使用合适的持久化机制

  • RDB持久化是指定期将Redis内存中的数据快照保存到磁盘上,它的优点是文件紧凑,恢复速度快,适合做备份和灾难恢复。它的缺点是可能会丢失最近一次快照之后的数据,以及在执行快照时会占用一定的CPU和内存资源。
  • AOF持久化是指将Redis执行的每个写操作记录到一个日志文件中,它的优点是数据实时性高,可以保证数据的完整性和一致性。它的缺点是文件较大,恢复速度慢,以及在追加日志时会增加磁盘IO的压力。
  • RDB + AOF:在同一个实例中可以组合 AOF 和 RDB一起使用,也就是我们常说的混合模式。

如果你的业务对数据的实时性要求较高,或者不能容忍数据的丢失,可以选择AOF持久化,或者同时开启RDB和AOF持久化,让AOF优先于RDB恢复数据。如果你的业务对数据的实时性要求不高,或者可以容忍一定的数据丢失,你可以选择RDB持久化,或者关闭持久化,只依赖主从复制来保证数据的可用性。

2.6、使用合理的集群方案

Redis 集群可以有效提升 Redis 的性能。

  • 主从复制模式:主从复制模式是最简单的集群模式。在主从复制模式中,一个节点作为主节点,其他节点作为从节点。主节点负责写入数据,从节点负责读取数据也就是我们说的读写分离。
  • 哨兵模式:哨兵模式是一种高可用的集群模式。在哨兵模式中,每个节点都作为哨兵节点。哨兵节点负责监控主节点的状态,如果主节点发生故障,哨兵节点会自动选举出新的主节点。哨兵模式也适用于读写分离。
  • 集群模式:集群模式是一种负载均衡的集群模式。在集群模式中,每个节点都平等,可以进行写入和读取数据。如果在成本允许的情况下使用此集群模式可以大大的提升Redis的性能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/418424.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

华为HarmnyOS TypeScript基础语法快速入门

华为HarmnyOS TypeScript基础语法快速入门 一、JavaScript、TypeScript、ArkTS二、TypeScript基础语法1. 基础类型2. 条件语句3. 函数4. 类5. 模块6. 迭代器 一、JavaScript、TypeScript、ArkTS ArkTS是HarmonyOS优选的主力应用开发语言。它在TypeScript(简称TS&am…

js方法 提前结束循环

http://t.csdnimg.cn/j0gkOhttp://t.csdnimg.cn/j0gkO 一、各种循环方法如何跳出整个循环? 对于forEach()方法,目前似乎没有比较优雅的跳出整个循环的方法,如果你实在要用forEach()方法并且需要在某种条件下跳出整个循环提高遍历效率&#x…

react路由基础

1.目录 A. 能够说出React路由的作用 B. 能够掌握react-router-dom的基本使用 C. 能够使用编程式导航跳转路由 D. 能够知道React路由的匹配模式 2.目录 A. React路由介绍 B. 路由的基本使用 C. 路由的执行过程 D. 编程式导航 E. 默认路由 F. 匹配模式 3.react路由介绍 现代…

[Vulnhub]靶场 Web Machine(N7)

kali:192.168.56.104 主机探测: arp-scan -l 靶机ip:192.168.56.104 端口扫描 nmap -p- 192.168.56.106 看一下web 目录扫描 gobuster dir -u http://192.168.56.106 -x html,txt,php,bak,zip --wordlist/usr/share/wordlists/dirbuster/directory-list-2.3-medium.txt exp…

R语言数据可视化之美专业图表绘制指南(增强版):第1章 R语言编程与绘图基础

第1章 R语言编程与绘图基础 目录 第1章 R语言编程与绘图基础前言1.1 学术图表的基本概念1.1.1 学术图表的基本作用1.1.2基本类别1.1.3 学术图表的绘制原则 1.2 你为什么要选择R1.3 安装 前言 这是我第一次在博客里展示学习中国作者的教材的笔记。我选择这本书的依据是作者同时…

认识通讯协议——TCP/IP、UDP协议的区别,HTTP通讯协议的理解

目录 引出认识通讯协议1、TCP/IP协议,UDP协议的区别2、HTTP通讯协议的讲解 Redis冲冲冲——缓存三兄弟:缓存击穿、穿透、雪崩缓存击穿缓存穿透缓存雪崩 总结 引出 认识通讯协议——TCP/IP、UDP协议的区别,HTTP通讯协议的理解 认识通讯协议 …

【脑切片图像分割】MATLAB 图像处理 源码

1. 简单图像处理 加载图像 Brain.jpg,使用直方图和颜色分割成区域这些区域有不同的颜色。 这是一个更高级的问题,有多个解决它的方法。 例如,您可以计算具有特定数字的图像的直方图(例如 16 - 32),找到直方…

黑马JavaWeb开发跟学(二)Web前端开发JavaScript、Vue基础

黑马JavaWeb开发跟学二.Web前端开发JavaScript、Vue基础 前言1 JavaScript1.1 介绍1.2 引入方式1.3 基础语法1.3.1 书写语法1.3.2 变量1.3.3 数据类型和运算符 1.4 函数1.4.1 第一种定义格式1.4.2 第二种定义格式 1.5 JavaScript对象1.5.1 基本对象1.5.1.1 Array对象语法格式特…

论文笔记:基于互信息估计和最大化的深度表示学习

整理了ICLR2019 LEARNING DEEP REPRESENTATIONS BY MUTUAL INFORMATION ESTIMATION AND MAXIMIZATION)论文的阅读笔记 背景模型 论文地址:DIM code:代码地址 背景 发现有用的表示是深度学习的一个核心目标,由于之前的工作已经可以…

RocketMQ—RocketMQ集成SpringBoot

RocketMQ—RocketMQ集成SpringBoot 新建生产者的boot项目和消费者的boot项目&#xff0c;pom文件重点如下&#xff1a; <dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</arti…

[RoarCTF 2019]Easy Calc

这题考查的是: 字符串解析特性目录读取文件内容读取 字符串解析特性详解&#xff1a;PHP字符串解析特性 &#xff08;$GET/$POST参数绕过&#xff09;&#xff08;含例题 buuctf easycalc&#xff09;_参数解析 绕过-CSDN博客 ascii码查询表&#xff1a;ASCII 表 | 菜鸟工具 …

ubuntu 20.04下查找pycharm-vscode-qtcreator安装路径-查快捷方式路径-pycharm要以root权限运行脚本

环境&#xff1a;ubuntu20.04 两个用户&#xff1a;root ips3000 qtcreator和pycharm是用户ips3000从软件商店中安装的。1.快捷键和启动方式注意关键词&#xff0c;名字不一样。 桌面快捷方式 启动方式 Pycharm Pycharm-community.desktop Pycharm.sh Qtcreator **qtcrea…

程序媛的mac修炼手册-- Node.js入门篇

最近因为参与一个微信小程序的开发&#xff0c;开始摸索JavaScript。期间&#xff0c;需要基于Node.js安装微信开发工具的依赖项&#xff0c;所以又顺带学习了Node.js的包管理工具npm&#xff08;Node Package Manager&#xff09;。不过&#xff0c;之前看到国外的全栈大佬​​…

GEE入门篇|图像处理(二):在Earth Engine中进行波段计算

目录 波段计算 1.NDVI的计算 2.NDVI 归一化差值的单次运算计算 3.使用 NDWI 的归一化差值 波段计算 许多指数可以使用 Earth Engine 中的波段运算来计算。 波段运算是对图像中两个或多个波段进行加、减、乘或除的过程。 在这里&#xff0c;我们将首先手动执行此操作&#x…

政安晨:【掌握AI的深度学习工具Keras API】(二)—— 【使用内置的训练循环和评估循环】

渐进式呈现复杂性&#xff0c;是指采用一系列从简单到灵活的工作流程&#xff0c;并逐步提高复杂性。这个原则也适用于模型训练。Keras提供了训练模型的多种工作流程。这些工作流程可以很简单&#xff0c;比如在数据上调用fit()&#xff0c;也可以很高级&#xff0c;比如从头开…

ShardingSphere inline表达式线程安全问题定位

ShardingSphere inline表达式线程安全问题定位 问题背景 春节期间发现 ShardingSphere 事务 E2E 偶发执行失败问题&#xff0c;并且每次执行失败需要执行很久&#xff0c;直到超时。最终定位发现 inline 表达式存在线程安全问题。本文记录定位并解决 inline 表达式线程安全问…

实验笔记之——Ubuntu20.04配置nvidia以及cuda并测试3DGS与SIBR_viewers

之前博文测试3DGS的时候一直用服务器进行开发&#xff0c;没有用过笔记本&#xff0c;本博文记录下用笔记本ubuntu20.04配置过程&#xff5e; 学习笔记之——3D Gaussian Splatting源码解读_3dgs运行代码-CSDN博客文章浏览阅读3.2k次&#xff0c;点赞34次&#xff0c;收藏62次…

编写科技项目验收测试报告需要注意什么?第三方验收测试多少钱?

科技项目验收测试是一个非常重要的环节&#xff0c;它对于确保科技项目的质量和可用性起着至关重要的作用。在项目完成后&#xff0c;进行科技项目验收测试可以评估项目的功能、性能和可靠性等方面&#xff0c;并生成科技项目验收测试报告&#xff0c;以提供给项目的相关方参考…

keil uv5 map文件解析

map参考博客&#xff1a;https://www.csdn.net/tags/MtjaYgwsMTY2NzUtYmxvZwO0O0OO0O0O.html 配置外部flash存储代码&#xff1a;https://strongerhuang.blog.csdn.net/article/details/51485903?spm1001.2101.3001.6650.4&utm_mediumdistribute.pc_relevant.none-task-bl…

使用 Helm 安装 极狐GitLab

本篇作者 徐晓伟 使用 Helm 简便快捷的部署与管理 极狐GitLab 前提条件 k8s 完成 helm 的配置 k8s 完成 ingress 的配置 内存至少 10G 演示环境是 龙蜥 Anolis 8.4&#xff08;即&#xff1a;CentOS 8.4&#xff09;最小化安装k8s 版本 1.28.2calico 版本 3.26.1nginx ingre…