内存淘金术：Redis 内存满了怎么办？

欢迎来到我的博客，代码的世界里，每一行都是一个故事


在这里插入图片描述

内存淘金术：Redis 内存满了怎么办？

    • 前言
    • LRU（Least Recently Used）算法
    • LFU（Least Frequently Used）算法
    • 定期淘汰策略
    • 内存淘汰事件通知
    • 最佳实践与常见问题

前言

在 Redis 的世界中，内存是宝贵的资源，但也是有限的。当内存达到极限时，Redis 并不是束手无策，它拥有一套高效的主动淘汰策略，帮助你优雅地解决内存溢出问题。今天，我们将一起揭开 Redis 内存保卫战的序幕，掌握内存满了后的主动淘汰绝招。

LRU（Least Recently Used）算法

LRU算法基于最近使用的原则，认为最近最少使用的数据是可以被淘汰的。具体实现方式是维护一个访问顺序的数据结构，当一个数据被访问时，将其移到数据结构的末尾，表示最近使用过。当需要淘汰数据时，从数据结构的开头选择最久未被访问的数据进行淘汰。

在 Redis 中的应用 - LRU 算法的实现方式：

在 Redis 中，LRU算法的实现主要依赖于内部的volatile-lru和allkeys-lru两个配置项。这两个配置项分别对应于仅对设置了过期时间的键使用LRU算法进行淘汰（volatile-lru），以及对所有键使用LRU算法进行淘汰（allkeys-lru）。

  1. volatile-lru配置项：

    • Redis会对设置了过期时间的键使用LRU算法进行淘汰。
    • 当一个键在volatile-lru模式下过期时，Redis会检查最近使用的键，并淘汰最近最少使用的那个键。
    maxmemory-policy volatile-lru

  2. allkeys-lru配置项：

    • Redis会对所有键使用LRU算法进行淘汰，不仅包括设置了过期时间的键，还包括没有设置过期时间的键。
    • 当需要淘汰键时，Redis会检查所有键的最近使用情况，并淘汰最近最少使用的那个键。
    maxmemory-policy allkeys-lru

这两个配置项可以根据实际需要进行选择。需要注意的是，LRU算法的实现可能会带来一些性能开销，因此在特定场景下，可能需要根据应用的特性和性能要求来选择其他淘汰策略或进行适当的调优。

LFU（Least Frequently Used）算法

LFU（Least Frequently Used）算法基本原理：

LFU算法基于使用频率的原则，认为最不经常使用的数据是可以被淘汰的。具体实现方式是维护一个访问频率计数器，每当一个数据被访问时，对应的频率计数器就会增加。当需要淘汰数据时，选择访问频率最低的数据进行淘汰。

在 Redis 中的应用 - LFU 算法的实现方式：

Redis 从版本4.0开始，引入了对LFU算法的支持。在 Redis 中，LFU算法通过以下配置项进行设置：

maxmemory-policy lfu

设置了maxmemory-policy为lfu后，Redis 将使用LFU算法进行淘汰。需要注意的是，与LRU不同，LFU算法可能需要占用更多的内存，因为需要维护每个键的使用频率计数器。

在使用LFU算法时，Redis 会维护一个最小堆（min-heap）来存储所有的键值对，根据它们的使用频率进行排序。在进行淘汰操作时，选择频率最低的键进行淘汰。

配置项示例：

maxmemory-policy lfu

这表示 Redis 在达到内存限制时，将使用 LFU 算法进行淘汰。

需要注意的是，LFU 算法在一些特定场景下可能不如其他淘汰算法效果好，具体选择应该根据实际需求和应用场景来决定。

定期淘汰策略

定期淘汰策略：

定期淘汰策略涉及定期扫描数据库，根据一定规则淘汰数据，以确保缓存中的数据始终保持最新。这种策略可以根据一些规则，如过期时间、访问时间等，来判断哪些数据应该被淘汰。以下是一个示例代码，演示了如何通过定期任务淘汰数据：

import redis
import schedule
import time

# 连接到 Redis 服务器
redis_client = redis.StrictRedis(host='localhost', port=6379, db=0)

# 示例代码 - 定时任务淘汰数据
def periodic_eviction():
    # 获取所有 Key 列表
    all_keys = redis_client.keys("*")

    # 遍历所有 Key，根据一定规则淘汰数据
    for key in all_keys:
        # 根据过期时间或其他规则判断是否需要淘汰该数据
        # 例如：如果数据的过期时间小于当前时间，则执行淘汰操作
        if redis_client.ttl(key) < 0:
            redis_client.delete(key)

# 每小时执行一次定时淘汰任务
schedule.every().hour.do(periodic_eviction)

# 循环执行定时任务
while True:
    schedule.run_pending()
    time.sleep(1)

淘汰策略的调整：

如何调整淘汰策略以适应不同的场景取决于具体的应用需求和性能要求。以下是一些可能的调整：

  1. 基于过期时间的淘汰： 如果数据有明确的过期时间，可以优先考虑基于过期时间的淘汰策略，即定期检查并删除已过期的数据。

  2. 基于访问时间的淘汰： 如果应用中的数据访问模式呈现出明显的周期性，可以考虑基于访问时间的淘汰策略。即定期检查并删除最久未被访问的数据。

  3. 动态调整定期任务频率： 可以根据系统负载和性能需求动态调整定期任务的执行频率。例如，在系统负载较低时可以增加淘汰任务的执行频率，而在高负载时可以降低频率，以平衡性能和淘汰效果。

  4. 使用淘汰白名单： 在一些特殊情况下，可以使用淘汰白名单，将一些重要的数据免于淘汰，确保其不会被定期任务误删。

调整淘汰策略时，需要综合考虑数据的特性、应用的访问模式和性能需求，进行灵活而合理的配置。在实际应用中，可以根据监测数据和反馈来不断调整淘汰策略，以满足不同场景下的需求。

内存淘汰事件通知

内存淘汰事件通知：

在 Redis 中，可以使用发布-订阅模式来订阅内存淘汰事件。Redis 会在发生淘汰时发送相应的事件通知，订阅者可以通过监听这些通知来执行相应的处理操作。

以下是一个示例代码，演示了如何订阅和处理内存淘汰事件：

import redis
import threading

# 连接到 Redis 服务器
redis_client = redis.StrictRedis(host='localhost', port=6379, db=0)

# 订阅内存淘汰事件的频道
eviction_channel = '__keyevent@0__:e'

# 订阅者的处理函数
def handle_eviction_message(message):
    print(f"Received eviction event: {message['data'].decode('utf-8')}")

# 启动订阅者线程
def start_subscriber():
    subscriber = redis_client.pubsub()
    subscriber.subscribe(eviction_channel)
    for message in subscriber.listen():
        if message['type'] == 'message':
            handle_eviction_message(message)

# 启动订阅者线程
subscriber_thread = threading.Thread(target=start_subscriber)
subscriber_thread.start()

# 示例代码 - 在 Redis 中设置一些数据，并让 Redis 主动进行淘汰
redis_client.set('key1', 'value1')
redis_client.set('key2', 'value2')
redis_client.set('key3', 'value3')
redis_client.config_set('maxmemory', 10)  # 设置 Redis 内存限制

# 主动进行淘汰，会触发内存淘汰事件
redis_client.execute_command('DEBUG', 'OBJECT', 'FREQ', 'key1')

在上述示例中，我们通过订阅__keyevent@0__:e频道来监听内存淘汰事件。在主动设置 Redis 的内存限制后，我们通过设置数据和执行DEBUG OBJECT FREQ命令（主动访问键，模拟对键的访问）来触发内存淘汰事件。淘汰事件的通知将通过订阅者的handle_eviction_message函数进行处理。

处理淘汰事件：

处理淘汰事件的方式取决于应用的需求。在示例中，handle_eviction_message函数简单地打印了接收到的淘汰事件消息。实际中，可以根据淘汰事件的内容执行相应的逻辑，例如记录日志、更新缓存状态等。

需要注意的是，Redis 提供的内存淘汰事件通知并非是精确的事件通知，而是近似通知。淘汰事件通知中的键名是经过采样和近似计算的，可能不包含所有被淘汰的键。因此，在处理淘汰事件时，需要谨慎考虑通知的准确性。

最佳实践与常见问题

选择适用场景的淘汰策略：

不同的业务场景可能适用不同的淘汰策略，根据具体的应用需求和数据访问模式进行选择。以下是一些场景和适用的淘汰策略的示例：

  1. 时效性数据场景：

    • 适用淘汰策略： TTL（Time To Live）机制，基于数据的时效性设置合理的过期时间。
    • 理由： 适用于需要定期刷新数据的场景，确保数据不会因长时间未更新而失效。

  2. 高访问频率数据场景：

    • 适用淘汰策略： LRU（Least Recently Used）算法。
    • 理由： 适用于高频访问的数据，确保经常被访问的数据保持在缓存中，提高命中率。

  3. 频繁更新数据场景：

    • 适用淘汰策略： 定时刷新策略。
    • 理由： 适用于数据更新频繁的场景，通过定时刷新保持缓存中的数据与底层数据源同步。

  4. 节约内存场景：

    • 适用淘汰策略： LFU（Least Frequently Used）算法。
    • 理由： 适用于需要节约内存的场景，淘汰不经常使用的数据，优先保留常用数据。

处理淘汰异常：

在淘汰过程中可能出现一些异常情况，以下是一些可能的问题及解决方案：

  1. 淘汰过程中的性能问题：

    • 问题： 频繁淘汰导致性能下降。
    • 解决方案： 考虑调整淘汰的频率、选择更高效的淘汰算法，或者采用异步淘汰的方式，将淘汰操作放入后台进行。

  2. 淘汰导致的数据不一致：

    • 问题： 淘汰操作导致缓存中的数据与底层数据源不一致。
    • 解决方案： 采用合适的淘汰策略，避免淘汰频繁使用的数据，或者在淘汰后及时从底层数据源重新加载数据。

  3. 异常淘汰策略选择：

    • 问题： 错误选择了不适合场景的淘汰策略。
    • 解决方案： 定期评估系统的数据访问模式和特性，根据实际需求选择合适的淘汰策略，进行动态调优。

  4. 内存不足导致淘汰失败：

    • 问题： 在内存不足的情况下，淘汰操作无法释放足够内存。
    • 解决方案： 考虑调整淘汰策略，增加内存限制，或者通过升级硬件来解决内存不足的问题。

在处理淘汰异常时，了解业务场景、监控淘汰过程并及时调整配置是关键。深入理解淘汰策略及其影响，能够有效地应对各种潜在的问题。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/311315.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

字体图标 iconFont

字体图标 iconFont

字体图标使用场景︰主要用于显示网页中通用、常用的一些小图标 精灵图是有诸多优点的&#xff0c;但是缺点很明显。 图片文件还是比较大的。图片本身放大和缩小会失真。一旦图片制作完毕想要更换非常复杂。 此时&#xff0c;有一种技术的出现很好的解决了以上问题&#xff0c…
阅读更多...
day-06 构造有效字符串的最少插入数

day-06 构造有效字符串的最少插入数

思路 动态规划&#xff1a; Word[i]单独组成abc 如果Word[i]>word[i-1] 则word[i]和word[i-1]一起构成abc 解题方法 关系式&#xff1a;dp[i]dp[i-1]2或dp[i]dp[i-1]-1 时间复杂度&#xff1a; O(n) 空间复杂度&#xff1a; O(1) Code class Solution {/*动态规划&…
阅读更多...
Uncaught ReferenceError: videojs is not defined

Uncaught ReferenceError: videojs is not defined

项目场景&#xff1a; 项目背景&#xff1a; 开发 vue 项目时&#xff0c;调试时浏览器前端控制台 出现红色 报错信息&#xff1a; Uncaught ReferenceError: videojs is not defined 问题描述 遇到的问题&#xff1a; 开发 vue 项目时&#xff0c; 浏览器控制台出现如下所…
阅读更多...
Python-基础语法

Python-基础语法

标识符 第一个字符必须是字母表中字母或下划线 _ 。标识符的其他的部分由字母、数字和下划线组成。标识符对大小写敏感。在 Python 3 中&#xff0c;可以用中文作为变量名&#xff0c;非 ASCII 标识符也是允许的了。 python保留字 保留字即关键字&#xff0c;我们不能把它们用…
阅读更多...
【Docker】Docker安装入门教程及基本使用

【Docker】Docker安装入门教程及基本使用

&#x1f389;&#x1f389;欢迎来到我的CSDN主页&#xff01;&#x1f389;&#x1f389; &#x1f3c5;我是Java方文山&#xff0c;一个在CSDN分享笔记的博主。&#x1f4da;&#x1f4da; &#x1f31f;推荐给大家我的专栏《Docker实战》。&#x1f3af;&#x1f3af; &…
阅读更多...
Google上架：2024年一月政策限制之 AI 生成的内容

Google上架：2024年一月政策限制之 AI 生成的内容

为确保 Google Play 用户能够获得安全、值得信赖的使用体验&#xff0c;Google会定期更新开发者计划政策。今天就来讲解一下关于一月新政策《AI 生成的内容》。 目录 公布日期&#xff1a;2023-10-25内容公告相关博客截止时间2024-1-31 公布日期&#xff1a;2023-10-25 内容公…
阅读更多...
常用的几种推荐算法介绍

常用的几种推荐算法介绍

个性化推荐&#xff08;推荐系统&#xff09;经历了多年的发展&#xff0c;已经成为互联网产品的标配&#xff0c;也是 AI 成功落地的分支之一&#xff0c;在电商(淘宝/京东)、资讯(今日头条/微博)、音乐(网易云音乐/QQ音乐)、短视频(抖音/快手)等热门应用中&#xff0c;推荐系…
阅读更多...
字符串处理（将字符串中符合十六进制数据格式的数字和字符按照其对应的十进制数值进行累加） C语言xdoj704

字符串处理（将字符串中符合十六进制数据格式的数字和字符按照其对应的十进制数值进行累加） C语言xdoj704

题目描述&#xff1a; 输入由数字和字符构成的字符串&#xff08;不包含空格&#xff09;&#xff0c;将字符串中符合十六进制数据格式的数字和字符按照其对应的十进制数值进行累加&#xff0c;并输出累加结果&#xff0c;如果字符串中不含有任何满足十六进制格式的字符&#x…
阅读更多...
禁用code server docker容器中的工作区信任提示

禁用code server docker容器中的工作区信任提示

VSCode 添加受限模式&#xff0c;主要是防止自动运行代码的&#xff0c;比如在vscode配置的task和launch参数是可以运行自定义代码的。如果用VScode打开未知的工程文件就有可能直接运行恶意代码。 但是当我们的实验基础模板文件可控的情况下&#xff0c;要想禁用code server do…
阅读更多...
【libpcap】获取报文pcap的ns级别的时间戳

【libpcap】获取报文pcap的ns级别的时间戳

1.安装libpcap 首先&#xff0c;下载最新的 libpcap 源代码。你可以从 tcpdump.org 获取最新版本 1 解压下载的libpcap tar -zxvf libpcap-version.tar.gz 2 进入解压目录进行安装 cd libpcap-version ./configure make sudo make install2 解析报文时间戳 #include <pca…
阅读更多...
UI自动化测试工具对企业具有重要意义

UI自动化测试工具对企业具有重要意义

随着软件行业的不断发展&#xff0c;企业对高质量、高效率的软件交付有着越来越高的要求。在这个背景下&#xff0c;UI自动化测试工具成为了企业不可或缺的一部分。以下是UI自动化测试工具对企业的重要作用&#xff1a; 1. 提高软件质量 UI自动化测试工具能够模拟用户的操作&am…
阅读更多...
x-cmd pkg | llm - 用于与 OPENAI 交互的命令行工具

x-cmd pkg | llm - 用于与 OPENAI 交互的命令行工具

目录 简介首次用户功能特点进一步探索 简介 llm 是一个命令行工具和 Python 库&#xff0c;用于与大型语言模型&#xff08;Large Language Models&#xff0c;简称 LLMs&#xff09;交互&#xff0c;既可以通过远程 API 访问&#xff0c;也可以在本地机器上运行安装的模型。由…
阅读更多...
leetcode面试经典150题——50 快乐数

leetcode面试经典150题——50 快乐数

题目&#xff1a;快乐数 描述&#xff1a; 编写一个算法来判断一个数 n 是不是快乐数。 「快乐数」 定义为&#xff1a; 对于一个正整数&#xff0c;每一次将该数替换为它每个位置上的数字的平方和。 然后重复这个过程直到这个数变为 1&#xff0c;也可能是 无限循环 但始终变…
阅读更多...
【JavaWeb学习笔记】19 - 网购家居项目开发（上）

【JavaWeb学习笔记】19 - 网购家居项目开发（上）

一、项目开发流程 程序框架图 项目具体分层方案 MVC 1、说明是MVC MVC全称: Mode模型、View视图、Controller控制器。 MVC最早出现在JavaEE三层中的Web层&#xff0c;它可以有效的指导WEB层的代码如何有效分离&#xff0c;单独工作。 View视图:只负责数据和界面的显示&…
阅读更多...
CSS 选择器全攻略：从入门到精通（下）

CSS 选择器全攻略：从入门到精通（下）

&#x1f90d; 前端开发工程师&#xff08;主业&#xff09;、技术博主&#xff08;副业&#xff09;、已过CET6 &#x1f368; 阿珊和她的猫_CSDN个人主页 &#x1f560; 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 &#x1f35a; 蓝桥云课签约作者、已在蓝桥云…
阅读更多...
Linux---gcc编译

Linux---gcc编译

目录 前言 一、gcc编译 二、程序的编译过程 三、gcc查看编译过程 1.预处理阶段 2.编译 3.汇编 4.链接 动静态库链接的内容 动静态库链接的优缺点 5.总结记忆 前言 在前面我们学会使用vim对文件进行编辑&#xff0c;如果是C或者C程序&#xff0c;我们编辑好了内容…
阅读更多...
【Xilinx FPGA】异步 FIFO 的复位

【Xilinx FPGA】异步 FIFO 的复位

FIFO&#xff08;First-In-First-Out&#xff0c;先入先出&#xff09;是一种的存储器类型&#xff0c;在 FPGA 开发中通常用于数据缓存、位宽转换或者跨时钟域&#xff08;多 bit 数据流&#xff09;。在使用异步 FIFO 时&#xff0c;应注意复位信号是否遵循相关要求和规范&am…
阅读更多...
RediSearch vs. Elasticsearch vs. solr

RediSearch vs. Elasticsearch vs. solr

1. RediSearch vs. Elasticsearch RediSearch是一个分布式全文搜索和聚合引擎&#xff0c;作为Redis之上的一个模块构建。它使用户能够以极快的方式在Redis数据集上执行复杂的搜索查询。RediSearch的独特架构是用C编写的&#xff0c;从头开始构建在优化的数据结构上&#xff0…
阅读更多...
行为型模式 | 观察者模式

行为型模式 | 观察者模式

一、观察者模式 1、原理 观察者模式又叫做发布-订阅&#xff08;Publish/Subscribe&#xff09;模式&#xff0c;定义了一种一对多的依赖关系。让多个观察者对象同时监听某一个主题对象&#xff0c;这个主题对象在状态上发生变化时&#xff0c;会通知所有观察者对象&#xff0…
阅读更多...
计算机网络 - 路由器查表过程模拟 C++(2024)

计算机网络 - 路由器查表过程模拟 C++(2024)

1.题目描述 参考计算机网络教材 140 页 4.3 节内容&#xff0c;编程模拟路由器查找路由表的过程&#xff0c;用&#xff08;目的地址 掩码 下一跳&#xff09; 的 IP 路由表以及目的地址作为输入&#xff0c;为目的地址查找路由表&#xff0c;找出正确的下一跳并输出结果。 1.…
阅读更多...
最新文章

Copyright @ 2022~2023