Redis 拒绝服务漏洞(CVE-2023-28856)修复处理

一、漏洞描述

Redis Labs Redis是美国Redis Labs公司的一套开源的使用ANSI C编写、支持网络、可基于内存亦可持久化的日志型、键值(Key-Value)存储数据库,并提供多种语言的API。

在这里插入图片描述

Redis 7.0.0 到 7.0.10版本、6.2.0 到 6.2.11版本、6.0.0 到 6.0.18版本存在安全漏洞,该漏洞源于对用户提供的输入的验证不充分,攻击者利用该漏洞可以使用 HINCRBYFLOAT命令创建一个无效的哈希字段,这将使 Redis 在访问时崩溃,导致合法用户不能够访问正常服务;

影响版本:

7 <= Redis < 7.0.11
6.2 <= Redis < 6.2.12
Redis < 6.0.19

现场版本:6.2.7,需要升级到6.2.13

漏洞链接: https://access.redhat.com/security/cve/cve-2023-28856

官方补丁:https://github.com/redis/redis/,https://github.com/redis/redis/pull/11149,
https://github.com/redis/redis/commit/c924ac3fdf8fe544891dc66c88018e259ee4be87

修复建议:厂商已发布了漏洞修复程序,请使用此产品的用户尽快更新至安全版本:https://redis.io/,官网安装文档

二、处理过程

2.1、升级前准备

#版本检查
redis-server -v
#介质下载
wget https://download.redis.io/releases/redis-6.2.13.tar.gz
#或
wget https://download.redis.io/redis-stable.tar.gz
#或补丁修复
#src/t_hash.c
unsigned int vlen;

    if (getLongDoubleFromObjectOrReply(c,c->argv[3],&incr,NULL) != C_OK) return;
    #增加以下4行
    if (isnan(incr) || isinf(incr)) {
        addReplyError(c,"value is NaN or Infinity");
        return;
    }
    #到这里
    if ((o = hashTypeLookupWriteOrCreate(c,c->argv[1])) == NULL) return;
    if (hashTypeGetValue(o,c->argv[2]->ptr,&vstr,&vlen,&ll) == C_OK) {
        if (vstr) {
#tests/unit/type/hash.tcl
  assert {[r hincrbyfloat myhash float -0.1] eq {1.9}}
        }
    }
    #增加如下4行

    test {HINCRBYFLOAT does not allow NaN or Infinity} {
        assert_error "*value is NaN or Infinity*" {r hincrbyfloat hfoo field +inf}
        assert_equal 0 [r exists hfoo]
    }

在这里插入图片描述
备份:使用redis自带工具备份和导出 Redis 数据参考如下:

SAVE: 阻塞所有客户端,直到 RDB 文件创建完毕。SAVE 命令将数据集持久化到硬盘上,阻塞 Redis 服务器进程直到快照文件创建完毕。如果正在使用 AOF 持久化,SAVE 命令将被忽略。

BGSAVE: 在后台异步保存 RDB 快照。Redis 会 fork 出一个新的子进程进行快照的生成工作,当前进程继续处理新的命令请求,不会被阻塞。在自动触发RDB持久时,Redis会选择bgsave而不是save来进行持久化;在主从复制场景下,如果从节点执行全量复制操作,则主节点会执行bgsave命令,并将rdb文件发送给从节点;执行shutdown命令时,自动执行rdb持久化;redis被kill则不会触发备份机制。

#rdb和aof开启验证
#rdb开启配置
save 900 1 
save 300 10 
save 60 10000
dbfilename dump.rdb
dir ./
rdbcompression yes  #Redis采用LZF压缩方式,默认启用


#AOF开启
appendonly yes
appendfilename "appendonly.aof"
aof-load-truncated yes   #是否忽略最后一条可能存在问题的指令


#或执行:
grep -Ev "^#|^$" redis.conf|grep -Ei "aof|rdb"    //输出如下,可知现场同时开启了rdb和aof
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb
rdb-del-sync-files no
appendfilename "appendonly.aof"
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
aof-use-rdb-preamble yes		# RDB-AOF 混合持久化模式开启了
aof-rewrite-incremental-fsync yes
rdb-save-incremental-fsync yes

ll ./data/   //输出如下
total 44536028
-rw-r--r-- 1 root root 34872627978 Jun 28 09:32 appendonly.aof
-rw-r--r-- 1 root root 10732234315 Jun 28 09:48 dump.rdb
-rw-r--r-- 1 root root         129 Dec 23  2022 nodes-7379.conf


#备份rdb和aof文件
redis> config get dir   //确认数据文件目录
redis-cli --rdb "dump.rdb"  #方式1
redis-cli save    #方式2
redis-cli bgsave    #方式3
redis-cli save >> /data1/redis-6.2.7/dump_`date +%Y%m%d`.rdb   #方式4
cp -pr ./data/ ./data_20230808

#现场为了方便,整体redis打包备份
cd /data1/
tar -czf  redis627.tar.gz /data1/redis-6.2.7

#备份redis二进制文件
#二进制文件检查
ll /usr/local/bin/redis*   //输出如下
-rwxr-xr-x 1 root root 4830144 Dec 23  2022 /usr/local/bin/redis-benchmark
lrwxrwxrwx 1 root root      12 Dec 23  2022 /usr/local/bin/redis-check-aof -> redis-server
lrwxrwxrwx 1 root root      12 Dec 23  2022 /usr/local/bin/redis-check-rdb -> redis-server
-rwxr-xr-x 1 root root 5004264 Dec 23  2022 /usr/local/bin/redis-cli
lrwxrwxrwx 1 root root      12 Dec 23  2022 /usr/local/bin/redis-sentinel -> redis-server
-rwxr-xr-x 1 root root 9536000 Dec 23  2022 /usr/local/bin/redis-server
-rwxr-xr-x 1 root root    3600 Dec 23  2022 /usr/local/bin/redis-trib.rb
mv redis-server redis-server_6.2.7
mkdir -p /data1/redis_backup
mv /usr/local/bin/redis* /data1/redis_backup

2.2、编译安装

#关停redis
redis-cli shutdown
#新的redis目录
cd /data1
tar -xzvf redis-6.2.13.tar.gz
cd redis-6.2.13
make
cp src/redis-benchmark  /usr/local/bin/
cp src/redis-check-aof  /usr/local/bin/    #注意软连接
cp src/redis-check-dump  /usr/local/bin/
cp src/redis-cli  /usr/local/bin/
cp src/redis-sentinel  /usr/local/bin/    #注意软连接
cp src/redis-server  /usr/local/bin/
cp src/redis-check-rdb /usr/local/bin/   #注意软连接
cp src/redis-trib.rb /usr/local/bin/
//二进制替换旧不用执行如下安装命令了
make install   

chmod 755 /usr/local/bin/redis*

#二进制文件替换

#重启服务
mv /data1/redis-6.2.7/ /data1/redis-6.2.13/
/usr/local/redis-server /data1/redis-6.2.13/redis.conf

注:启动新版本的 Redis 服务后,需要将原来的 Redis 数据导入到新版本的 Redis 中。可以使用 Redis 的数据同步命令,将原来的数据同步到新的 Redis 中。Redis 数据同步命令常用的有两个:

slaveof:将 Redis 服务设置为主从模式,将原来的 Redis 服务设置为主服务器,新版本的 Redis 服务设置为从服务器。

sync:将从服务器上的数据库与主服务器进行同步。 示例命令:

redis-cli -h oldredis_ip -p oldredis_port slaveof newredis_ip 6380
redis-cli sync //新版本中执行同步命令
redis-benchmark -h newredis_ip -p 6380 -n 10000 -c 5 //同步完成后,测试确保数据完整性和服务可用性

2.3、验证

#连接 redis 客户端:
./redis-cli -p 6379 -h ip
#查看版本命令
ip:port>info server  //输出版本
#或
./redis-cli -p 6379 -h ip info 
#或
redis-cli --version
redis-server--version

2.4、平滑升级

某些场景因Redis无法停止服务,为避免造成数据丢失,需要采用平滑升级办法用新版替代redis完成升级。整体步骤如下:

1)下载编译安装启动一个6.2.13版的redis。
2)配置文件修改,作为slave进行配置。
3)启动slave,并做好数据测试。
4)将原来程序的redis读写迁移到新的slave上。
5) 升级原来的版本到2.6.14

迁移切换步骤切换场景描述
升级前生产主机 , redis6.2.7 , 单redis实例a
升级中生产主机 , redis 6.2.7 ,redis master实例a
生产主机, redis6.2.13 ,redis slave实例b
升级后生产主机 , redis6.2.13, redis slave实例a
生产主机 , redis 6.2.13, redis master实例b
#第一部分:确认当前持久化方式,端口,数据量
//参考上文,本次涉及数据达亿级


#第二部分:在同主机上创建修复版本 Redis实例
mkdir -p /data1/redis-6.2.13/{bin,data,logs,etc}
//安装
wget https://download.redis.io/releases/redis-6.2.13.tar.gz
tar -xzvf redis-6.2.13.tar.gz
cd redis-6.2.13
make     //这里不安装,只生成二进制文件
cp src/redis-benchmark  /usr/local/bin/
cp src/redis-check-aof  /usr/local/bin/    #注意软连接
cp src/redis-check-dump  /usr/local/bin/
cp src/redis-cli  /usr/local/bin/
cp src/redis-sentinel  /usr/local/bin/    #注意软连接
cp src/redis-server  /usr/local/bin/
cp src/redis-check-rdb /usr/local/bin/   #注意软连接
cp src/redis-trib.rb /usr/local/bin/

#验证
 ls ./bin/
total 46932
drwxr-x--- 2 root root    4096 Aug  9 01:09 .
drwxr-xr-x 7 root root    4096 Aug  9 01:06 ..
-rwxr-x--- 1 root root 4830432 Aug  9 01:05 redis-benchmark
-rwxr-xr-x 1 root root 9547992 Aug  9 01:05 redis-check-aof
-rwxr-xr-x 1 root root 9547992 Aug  9 01:05 redis-check-rdb
-rwxr-x--- 1 root root 5004544 Aug  9 01:05 redis-cli
-rwxr-xr-x 1 root root 9547992 Aug  9 01:05 redis-sentinel
-rwxr-x--- 1 root root 9547992 Aug  9 01:05 redis-server
-rwxrwxr-x 1 root root    3600 Jul 10 19:37 redis-trib.rb

#配置文件
less /data1/redis/etc/redis.conf,内容如下:
daemonize yes
pidfile /data1/redis/redis.pid
port 6379
bind 192.168.1.229
timeout 300
loglevel warning
logfile /data1/redis/logs/redis.log
databases 16
save 900 1
save 300 10
save 60 10000
rdbcompression yes
dbfilename /data1/redis/data/redis.rdb
dir /data1/redis/data/
replicaof 172.18.1.151 7379  //注意这2行,之前为slaveof masterip port,指定同步的master
replica-serve-stale-data yes   //之前为slave-serve-stale-data
maxmemory 128mb
appendonly no
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
slowlog-log-slower-than 10000
slowlog-max-len 1024
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-entries 512
list-max-ziplist-value 64
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
activerehashing yes
masterauth 123456

#启动 slave,同步数据
/data1/redis/bin/redis-server /data1/redis/etc/redis.conf   //现场竟然启动了集群模式 cluster-enabled yes
*** FATAL CONFIG FILE ERROR (Redis 6.2.13) ***
Reading the configuration file, at line 480
>>> 'replicaof 172.18.1.151 7379'
replicaof directive not allowed in cluster mode


#本地客户端登录查看
./bin/redis-cli -h 172.18.1.146 -p 7379
172.18.1.146:7379> info
# Server
redis_version:6.2.13
redis_git_sha1:00000000
redis_git_dirty:0
redis_build_id:b3aa13c3700e5b79
redis_mode:standalone
os:Linux 3.10.0-862.el7.x86_64 x86_64
arch_bits:64
monotonic_clock:POSIX clock_gettime
multiplexing_api:epoll
atomicvar_api:atomic-builtin
gcc_version:4.8.5
process_id:11745
process_supervised:no
run_id:13031ec1eec8b67db06ebfa2c1fbcc64a4335714
tcp_port:7379
server_time_usec:1691517037070105
uptime_in_seconds:167
uptime_in_days:0
hz:10
configured_hz:10
lru_clock:13795436
executable:/data1/redis/bin/redis-server
config_file:/data1/redis/etc/redis.conf
io_threads_active:0

# Clients
connected_clients:1
cluster_connections:0
maxclients:10000
client_recent_max_input_buffer:24
client_recent_max_output_buffer:0
blocked_clients:0
tracking_clients:0
clients_in_timeout_table:0

# Memory
used_memory:875952
used_memory_human:855.42K
used_memory_rss:9945088
used_memory_rss_human:9.48M
used_memory_peak:875952
used_memory_peak_human:855.42K
used_memory_peak_perc:100.20%
used_memory_overhead:832632
used_memory_startup:812120
used_memory_dataset:43320
used_memory_dataset_perc:67.87%
allocator_allocated:904984
allocator_active:1187840
allocator_resident:4681728
total_system_memory:67386519552
total_system_memory_human:62.76G
used_memory_lua:30720
used_memory_lua_human:30.00K
used_memory_scripts:0
used_memory_scripts_human:0B
number_of_cached_scripts:0
maxmemory:0
maxmemory_human:0B
maxmemory_policy:noeviction
allocator_frag_ratio:1.31
allocator_frag_bytes:282856
allocator_rss_ratio:3.94
allocator_rss_bytes:3493888
rss_overhead_ratio:2.12
rss_overhead_bytes:5263360
mem_fragmentation_ratio:11.94
mem_fragmentation_bytes:9111896
mem_not_counted_for_evict:4
mem_replication_backlog:0
mem_clients_slaves:0
mem_clients_normal:20504
mem_aof_buffer:8
mem_allocator:jemalloc-5.1.0
active_defrag_running:0
lazyfree_pending_objects:0
lazyfreed_objects:0

# Persistence
loading:0
current_cow_size:0
current_cow_size_age:0
current_fork_perc:0.00
current_save_keys_processed:0
current_save_keys_total:0
rdb_changes_since_last_save:0
rdb_bgsave_in_progress:0
rdb_last_save_time:1691516870
rdb_last_bgsave_status:ok
rdb_last_bgsave_time_sec:-1
rdb_current_bgsave_time_sec:-1
rdb_last_cow_size:0
aof_enabled:1
aof_rewrite_in_progress:0
aof_rewrite_scheduled:0
aof_last_rewrite_time_sec:-1
aof_current_rewrite_time_sec:-1
aof_last_bgrewrite_status:ok
aof_last_write_status:ok
aof_last_cow_size:0
module_fork_in_progress:0
module_fork_last_cow_size:0
aof_current_size:0
aof_base_size:0
aof_pending_rewrite:0
aof_buffer_length:0
aof_rewrite_buffer_length:0
aof_pending_bio_fsync:0
aof_delayed_fsync:0

# Stats
total_connections_received:2
total_commands_processed:1
instantaneous_ops_per_sec:0
total_net_input_bytes:81
total_net_output_bytes:73
instantaneous_input_kbps:0.00
instantaneous_output_kbps:0.00
rejected_connections:0
sync_full:0
sync_partial_ok:0
sync_partial_err:0
expired_keys:0
expired_stale_perc:0.00
expired_time_cap_reached_count:0
expire_cycle_cpu_milliseconds:0
evicted_keys:0
keyspace_hits:0
keyspace_misses:0
pubsub_channels:0
pubsub_patterns:0
latest_fork_usec:0
total_forks:0
migrate_cached_sockets:0
slave_expires_tracked_keys:0
active_defrag_hits:0
active_defrag_misses:0
active_defrag_key_hits:0
active_defrag_key_misses:0
tracking_total_keys:0
tracking_total_items:0
tracking_total_prefixes:0
unexpected_error_replies:0
total_error_replies:2
dump_payload_sanitizations:0
total_reads_processed:5
total_writes_processed:3
io_threaded_reads_processed:0
io_threaded_writes_processed:0

# Replication
role:slave
master_host:172.18.1.151
master_port:7379
master_link_status:down			 //这里异常,应该是生产环境启动了集群模式,且配置了密码认证
master_last_io_seconds_ago:-1     //这里正常为正数
master_sync_in_progress:0
slave_read_repl_offset:1
slave_repl_offset:1
master_link_down_since_seconds:-1
slave_priority:100
slave_read_only:1
replica_announced:1
connected_slaves:0
master_failover_state:no-failover
master_replid:34181e63a9534606ff4f2db893db1880bacc97b0
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

# CPU
used_cpu_sys:7.382855
used_cpu_user:2.753302
used_cpu_sys_children:0.000000
used_cpu_user_children:0.000000
used_cpu_sys_main_thread:7.026060
used_cpu_user_main_thread:2.675756

# Modules

# Errorstats
errorstat_NOAUTH:count=2

# Cluster
cluster_enabled:0

# Keyspace

#等待一会儿再执行,这时就会看到状态up
>172.18.1.146:7379> info replication
# Replication
role:slave
master_host:172.18.1.151
master_port:7379
master_link_status:up		//这时已经up了
master_last_io_seconds_ago:2  
master_sync_in_progress:0
slave_read_repl_offset:2800
slave_repl_offset:2800
slave_priority:100
slave_read_only:1
replica_announced:1
connected_slaves:0
master_failover_state:no-failover
master_replid:dfd252edeaaf6d7c983e17abd77d6e9a5217a9ff
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:2800
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:519
repl_backlog_histlen:2282

#主库上查看
172.18.1.151:7379> info  replication
# Replication
role:master
connected_slaves:1
slave0:ip=172.18.1.146,port=7379,state=online,offset=3668,lag=1
master_failover_state:no-failover
master_replid:dfd252edeaaf6d7c983e17abd77d6e9a5217a9ff
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:3668
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:3668


redis-cli -h 172.18.1.146 -p 7002 -a admin info replication | grep 'repl_offset'  #保障主从节点偏移量一致,就是同步了

#配置slave读写,可视情况将业务临时切换到slave上
./bin/redis-cli -h 172.18.1.146 -p 7379 -a admin config set slave-read-only no  //或
172.18.1.146:7379> CONFIG set slave-read-only no
OK
172.18.1.146:7379> CONFIG get slave-read-only
1) "slave-read-only"
2) "no"

#主库上升级redis,只make
wget https://download.redis.io/releases/redis-6.2.13.tar.gz
tar -xzvf redis-6.2.13.tar.gz
cd redis-6.2.13
make     //这里不安装,只生成二进制文件

#备份AOF文件,rdb文件已同步到slave
cp -pr ./appendonly.aof ./appendonly.aof.20230809
172.18.1.51:7379> bgsave  #落盘
Background saving started
(0.71s)

#slave关停同步,避免主库在未完成版本升级前就重启,进而直接覆盖掉从库上的数据,导致所有的数据丢失。
172.18.1.146:7379> SLAVEOF NO ONE

#生产master执行shutdown, 默认采用shutdown save模式
172.18.1.151:7379> shutdown
(320.60s)

#redis二进制文件替代
mkdir /usr/local/bin/redsi-bak
mv /usr/local/bin/redis-* /usr/local/bin/redsi-bak/
cp -pr ./redis-benchmark /usr/local/bin/
cp -pr ./redis-check-aof /usr/local/bin/
cp -pr ./redis-check-rdb /usr/local/bin/
cp -pr ./redis-cli /usr/local/bin/
cp -pr ./redis-sentinel /usr/local/bin/
cp -pr ./redis-server /usr/local/bin/
cp -pr ./redis-trib.rb /usr/local/bin/

#重启生产库
/usr/local/bin/redis-server /data1/redis-6.2.7/redis.conf

#登录验证
usr/local/bin/redis-cli  -h 172.18.1.51 -p 7379 --raw
172.18.1.151:7379> info
# Server
redis_version:6.2.13
redis_git_sha1:00000000
redis_git_dirty:0
redis_build_id:2d6fc318bc558dd0
redis_mode:cluster
os:Linux 3.10.0-862.el7.x86_64 x86_64
arch_bits:64
monotonic_clock:POSIX clock_gettime
multiplexing_api:epoll
atomicvar_api:atomic-builtin
gcc_version:4.8.5


另平滑升级可参考:平滑升级;cluster模式参考
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

当我们重启Redis时,如何保证数据的完整性呢?redis 在启动时会加载 dump.rdb 文件,可删除,redis启动就会读取AOF文件(只许追加文件但不可以改写文件)重新构建数据,即redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作,启动中我们常会遇到 ‘LOADING Redis is loading the dataset in memory’ 的提示。这是由于 Redis 在加载数据到内存时所发出的提示。AOF 持久化记录服务器执行的所有写操作命令,并在服务器启动时,通过重新执行这些命令来还原数据集。 AOF 文件中的命令全部以 Redis 协议的格式来保存,新命令会被追加到文件的末尾。 Redis 还可以在后台对 AOF 文件进行重写(rewrite),使得 AOF 文件的体积不会超出保存数据集状态所需的实际大小。Redis 还可以同时使用 AOF 持久化和 RDB 持久化。 在这种情况下, 当 Redis 重启时, 它会优先使用 AOF 文件来还原数据集, 因为 AOF 文件保存的数据集通常比 RDB 文件所保存的数据集更完整。

Redis提供了两个配置参数:appendonly和rdbchecksum。前者可以开启AOF持久化机制,让Redis在关闭后自动把操作日志转储到硬盘上;后者则会在快照数据中添加校验和,确保恢复的数据完整性。另外,我们还可以使用Redis提供的redis-check-aof和redis-check-dump工具,来进行AOF文件和RDB文件的检查和恢复。Redis关闭后有一定的数据丢失可能性,但是通过使用Redis的持久化机制,可以将数据存储到硬盘中,确保Redis关闭后数据不会丢失。此外,在Redis重启后,也要特别注意数据恢复的问题,使用Redis提供的工具进行文件检查和恢复,保证数据的完整性。

三、附录

3.1、Redis持久化

Redis将数据存储在内存中,宕机或重启都会使内存数据全部丢失, Redis的持久化机制用来保证数据不会因为故障而丢失。Redis提供两种持久化方式:

RDB(内存快照方式):生成rdb文件,rdb是某一时间点内存数据的全量备份,文件内容是存储结构非常紧凑的二进制序列化形式;主要用于:缓存和数据迁移备份场景
优点:
全量快照,数据与内存基本是一致的。
占用空间相对比较小。
快照是二进制文件,生成、恢复都比较快。
缺点:
丢失数据的概率相对有点大。注意:SHUTDOWN 和 FLUSHALL (清空)命令都会触发RDB快照
配置参考:
语法:save <seconds> <changes>

#save “”

save 900 1
save 300 10
save 60 10000
dbfilename dump.rdb
dir ./
rdbcompression yes #Redis采用LZF压缩方式

AOF(日志备份方式) :日志保存的是基于数据的连续增量备份,日志文件内容是服务端执行的每一条指令的记录文本。

解发机制:
always:内存更新一条,即往磁盘追加一条。
everysec:每1s往磁盘追加一次。
no:同步的操作交给操作系统来完成。
优点:
直接追加,同步开销相对较小,可根据需求自由选择安全和性能。
.缺点:
日志文件是普通文本文件,恢复相对较慢。此外,日志文件中会包含很多无用操作。

当 aof-use-rdb-preamble 设置为 yes 时,表示开启 RDB-AOF 混合持久化模式;在该模式下,AOF 重写产生的文件将同时包含 RDB 格式的内容和 AOF 格式的内容,该文件的前半段是 RDB 格式的全量数据,而后半段是 Redis 命令格式的增量数据;

Redis持久化策略选用参考:

如果数据不能丢失,RDB和AOF混用。---->常用
如果只作为缓存使用,可以接受部分数据的丢失,可以使用RDB。
如果只使用AOF,优先使用everysec的写回策略。

在这里插入图片描述

3.2、创建redis自启动服务

vi /etc/systemd/system/redis@.service  //参考如下
[Unit]
Description=The redis-server Process lanager
After=syslog. target
After"network. target
[Service]
Typeforking
ExecStart=/usr/1ocal/bin/redis-server /data1/redis-6.2.13/redis.conf
ExecStop=/usr/1ocal/bin/redis-cli -p%i shutdown
Restart=always
PrivateTmptrue
[Instal1]
WantedBy=multi-user.target

#配置
systemctl enable --now redis@{7000, 7001}.service
systemctl status redis@7000.service
systemctl start redis@7000.service

3.3、Redis升级脚本

#!/bin/bash

# 备份 Redis 数据
echo "Backup Redis data..."
redis-cli bgsave
cd /data1
redis-cli shutdown
mv /data1/redis-6.2.7 /data1/redis-back_`date +%Y%m%d`
# 下载 Redis 新版本
echo "Downloading Redis new version..."
wget -q https://download.redis.io/releases/redis-6.2.13.tar.gz

# 解压 Redis 安装包
echo "Extracting Redis package..."
tar xzf redis-6.2.13.tar.gz
cd redis-6.2.13

# 编译 Redis
echo "Compiling Redis..."
make

# 安装 Redis
echo "Installing Redis..."
make install

# 启动新版本 Redis
echo "Starting Redis new version..."
redis-server /path/to/new/redis.conf --port 6380 &amp;

# 数据同步
echo "Synchronizing Redis data..."
redis-cli -h old_redis_host -p old_redis_port slaveof new_redis_host 6380
redis-cli sync

# 测试 Redis
echo "Testing Redis..."
redis-benchmark -h new_redis_host -p 6380 -n 10000 -c 5

3.4、备份脚本

#!/bin/bash
                                                                    
###-------------版本变更记录-------------------
###  日期          描述              作者
###--------------------------------------------
###  2023-01-27    Redis备份         麦龙飞

###使用方法是:sh ./redis-backup.sh 60 15
###参数1:如果bgsave命令在60个时间单位内没完成,就是会备份失败。一个时间单位是5s
###参数2:备份文件最少保留15天

if [[ -z $1 ]]; then
    bgsave_time=60
else
    bgsave_time=$1
fi

if [[ -z $2 ]]; then
    backup_keepday=15
else
    backup_keepday=$2
fi

#获取当前时间-秒
backup_time=$(date "+%F %T")
#获取当前时间-天
backup_day=$(date +"%Y-%m-%d")

#redis安装目录
apps_dir=/usr/local
#redis数据备份的目录
redis_backup_dir=/data/redis-backup
#redis端口列表
redis_port="[7001, 7002]"
port_list=$(echo "${redis_port}" | grep -Eo "[0-9]{0,6}")
#机器IP地址
ip_address=10.1.1.11

#备份配置文件
redis_conf_backup() {
    cp ${redis_home_dir}/conf/*.conf ${redis_backup_dir_today}
}

#备份数据持久化文件
redis_data_backup() {
    #持久化数据
    ${redis_cli_command} bgsave > /dev/null 2>&1
    for ((i=1;i<=${bgsave_time};i++)); do
        #判断bgsave命令是否已经执行完成
        bgsave_status=$(${redis_cli_command} info 2> /dev/null | grep -o "rdb_bgsave_in_progress:0")
        if [[ -n ${bgsave_status} ]]; then
            cp ${redis_home_dir}/data/appendonly.aof ${redis_backup_dir_today}
            cp ${redis_home_dir}/data/dump.rdb ${redis_backup_dir_today}
            echo "${backup_time} ${redis_home_dir}实例使用${i}个时间单位备份成功" >> ${redis_backup_dir}/redis-backup.log
            break
        fi

        sleep 5

        #如果在指定时间单位内bgsave命令没有完成,就会备份失败
        if [[ ${i} -eq ${bgsave_time} ]]; then
            echo "${backup_time} ${redis_home_dir}实例在${i}个时间单位内没有运行完bgsave,备份失败" >> ${redis_backup_dir}/redis-backup.log
        fi
    done
}

#管理备份文件
management_backup() {
    cd ${redis_backup_dir}/${backup_day}
    #压缩当天的备份文件
    tar zfc ${1}.tar.gz ${1} --remove-files

    #清理备份文件(清理相应的端口文件,清理空目录)
    find ${redis_backup_dir}/* -mtime +${backup_keepday} \( \( -type f -iname "${1}*" \) -o \( -type d \) \) -delete
}

#遍历所有端口(reids实例)
for port in ${port_list}; do
    redis_home_dir=${apps_dir}/redis-${port}
    redis_passwd=$(grep "^\s*requirepass" ${redis_home_dir}/conf/redis-${port}.conf | awk '{print $2}')
    redis_cli_command="${redis_home_dir}/bin/redis-cli -h ${ip_address} -p ${port} -a ${redis_passwd}"

    #判断reids实例是否是master,如果是则进行备份
    node_status=$(${redis_cli_command} info 2> /dev/null | grep -o "role:master")
    if [[ -n ${node_status} ]]; then
        #创建备份目录
        redis_backup_dir_today="${redis_backup_dir}/${backup_day}/${port}"
        if [[ ! -d ${redis_backup_dir_today} ]]; then
            mkdir -p ${redis_backup_dir_today}
        fi

        #备份配置文件
        redis_conf_backup
        #备份数据持久化文件
        redis_data_backup
        #管理备份文件(如果备份持久化文件失败,则不清理相应的持久化文件)
        if [[ -f ${redis_backup_dir_today}/dump.rdb ]]; then
            management_backup ${port}
        fi
    fi
done

3.5、Redis几个重要的指标

【0】慢日志:①、通过命令[slowlog get]得到 Redis 执行的 slowlog 集合,理想情况下slowlog 集合应该为空即没有任何慢日志。②、若发现有慢命令,则应该逐个分析是否正常,是否需要优化。
【1】存活情况:是最重要的健康指标,通过命令 PING 的响应是否为 PONG 来判断。
【2】连接数:①、连接的客户端数量,[redis-cli info Clients|grep connected_clients] 得到,这个值与使用 Redis 服务的连接池配置关系比较大,这个值如果很大,需要排查问题原因。②、另外还有一个拒绝连接数(rejected_connections)也需要关注,这个值理想状态是 0 。如果大于 0,说明创建的连接数大于 maxclients,需要排查原因。是 Redis 连接池配合不合理还是连接这个Redis 的服务过多。
【3】阻塞客户端数量:blocked_clients 通常是执行了 list 数据类型的 BLPOP 或者 BRPOP 命令引起的,可以通过[redis-cli info Clients|grep blocked_clients]得到,这个值最应该=0。
【4】使用内存峰值:①、监控 Redis 内存使用峰值,可以通过命令[config set maxmemory]设置允许使用的最大内存。②、为了防止发生 swap 导致 Redis 性能骤减,甚至由于使用内存超标导致系统kill,建议used_memory_peak(占用内存的峰值)的值与maxmemory 的值有个安全区间,例如1G。
【5】内存碎片率:

①、mem_fragmentation_ratio = used_memory_rss/use_memory 当值大于1时,表示分配的内存超过实际使用的内存,数值越大[利用率不高],碎片率越严重。当这个值小于1时,表示发生了 swap(Swap分区在系统的物理内存不够用的时候,把物理内存中的一部分空间释放出来,以供当前运行的程序使用) ,既可用内存不足。
②、Redis4.0 有一个主要的特性就是优化内存碎片率问题(Memory defragmentation)。在redis.conf 配置文件中[ACTIVE DEFRAGMENTATION:碎片整理允许 Redis 压缩内存空间,从而回收内存。此特性默认是关闭的,可以通过命令CONFIG SET activedefrag yes 热启动这个特性]。
③、当内存使用量(use_memory)很小的时候,这个值参考价值不大。所以建议 used_memory 至少 1G 以上才考虑对内存碎片率进行监控。
【6】缓存命中率:①、keyspace_misses/keyspace_hits 这两个指标用来统计缓存的命中率,keyspace_misses值未命中次数,keyspace_hits 表示命令次数。keyspace_hits/(keyspace_misses+keyspace_hits) 就是缓存命中率。②、如果缓存命中率过低,那么要排查对缓存的用法是否有问题。
【7】OPS:instantaneous_pos_per_sec 表示缓存的OPS(operation per second 每秒操作次数)
【8】持久化:①、rdb_last_bgsave_status/aof_last_bgrewrite_status,即最近一次或者最后一次 RDB/AOF 持久化是否有问题,这两个值都应该时 “OK”。②、由于 Redis 持久化时会 fork 子进程,且 fork 是一个完全阻塞的过程,所以可以监控 fork 耗时即:latest_fork_usec,单位是微妙,如果这个值比较大会影响业务,甚至出现 timeout 。
【9】失效KEY:如果把 Redis 当缓存使用,那么建议所有的 key 都设置 expire 属性,通过命令 redis-cli info Keyspace 得到每个 db 中 key 的数量和设置了 expire属性的 key 的属性,且 expires(表示设置了超时时间的key个数) 需要等于 keys。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/71560.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Git:在本地电脑上如何使用git?

git 版本&#xff1a; 2.40.1.windows.1 文章目录 一. 使用git之前你必须要理解的几个概念1.1 理解工作区、版本库、暂存区的概念1.2 提交Git版本库的步骤【分两步执行】 二. Git本地库实战2.1 初始化版本库2.2 新建 & 提交 & 状态2.3 查看日志2.4 回退 & 穿梭 &am…

树莓派RP2040 用Arduino IDE安装和编译

目录 1 Arduino IDE 1.1 IDE下载 1.2 安装 arduino mbed os rp2040 boards 2 编程-烧录固件 2.1 打开点灯示例程序 2.2 选择Raspberry Pi Pico开发板 2.3 编译程序 2.4 烧录程序 2.4.1 Raspberry Pi Pico开发板首次烧录提示失败 2.4.2 解决首次下载失败问题 2.4.2.1…

FFmpeg 使用总结

FFmpeg 简介 FFmpeg的名称来自MPEG视频编码标准&#xff0c;前面的“FF”代表“Fast Forward”&#xff0c;FFmpeg是一套可以用来记录、转换数字音频、视频&#xff0c;并能将其转化为流的开源计算机程序。可以轻易地实现多种视频格式之间的相互转换。包括如下几个部分&#xf…

C语言一些有趣的冷门知识

文章目录 概要1.访问数组元素的方法运行结果 2.中括号的特殊用法运行结果 3.大括号的特殊用法运行结果 4.sizeof的用法运行结果 5.渐进运算符运行结果 小结 概要 本文章只是介绍一些有趣的C语言知识&#xff0c;纯属娱乐。这里所有的演示代码我是使用的编译器是Visual Studio …

jenkins流水线

1.拉取代码 https://gitee.com/Wjc_project/yygh-parent.git2、项目编译 mvn clean package -Dmaven.test.skiptrue ls hospital-manage/target3、构建镜像 ls hospital-manage/target docker build -t hospital-manage:latest -f hospital-manage/Dockerfile ./hospital-ma…

SRS视频媒体服务器-docker启动:更换默认端口时的错误

一、概述 在使用srs视频服务器时&#xff0c;一直都是使用默认的端口配置。但是&#xff0c;这些默认端口在某些时候可能已经被占用了&#xff0c;就需要更改端口了。 注意注意注意&#xff1a;使用docker启动srs&#xff0c;在更换端口一定要下面的内容。 二、使用docker启动…

MFC第三十天 通过CToolBar类开发文字工具栏和工具箱、GDI+边框填充以及基本图形的绘制方法、图形绘制过程的反色线模型和实色模型

文章目录 CControlBar通过CToolBar类开发文字工具栏和工具箱CMainFrame.hCAppCMainFrm.cppCMainView.hCMainView.cppCEllipse.hCEllipse.cppCLine.hCLine.cppCRRect .hCRRect .cpp CControlBar class AFX_NOVTABLE CControlBar : public CWnd{DECLARE_DYNAMIC(CControlBar)pro…

Jmeter请求接口返回值乱码解决

乱码示例 解决步骤&#xff1a; 1.打开Jmeter安装目录下的bin目录&#xff0c;找到jmeter.properties 2.使用记事本或其他编译工具打开jmeter.properties文件&#xff0c;然后全局搜索sampleresult.default.encoding 3.在文件中添加sampleresult.default.encodingutf-8,保存…

LeetCode--HOT100题(28)

目录 题目描述&#xff1a;2. 两数相加&#xff08;中等&#xff09;题目接口解题思路代码 PS: 题目描述&#xff1a;2. 两数相加&#xff08;中等&#xff09; 给你两个 非空 的链表&#xff0c;表示两个非负的整数。它们每位数字都是按照 逆序 的方式存储的&#xff0c;并且…

c语言每日一练(6)

前言&#xff1a;每日一练系列&#xff0c;每一期都包含5道选择题&#xff0c;2道编程题&#xff0c;博主会尽可能详细地进行讲解&#xff0c;令初学者也能听的清晰。每日一练系列会持续更新&#xff0c;暑假时三天之内必有一更&#xff0c;到了开学之后&#xff0c;将看学业情…

42. range函数—生成器函数-更新

【目录】 文章目录 1. range( )函数是什么&#xff1f;2. 知识回顾-列表的切片3. range( )函数的语法3.1 range( )函数语法3.2 参数说明3.3 列表切片和range函数的区别 4. 实操练习4.1 参数为一个正整数4.2 参数为04.3 参数为一个负整数4.4 有2个参数4.5 有3个参数4.6 步长为负…

vscode extension 怎么区分dev prod

开发模式注入环境变量 使用vsode 提供的api

利用Torchmetrics库快速进行Torch的评价指标计算(推荐)

目录 1、安装 2、基本流程介绍 3、MetricCollection 4、自定义指标 5、我们可以调用多个指标计算不同的任务 6、可以是标签,也可以是one_hot编码 7、常用分类指标计算 8、异常报错 1、安装 官网地址:Welcome to TorchMetrics — PyTorch-Metrics 1.0.1 documenta…

掌握Python的X篇_34_Python朗读文字

各种广告中说python是人工智能的主宰&#xff0c;其实这更多是噱头的成分&#xff0c;但是python确实可以做很多的事情&#xff0c;本篇将会介绍利用pythonAI平台来合成声音。今天将会用到的是百度。 文章目录 1. baiToVoice2. 注册appid3. 合成代码 1. baiToVoice 使用百度A…

创建多图层叠加效果的背景与人物图像

引言&#xff1a; 在现代应用程序开发中&#xff0c;图形资源的使用是非常常见的&#xff0c;特别是在用户界面设计中。通过使用TImageList和TGlyph组件的组合&#xff0c;我们可以实现令人印象深刻的多图层叠加效果。本文将介绍如何使用这两个组件来创建背景和人物的多图层叠加…

Idea创建maven管理的web项目

如果你想在项目中添加一个传统的 src 目录来存放源代码&#xff0c;可以按照以下步骤操作&#xff1a; 1. 在项目视图中&#xff0c;右键单击项目名称&#xff0c;选择 “New” -> “Directory”。 2. 在弹出的对话框中&#xff0c;输入目录名称为 “src”&#xff0c;然后…

Camunda 7.x 系列【3】Camunda 简介

有道无术&#xff0c;术尚可求&#xff0c;有术无道&#xff0c;止于术。 本系列Spring Boot 版本 2.7.9 本系列Camunda 版本 7.19.0 源码地址&#xff1a;https://gitee.com/pearl-organization/camunda-study-demo 文章目录 1. 概述2. 核心组件2.1 流程引擎2.2 模型2.3 Web…

金融反欺诈的应用实践

“根据980起全球重大金融欺诈事件分析&#xff0c;60%的欺诈发生在移动端&#xff0c;同比增长170%。“&#xff0c;在香港近日举办的金融科技沙龙上&#xff0c;顶象金融业务安全专家史博表示&#xff0c;金融业已成为不法分子重要的攻击对象。 本届金融科技沙龙由Databricks…

【Linux 网络】 数据链路层协议

数据链路层协议 数据链路层解决的问题以太网协议认识以太网以太网帧格式 认识MAC地址对比理解MAC地址和IP地址认识MTUMTU对IP协议的影响MTU对UDP协议的影响MTU对于TCP协议的影响ARP协议ARP协议的作用ARP协议的工作流程ARP数据报的格式 总结 数据链路层解决的问题 IP拥有将数据跨…

Springboot04--vue前端部分+element-ui

注意点&#xff1a; 这边v-model和value的区别&#xff1a;v-model是双向绑定的&#xff0c;value是单向绑定 li的key的问题 vue的组件化开发&#xff1a; 1. NPM&#xff08;类似maven&#xff0c;是管理前段代码的工具&#xff09; 安装完之后可以在cmd里面使用以下指令 2.…