【入门篇】1.7 Redis 之 codis 入门介绍

文章目录

  • 1. 简介
  • 2. Codis的安装与配置
      • 下载
      • 编译源码安装
        • 1. 安装 Go 运行环境
        • 2. 设置编译环境
        • 3. 下载 Codis 源代码
        • 4. 编译 Codis 源代码
    • Docker 部署
  • 3. Codis的架构
    • Codis的架构图和组件
    • Codis的工作流程
  • 4. Codis的核心特性
    • 自动数据分片
    • 数据迁移
    • 高可用性
    • 全面支持Redis命令
    • 分布式锁和发布订阅
  • 5. Codis的高可用与故障恢复
    • Codis的高可用机制
    • 恢复Codis集群的故障节点
  • 6. Codis的使用场景和限制
    • Codis适合的使用场景
    • Codis的一些限制
  • 6. Codis 与Redis Cluster对比
  • 参考文档

在这里插入图片描述

1. 简介

Codis是由Wandou Labs（豌豆荚团队）开发的开源工具，用于解决在大数据环境下使用Redis所面临的挑战。Codis将多个Redis实例组织起来，形成一个统一的数据访问层，从而提供了高可用和分布式的特性，使得Redis能够更好地处理大数据和高并发的场景。

Codis的功能是基于Redis构建的。Redis是一种内存数据库，用于存储键值对数据。然而，当数据量或并发请求数量增长时，单个Redis实例可能会遇到性能瓶颈。Codis通过在多个Redis实例之间进行数据分片，解决了这个问题。另外，Codis还提供了一些其他的高级功能，如数据迁移、故障恢复等。

codis server：基于redis进行了二次开发的组件，负责数据的读写 codis proxy：面向客户端，代理客户端访问codis
server zookeeper 集群：保存元数据，如数据路由表信息，codis proxy信息 codis dashboard,codis
fe：codis dashboard提供维护codis server，codis proxy等功能，codis
fe提供web界面，方便管理人员使用。

通俗的理解Codis可以被视为一个强大的Redis集群解决方案，它提供了更多的功能，并且允许开发者以相似的方式操作Redis实例。在大规模数据处理和高并发环境下，Codis相对于单个Redis实例，可以提供更好的性能和扩展性。

在这里插入图片描述

2. Codis的安装与配置

下载

release binary文件安装

如果是重要的生产环境使用，尽量不要选择alpha、rc版本。 根据自己的部署平台，选择相应的文件下载即可。

编译源码安装

1. 安装 Go 运行环境

参考这里

安装完成后可以运行下列命令进行检测：

$ go version
go version go1.7.3 linux/amd64
2. 设置编译环境

注意 $GOPATH 是本机所有第三方库 go 项目所在目录，Codis 仅是其中之一。

添加 $GOPATH/bin 到 $PATH，例如：PATH=$PATH:$GOPATH/bin。

$ go env GOPATH
/home/codis/gopath
3. 下载 Codis 源代码

Codis 源代码需要下载到 $GOPATH/src/github.com/CodisLabs/codis：

$ mkdir -p $GOPATH/src/github.com/CodisLabs
$ cd $_ && git clone https://github.com/CodisLabs/codis.git -b release3.2
4. 编译 Codis 源代码
  • 直接通过 make 进行编译，会看到如下输出：
$ cd $GOPATH/src/github.com/CodisLabs/codis
$ make
make -j -C extern/redis-3.2.8/
... ...
go build -i -o bin/codis-dashboard ./cmd/dashboard
go build -i -o bin/codis-proxy ./cmd/proxy
go build -i -o bin/codis-admin ./cmd/admin
go build -i -o bin/codis-fe ./cmd/fe

$ ls bin/
total 69124
drwxr-xr-x 4 codis codis     4096 Jan  4 14:55 assets
-rwxr-xr-x 1 codis codis 17600752 Jan  4 14:55 codis-admin
-rwxr-xr-x 1 codis codis 18416320 Jan  4 14:55 codis-dashboard
-rwxr-xr-x 1 codis codis  9498040 Jan  4 14:55 codis-fe
-rwxr-xr-x 1 codis codis 11057280 Jan  4 14:55 codis-proxy
-rwxr-xr-x 1 codis codis  4234432 Jan  4 14:55 codis-server
-rw-r--r-- 1 codis codis      148 Jan  4 14:55 version
... ...

$ cat bin/version
version = 2016-01-03 14:53:22 +0800 @51f06ae3b58a256a58f857f590430977638846a3
compile = 2016-01-04 15:00:17 +0800 by go version go1.5.2 linux/amd64

详细参考 https://github.com/CodisLabs/codis/blob/master/doc/tutorial_zh.md

通过web浏览器访问集群管理页面(fe地址:127.0.0.1:9090) 选择我们刚搭建的集群 codis-demo，在 Proxy 栏可看到我们已经启动的 Proxy， 但是 Group 栏为空，因为我们启动的 codis-server 并未加入到集群 添加 NEW GROUP，NEW GROUP 行输入 1，再点击 NEW GROUP 即可 添加 Codis Server，Add Server 行输入我们刚刚启动的 codis-server 地址，添加到我们刚新建的 Group，然后再点击 Add Server 按钮即可，如下图所示在这里插入图片描述
通过fe初始化slot
新增的集群 slot 状态是 offline，因此我们需要对它进行初始化（将 1024 个 slot 分配到各个 group），而初始化最快的方法可通过 fe 提供的 rebalance all slots 按钮来做，如下图所示，点击此按钮，我们即快速完成了一个集群的搭建。

rebalance_slots

Docker 部署

Codis 3.x 起，开始正式支持 Docker 部署。这就需要 codis-dashboard 以及 codis-proxy 能够外部的 listen 地址暴露出来并保存在外部存储中。

codis-proxy 增加了 --host-admin 以及 --host-proxy 参数；
codis-dashboard 增加了 --host-admin 参数；
以 codis-proxy 的 Docker 为例：

$ docker run --name "Codis-Proxy" -d -p 29000:19000 -p 21080:11080 codis-image \
    codis-proxy -c proxy.toml --host-admin 100.0.1.100:29000 --host-proxy 100.0.1.100:21080

codis-proxy 在启动后，会使用 --host-admin 和 --host-proxy 参数所指定的实际地址替换 Docker 内监听的地址，向 codis-dashboard 注册。这样，例如使用 Jodis 的过程中，客户端就能够通过 100.0.1.100:29000 来访问 proxy 实例。

codis-dashboard 也是相同的道理，会使用 --host-admin 地址向外部存储注册，这样 codis-fe 也能通过该地址正确的对 codis-dashboard 进行操作。

具体样例可以参考 scripts/docker.sh。

3. Codis的架构

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Codis的架构图和组件

Codis的架构主要包含以下四个部分：

  1. Proxy：Proxy是Codis的核心组件，它负责请求的路由和负载均衡。用户的请求首先发送到Proxy，然后Proxy将请求转发到相应的Redis实例。
    在这里插入图片描述

  2. Group：Group是一组Redis实例，它们中的数据是一致的。每个Group含有一个Master节点和多个Slave节点，Master节点负责处理写请求，Slave节点用于处理读请求和故障恢复。
    在这里插入图片描述

  3. Dashboard：Dashboard是Codis的管理界面，它提供了一系列的管理和监控功能，如数据迁移、节点管理等。

  4. ZooKeeper：Zookeeper是一个开源的分布式协调服务，Codis使用它来存储和同步集群的状态信息。

Codis的工作流程

在这里插入图片描述

当一个请求发送到Codis时，以下是其大致的处理流程：

  1. Proxy接收到用户的请求。

  2. Proxy查询Zookeeper，获取到请求应该路由到哪个Group。

  3. Proxy将请求转发到对应Group的Master节点。

  4. Master节点处理请求，并将结果返回给Proxy。

  5. Proxy将结果返回给用户。

4. Codis的核心特性

自动数据分片

Codis支持自动的数据分片，能够将数据在多个Redis实例之间进行均匀分布，这样就可以有效地解决单个Redis实例的性能瓶颈。Codis的分片是基于Redis的Key进行的，每个Key会被哈希到一个Slot中，每个Slot对应一个Redis实例。

数据迁移

在某些场景下，可能需要增加或减少Redis实例数量以应对变化的负载。在这种情况下，Codis提供了数据迁移的功能。可以在Dashboard中方便地管理数据迁移的过程，Codis会自动进行数据的迁移和重分布，而这个过程对应用是透明的。

高可用性

Codis集群中的每个Redis实例都有一个或多个备份实例，当主实例发生故障时，备份实例可以立即接管请求，保证了服务的持续可用。Codis使用Zookeeper来检测和管理实例的状态，以实现快速的故障恢复。

全面支持Redis命令

Codis全面支持Redis的各种命令，包括键值操作、列表操作、集合操作等。可以像使用单个Redis实例一样使用Codis，这极大地降低了使用Codis的学习成本。

分布式锁和发布订阅

Codis支持Redis的分布式锁和发布订阅功能，可以使用这些功能来实现各种复杂的并发控制和事件通知需求。

5. Codis的高可用与故障恢复

Codis的高可用机制

Codis的高可用性是通过其内部的故障恢复机制实现的。在Codis中，每个Redis实例（Master节点）都会有一个或多个备份实例（Slave节点）。在正常情况下，所有的写请求都会发送到Master节点，而读请求则可以由任何节点来处理。

当Master节点发生故障时，Codis会自动从其备份节点中选举出一个新的Master节点接管服务。这个过程是自动进行的，对于用户来说，除了可能会有短暂的服务中断外，其他的都是透明的。

Codis使用Zookeeper来检测和管理节点的状态，当检测到节点发生故障时，Zookeeper会自动触发故障恢复流程。

恢复Codis集群的故障节点

当一个节点发生故障后，可以使用Codis提供的工具来恢复它。以下是一个例子：

# 停止故障节点
codis-admin --proxy=proxy_addr --offline

# 修复故障节点
codis-admin --proxy=proxy_addr --online

在这个例子中，proxy_addr是故障节点的地址。首先需要将故障节点设置为离线状态，然后修复节点后，再将其设置为在线状态。

此外，还可以使用Codis的Dashboard来可视化地管理和监控Codis集群的状态，包括故障恢复等操作。

需要注意的是，Codis的高可用机制并不能保证数据的一致性。如果在Master节点故障期间有写请求，则这些请求可能会丢失。因此，需要根据的应用的需求，选择合适的数据持久化和备份策略。

6. Codis的使用场景和限制

Codis适合的使用场景

  • 大规模数据存储：Codis通过数据分片和负载均衡，可以支持大规模的数据存储。如果的应用需要存储TB级别的数据，并且需要高性能的读写操作，Codis是一个不错的选择。
  • 高可用服务：Codis内置了故障恢复机制，可以在节点发生故障时自动进行故障转移，保证服务的高可用性。
  • 实时数据缓存：Codis可以作为一个高性能的分布式缓存，用于存储和查询实时数据。例如，可以使用Codis来实现一个实时的内容推荐系统。
  • 会话存储：Codis可以用于存储用户的会话信息。比如，可以使用Codis来实现一个分布式的会话管理系统。

Codis的一些限制

  • 事务支持：Codis不支持Redis的事务操作。如果的应用需要使用事务，可能需要考虑其他的解决方案，或者使用其他的并发控制机制替代事务。
  • 强一致性：Codis的数据分布是基于最终一致性模型的，它不能保证强一致性。如果的应用需要强一致性，可能需要考虑其他的数据存储方案。
  • 复杂查询：Codis不支持Redis的复杂查询操作，如排序和聚合等。如果的应用需要进行复杂的数据处理和查询，可能需要考虑其他的数据处理框架。
  • 持久化：虽然Codis支持Redis的持久化功能，但由于Codis是分布式的，所以持久化的过程可能会比较复杂。

6. Codis 与Redis Cluster对比

对比项CodisRedis Cluster
可靠性可靠可靠
扩容支持支持
数据迁移同步迁移，异步迁移同步迁移
客户端兼容性兼容不兼容，需要支持Cluster的客户端
组件数量多不需要额外组件，只需要Redis实例
成本组件多，成本高不需要额外组件，成本低
成熟度高低于Codis

Codis的优势在于可靠性、支持扩容、数据迁移方式的灵活性以及客户端兼容性。而Redis Cluster的优势在于组件少、成本低。
在实际应用中，你可以根据以下几点来选择：

  • 可靠性：如果你需要一个高可靠性的数据存储方案，Codis和Redis Cluster都是不错的选择。
  • 扩容能力：如果你预计你的数据将会快速增长，需要一个可以方便扩容的方案，那么Codis和Redis Cluster都可以满足你的需求。
  • 数据迁移：如果你需要频繁地进行数据迁移，Codis可能是更好的选择，因为它支持异步数据迁移。
  • 客户端兼容性：如果你的应用已经使用了Redis，而你不希望修改客户端代码，Codis可能是更好的选择，因为它完全兼容Redis的客户端。
  • 成本：如果你希望尽量降低成本，Redis Cluster可能是更好的选择，因为它不需要额外的组件。
  • 成熟度：如果你希望使用一款经过实践检验的成熟产品，Codis可能是更好的选择，因为它相比Redis Cluster有更长的使用历史和更高的成熟度。

参考文档

https://blog.csdn.net/wang0907/article/details/128341489

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/154816.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Client not connected, current status:STARTING

Client not connected, current status:STARTING

上面的问题出现在springboot整合nacos的时候出现的 首先说明一点，我出现这个问题是使用了nacos集群，nacos版本为2.2.3，且使用了nginx做了负载均衡，如果您和我一样，那么可以接着往下看。 1️⃣：当nacos版本为…
阅读更多...
windows与wsl互传文件

windows与wsl互传文件

1.把windows上的文件传到wsl中，\\wsl.localhost\Ubuntu-22.04\mnt\wsl 将你要传的文件放到wsl这个路径下，Ubuntu-22.04是我的子系统，换成自己对应的 2.把wsl中的文件传到windows中 将wsl中的文件放到 /mnt/c 或 /mnt/d 中，这两…
阅读更多...
汇川伺服【选型目录】

汇川伺服【选型目录】

sv680旗舰： 编码器位数：26bit 电机额定转速：3000r【3k】圈脉冲： sv670标准： 编码器位数：23bit【台达B3:23bit，台达A2：bit】 电机额定转速：3000r【3k】圈脉冲&#xff1…
阅读更多...
【AI视野·今日Sound 声学论文速览 第三十五期】Fri, 27 Oct 2023

【AI视野·今日Sound 声学论文速览 第三十五期】Fri, 27 Oct 2023

AI视野今日CS.Sound 声学论文速览 Fri, 27 Oct 2023 Totally 8 papers 👉上期速览✈更多精彩请移步主页 Daily Sound Papers Controllable Generation of Artificial Speaker Embeddings through Discovery of Principal Directions Authors Florian Lux, Pascal T…
阅读更多...
chatGPT API中参数temperature的含义是什么

chatGPT API中参数temperature的含义是什么

在 ChatGPT API 中，temperature 参数用于控制回答的确定性和创造性。temperature 的值范围通常是从 0 到 1。这个参数影响模型生成回答时的随机性： 低温度值（如 0 或接近 0）：会导致模型生成更确定、更一致、更少出乎意…
阅读更多...
微服务实战系列之Sentinel

微服务实战系列之Sentinel

前言 微服务架构（Microservice Architecture）是一种架构概念，旨在通过将功能分解到各个离散的服务中以实现对解决方案的解耦。 近年来，微服务已赫然崛起于IT界，越来越多的程序员不得不向之靠拢。也正因为各行各业都愿为…
阅读更多...
ZOC8 for Mac：最佳终端仿真器，助力您的工作效率飞升！

ZOC8 for Mac：最佳终端仿真器，助力您的工作效率飞升！

在现代的工作环境中，终端仿真器扮演着不可或缺的角色。无论是开发人员、系统管理员还是网络工程师，都需要一个功能强大、易于使用的终端仿真器来处理各种任务。而ZOC8 for Mac正是为这些专业人士而打造的最佳选择。 作为一款全功能的终端仿真软件&#…
阅读更多...
Apache SCXML2 RCE漏洞

Apache SCXML2 RCE漏洞

文章目录 前言源码利用上传恶意xml文件构造payload搭建Apache服务器 远程RCE 前言 在做 [HDCTF 2023]BabyJxVx 遇到的知识点，但是没公网的服务器只能作罢，写下这篇文章记录 源码利用 public String Flag(RequestParam(required true) String filenam…
阅读更多...
微信如何设置自动保存图片和视频

微信如何设置自动保存图片和视频

8-6 在日常的工作中，如果你需要经常或者每天都要对同事们发来的大量图片和视频进行保存的，这种工作需要花费很多时间，如果你想节省这些手工时间的话，也许本文适合你，首先要明白的是，微信本身是没有任何相关…
阅读更多...
备战旺季，赛盈分销解析2023年美国人爱买的年终爆款！

备战旺季，赛盈分销解析2023年美国人爱买的年终爆款！

今年10月份美国人增加了自己在线上渠道的支出，Adobe Analytics的调查报告显示，美国消费者当月的线上支出达到了768亿美元，同比增长5.9%。 数据还表明，1-10月份美国人的线上购物相比去年增长了4.3%，整体消费达到7590亿…
阅读更多...
二十、泛型（9）

二十、泛型（9）

本章概要 对缺乏潜在类型机制的补偿 反射将一个方法应用于序列 Java 8 中的辅助潜在类型 使用 Suppliers 类的通用方法 总结：类型转换真的如此之糟吗？ 对缺乏潜在类型机制的补偿 尽管 Java 不直接支持潜在类型机制，但是这并不意味着泛型代…
阅读更多...
笔记53：torch.nn.rnn() 函数详解

笔记53：torch.nn.rnn() 函数详解

参数解释： （1）input_size()：即输入信息 Xt 的每个序列的独热编码向量的长度，即 len(vocab) （2）hidden_size()：即隐变量 h 的维度（维度是多少，就代表用几个数…
阅读更多...
北京君正客户应用案例：掌静脉3D人脸猫眼视屏智能锁

北京君正客户应用案例：掌静脉3D人脸猫眼视屏智能锁

凯迪仕在今年4月发布了智能锁旗舰新品K70 Pro Max掌静脉3D人脸猫眼视屏智能锁，随即这款新品也成了行业热议的焦点。凯迪仕每次新品都力求突破精益求精，不仅追求科技感、高级感与品质感，而且赋予科技温度，带来人文化的关怀。K70 Pr…
阅读更多...
FPGA——IP核 基础操作

FPGA——IP核 基础操作

FPGA——IP核 基础操作 IP核例化模块时钟IP核RAM IP核 IP核例化模块 找到模版 加入代码中 时钟IP核 配置模式功能 配置输入时钟 输出配置 RAM IP核
阅读更多...
物联网AI MicroPython学习之语法 I2C总线

物联网AI MicroPython学习之语法 I2C总线

学物联网，来万物简单IoT物联网！！ I2C 介绍 模块功能: I2C Master设备驱动 接口说明 I2C - 构建硬件I2C对象 函数原型：I2C(id, scl, sda, freq)参数说明： 参数类型必选参数？说明idintYI2C外设&#xff…
阅读更多...
关于新能源汽车的英语翻译

关于新能源汽车的英语翻译

近年来，随着全球对环保和可持续发展的重视，新能源汽车已经成为汽车产业的重要发展方向。各国政府和企业都在加大投入，推动新能源汽车的技术研发和产业化发展，进而促进了新能源汽车翻译的需求不断提升 。那么，关于新能源…
阅读更多...
免费的快速手机文件解压APP，快冲

免费的快速手机文件解压APP，快冲

各位小伙伴们大家好，今天我要介绍一款手机上必备的神奇工具！你有没有经常遇到需要解压文件情况呢？还在为不知道用哪个软件而烦恼吗？别担心，我给你带来了解决方案 ，就是这一款免费的解压精灵。 解压精灵是一…
阅读更多...
-pthread和-lpthread

-pthread和-lpthread

我试图在我的Ubuntu机器上设置GTest环境.但在使GTest获取库时,我收到以下错误... ../obj/gtest.a(gtest-all.o): In function testing::internal::ThreadLocal<std::vector<testing::internal::TraceInfo, std::allocator<testing::internal::TraceInfo> > >…
阅读更多...
SQL优化

SQL优化

一、巧用limit分页查询&#xff08;id必须有序&#xff09; 二、like百分号向右 说明&#xff1a;全模糊查询或者左边出现%的模糊查询会导致索引失效&#xff0c;应该尽量从查询方式或表结构设计上避免&#xff0c;若无法避免且数据量庞大的情况下&#xff0c;一定要使用elasti…
阅读更多...
openGauss学习笔记-123 openGauss 数据库管理-设置账本数据库-账本数据库概述

openGauss学习笔记-123 openGauss 数据库管理-设置账本数据库-账本数据库概述

文章目录 openGauss学习笔记-123 openGauss 数据库管理-设置账本数据库-账本数据库概述123.1 背景信息123.2 操作步骤 openGauss学习笔记-123 openGauss 数据库管理-设置账本数据库-账本数据库概述 123.1 背景信息 账本数据库融合了区块链思想&#xff0c;将用户操作记录至两…
阅读更多...
最新文章

Copyright @ 2022~2023