高效利用资源：分布式有状态服务的高可靠性设计

在分布式系统设计中，实现有状态服务的高可靠性通常采用主备切换的方式。当主服务停止工作时，备服务接管任务，例如通过Keepalive实现VIP的切换以保证可用性。然而，这种方式存在资源浪费的问题，因为备服务始终处于空转状态，未能充分利用系统资源。

程序的本质与分解

程序本质上由函数、对象（在面向对象语言中）和数据组合而成，通过特定的逻辑完成特定的业务目标。为了提升有状态服务的高可靠性和高可用性，我们可以从数据、函数和对象三个方面对程序进行分解：

  1. 数据持久化：在主备切换时，确保程序中的数据不丢失。通过数据持久化，可以在备服务接管后，基于持久化的数据重新运算，恢复服务状态。
  2. 纯函数设计：如果函数在相同条件下对相同输入总是产生相同输出，并且只完成其固有功能，具备单一职责，这类函数被称为纯函数。设计成纯函数后，可以基于持久化的数据进行重新计算，增强系统的可恢复性。
  3. 无状态对象：对象由数据和方法组成。如果对象的方法输出仅依赖于自身的状态，而不依赖外部状态，则该对象为无状态对象。无状态对象可以通过数据持久化进行重建，提升系统的灵活性和可扩展性。

横向扩展有状态服务的方法

为了实现有状态服务的横向扩展，并充分利用所有硬件资源，我们需要针对不同情况采用不同的方案。本文以Redis作为数据持久化方案为例，阐述如何实现有状态服务的横向扩展。

  • 有状态对象：通过分布式锁确保同一时间仅有一个实例运行，保证控制逻辑的一致性。
  • 纯函数/无状态对象：通过分布式任务调度器将任务分发到多个节点并行运行。
    在这里插入图片描述

1. 管理有状态对象

如果程序中的对象为有状态对象，即对象的行为不仅依赖自身状态，还依赖外部状态。为了保证状态的一致性与正确性，此类对象只能在一个服务实例中运行。可以通过Redis构建分布式锁来实现这一点。当多个实例同时运行时，只有一个实例能够获取分布式锁并执行计算任务。
在这里插入图片描述

Redisson 示例：

import org.redisson.Redisson;
import org.redisson.api.RLock;
import org.redisson.api.RedissonClient;
import org.redisson.config.Config;

public class DistributedLockExample {
    public static void main(String[] args) {
        Config config = new Config();
        config.useSingleServer().setAddress("redis://localhost:6379");
        RedissonClient redisson = Redisson.create(config);

        RLock lock = redisson.getLock("myLock");
        lock.lock();
        try {
            // 执行业务逻辑
            System.out.println("Lock acquired, executing business logic.");
        } finally {
            lock.unlock();
            redisson.shutdown();
        }
    }
}

2. 处理纯函数与无状态对象

如果函数是纯函数或对象是无状态的，这意味着函数的执行无副作用，可以在多个实例上并行运行。在这种情况下，尽管多个实例同时处理请求，但由于函数和对象的无状态特性，可以确保结果的正确性。

然而，纯函数和无状态对象的并行计算无法实现运算负载的均衡。为此，可以通过Redisson Executor Service构建分布式执行引擎，将函数和对象分布到不同的节点上计算，以充分利用系统资源。

Redisson 分布式执行引擎示例：
在这里插入图片描述

Redisson Executor Service 分布式执行引擎示例：

import org.redisson.Redisson;
import org.redisson.api.RExecutorService;
import org.redisson.api.RedissonClient;
import org.redisson.config.Config;
import org.redisson.config.ExecutorOptions;
import org.redisson.api.executor.TaskSuccessListener;
import org.redisson.api.executor.TaskFailureListener;

import java.io.Serializable;
import java.util.concurrent.Callable;
import java.util.concurrent.Future;
import java.util.concurrent.TimeUnit;

public class DistributedExecutionExample {
    public static void main(String[] args) throws Exception {
        // 配置Redisson客户端
        Config config = new Config();
        config.useSingleServer().setAddress("redis://localhost:6379");
        RedissonClient redisson = Redisson.create(config);

        // 定义ExecutorOptions
        ExecutorOptions options = ExecutorOptions.defaults()
            .taskRetryInterval(10, TimeUnit.MINUTES);

        // 获取RExecutorService实例
        RExecutorService executorService = redisson.getExecutorService("myExecutor", options);

        // 提交Runnable任务
        executorService.submit(new RunnableTask(123));

        // 提交Callable任务并获取结果
        Future<Long> future = executorService.submit(new CallableTask());
        Long result = future.get();
        System.out.println("Callable任务结果: " + result);

        // 提交Lambda任务
        Future<Long> lambdaFuture = executorService.submit((Callable<Long> & Serializable) () -> {
            System.out.println("Lambda任务已执行！");
            return 100L;
        });
        Long lambdaResult = lambdaFuture.get();
        System.out.println("Lambda任务结果: " + lambdaResult);

        redisson.shutdown();
    }

    // 定义Callable任务
    public static class CallableTask implements Callable<Long>, Serializable {
        private static final long serialVersionUID = 1L;

        @org.redisson.api.annotation.RInject
        private transient RedissonClient redissonClient;

        @org.redisson.api.annotation.RInject
        private transient String taskId;

        @Override
        public Long call() throws Exception {
            RMap<String, Integer> map = redissonClient.getMap("myMap");
            Long result = 0L;
            for (Integer value : map.values()) {
                result += value;
            }
            return result;
        }
    }

    // 定义Runnable任务
    public static class RunnableTask implements Runnable, Serializable {
        private static final long serialVersionUID = 1L;

        @org.redisson.api.annotation.RInject
        private transient RedissonClient redissonClient;

        @org.redisson.api.annotation.RInject
        private transient String taskId;

        private long param;

        public RunnableTask() {
        }

        public RunnableTask(long param) {
            this.param = param;
        }

        @Override
        public void run() {
            RAtomicLong atomic = redissonClient.getAtomicLong("myAtomic");
            atomic.addAndGet(param);
            System.out.println("Runnable任务已执行，参数：" + param);
        }
    }
}

Worker 注册示例：

import org.redisson.Redisson;
import org.redisson.api.RExecutorService;
import org.redisson.api.RedissonClient;
import org.redisson.config.Config;
import org.redisson.api.executor.WorkerOptions;

public class WorkerRegistrationExample {
    public static void main(String[] args) {
        // 配置Redisson客户端
        Config config = new Config();
        config.useSingleServer().setAddress("redis://localhost:6379");
        RedissonClient redisson = Redisson.create(config);

        // 定义WorkerOptions
        WorkerOptions options = WorkerOptions.defaults()
            .setWorkers(2) // 定义使用的Worker数量
            .setTaskTimeout(60, TimeUnit.SECONDS) // 设置任务超时时间
            .addListener(new TaskSuccessListener<Long>() {
                @Override
                public void onSucceeded(String taskId, Long result) {
                    System.out.println("任务 " + taskId + " 成功完成，结果: " + result);
                }
            })
            .addListener(new TaskFailureListener() {
                @Override
                public void onFailed(String taskId, Throwable exception) {
                    System.out.println("任务 " + taskId + " 失败，异常: " + exception.getMessage());
                }
            });

        // 获取RExecutorService实例并注册Workers
        RExecutorService executor = redisson.getExecutorService("myExecutor");
        executor.registerWorkers(options);

        // Redisson节点无需包含任务类，任务类由Redisson节点的ClassLoader自动加载

        redisson.shutdown();
    }
}

性能与限制

Redisson Executor Service 的性能表现

Redisson Executor Service 通过利用 Redis 作为任务队列，实现了分布式任务的调度与执行。这种架构在以下场景下表现出色：

  1. 高并发任务处理：

    • 优势：Redis 的高吞吐量使得 Redisson Executor Service 能够快速地提交和分发任务，适用于大量短时间内需要处理的任务。
    • 优化建议：确保 Redis 服务器具备足够的资源（如内存和网络带宽），以应对高并发需求。使用 Redis 集群来分担负载，提升系统的整体吞吐量。

  2. 延迟敏感型任务：

    • 优势：由于任务调度和执行的低延迟特性，适用于需要快速响应的应用场景，如实时数据处理和即时反馈系统。
    • 优化建议：优化网络延迟，部署 Redis 服务器尽量靠近应用服务器。同时，合理配置 Redisson 的线程池，确保任务能够及时被处理。

  3. 长时间运行的任务：

    • 限制：Redisson Executor Service 更适用于短时间内完成的任务。对于长时间运行的任务，可能会占用大量资源，导致其他任务的延迟增加。
    • 优化建议：将长时间运行的任务拆分为多个子任务，通过批处理或工作流管理来处理。同时，监控任务的执行时间，设置合理的任务超时时间（taskTimeout），避免资源被单个任务长时间占用。

  4. 任务依赖与复杂流程：

    • 限制：Redisson Executor Service 主要适用于独立的任务执行，对于有复杂依赖关系的任务流程管理能力有限。
    • 优化建议：结合其他工作流引擎（如 Apache Airflow 或 Spring Batch）来管理复杂的任务依赖关系，同时使用 Redisson Executor Service 处理独立的子任务。

潜在限制

  1. 单点瓶颈：

    • 问题：虽然 Redis 本身支持高性能，但在极端高负载情况下，单个 Redis 节点可能成为性能瓶颈。
    • 解决方案：采用 Redis 集群架构，将数据和任务负载分散到多个 Redis 节点，以提升整体性能和可用性。

  2. 任务持久性与可靠性：

    • 问题：如果 Redis 实例发生故障，尚未处理的任务可能会丢失，影响系统的可靠性。
    • 解决方案：启用 Redis 持久化（RDB 或 AOF），并配置 Redis 主从复制，确保数据在节点故障时可以快速恢复。此外，结合 Redisson 的任务重试机制，确保任务不因临时故障而丢失。

  3. 网络依赖性：

    • 问题：Redisson Executor Service 依赖于网络连接 Redis，如果网络不稳定，可能导致任务提交失败或执行延迟。
    • 解决方案：部署 Redis 服务器和应用服务器在同一数据中心或局域网内，减少网络延迟和抖动。使用高可用的网络架构，确保网络的稳定性和可靠性。

  4. 任务序列化开销：

    • 问题：任务和结果对象需要序列化和反序列化，可能带来性能开销，特别是在任务数据量较大时。
    • 解决方案：优化任务对象的序列化方式，选择高效的序列化协议（如 Kryo 或 Protostuff），减少序列化和反序列化的时间开销。

容错与可靠性

故障恢复机制

  1. 任务重试机制：

    • 实现方式：Redisson Executor Service 支持任务的自动重试，当任务执行失败或超时后，可以根据配置的重试间隔（taskRetryInterval）自动重新提交任务。
    • 优化建议：根据任务的重要性和执行环境，合理配置重试次数和间隔时间，避免过度重试导致系统负载过高。同时，结合幂等性设计，确保任务在多次重试后仍能保证数据一致性。

  2. 任务确认机制：

    • 实现方式：通过任务监听器（如 TaskSuccessListener 和 TaskFailureListener），可以实时监控任务的执行状态，及时处理执行成功或失败的任务。
    • 优化建议：在任务失败时，结合监控系统（如 Prometheus 和 Grafana）触发告警，快速响应并修复潜在问题。同时，可以根据失败原因，动态调整任务的执行策略。

  3. 数据备份与持久化：

    • 实现方式：启用 Redis 的持久化机制（RDB 或 AOF），确保任务队列的数据在 Redis 意外重启或宕机时能够快速恢复。
    • 优化建议：结合 Redis 集群和主从复制，部署多副本以提升数据的持久性和可用性。同时，定期备份 Redis 数据，防止数据丢失。

容错机制

  1. 高可用 Redis 部署：

    • 实现方式：通过 Redis Sentinel 或 Redis 集群，实现 Redis 的自动故障转移和主从切换，确保 Redis 服务的高可用性。
    • 优化建议：合理配置 Sentinel 或 Redis 集群，设置合适的故障检测和自动恢复策略，确保在 Redis 节点故障时能够迅速切换到健康节点，最小化服务中断时间。

  2. 分布式锁的健壮性：

    • 实现方式：在管理有状态对象时，使用 Redisson 提供的分布式锁机制，确保在多个实例中只有一个实例能够持有锁并执行任务。
    • 优化建议：合理设置锁的自动释放时间，防止因实例故障导致锁无法释放。同时，结合锁续租机制，确保在长时间任务执行时锁不会意外过期。

  3. 冗余服务实例：

    • 实现方式：部署多个服务实例，并通过负载均衡器（如 Nginx 或 HAProxy）进行流量分配，避免单点故障导致服务不可用。
    • 优化建议：结合自动伸缩（Auto Scaling）策略，根据系统负载动态调整服务实例的数量，确保在高负载时仍能保持高可用性。同时，定期健康检查服务实例，及时处理故障实例。

  4. 监控与报警：

    • 实现方式：部署全面的监控系统，实时监控 Redis 和 Redisson Executor Service 的性能指标（如任务队列长度、任务执行时间、错误率等），并配置告警机制。
    • 优化建议：使用 Prometheus 收集指标数据，并通过 Grafana 可视化展示。同时，设置多渠道告警（如邮件、短信、钉钉等），确保在出现异常时能够快速响应和处理。

灾难恢复策略

  1. 跨数据中心冗余：

    • 实现方式：将 Redis 集群部署在多个数据中心，确保在某个数据中心发生灾难性故障时，其他数据中心能够继续提供服务。
    • 优化建议：配置异地复制（如 Redis 的跨集群复制），确保数据在不同数据中心同步更新。同时，定期进行跨数据中心的故障演练，确保灾难恢复方案的有效性。

  2. 备份与恢复测试：

    • 实现方式：定期备份 Redis 数据，并在需要时进行恢复测试，确保备份数据的完整性和可用性。
    • 优化建议：采用增量备份和全量备份相结合的策略，减少备份时间和存储空间。同时，自动化恢复流程，确保在需要恢复时能够快速执行，最小化系统的停机时间。

通过以上的性能优化和容错机制设计，可以大幅提升 Redisson Executor Service 在分布式有状态服务中的表现和可靠性，确保系统在各种场景下都能稳定、高效地运行。

结论

为了避免传统主备切换中的资源浪费，可以将有状态服务拆分为数据、纯函数和对象，通过数据持久化和分布式计算实现高效扩展。利用 Redis 提供分布式锁和持久化支持，并借助 Redisson 实现分布式任务调度和并行计算，有状态的任务通过加锁在单实例上运行，无状态的任务则在多个实例间并行分发。此策略不仅提升了资源利用率，还增强了系统的可靠性和可扩展性。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/935761.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

解读数据资产管理实践白皮书（5.0版）深入学习掌握数据资产管理知识体系。

解读数据资产管理实践白皮书（5.0版）深入学习掌握数据资产管理知识体系。

本文介绍了数据资产管理的重要性及其概述&#xff0c;详细阐述了数据资产管理的活动职能包括数据模型管理、数据标准管理、数据质量管理等&#xff0c;并强调了数据安全管理的重要性。文章还讨论了数据资产管理的保障措施和实践步骤&#xff0c;以及发展趋势和总结展望。 重点内…
阅读更多...
使用IP自签名SSL证书

使用IP自签名SSL证书

最近需要创建WebSocket服务器并使用SSL证书&#xff0c;由于是内网测试&#xff0c;所以需要使用指定IP的自签SSL证书。 其实笔者前面博文 使用nexus3作为Docker镜像仓库 解决nexus3登录x509: certificate has expired or is not yet valid 中有创建过相应的证书&#xff0c;这…
阅读更多...
location和重定向、代理

location和重定向、代理

location匹配的规则和优先级 在nginx当中&#xff0c;匹配的对象一般是URI来匹配 http://192.168.233.62/usr/local/nginx/html/index.html 182.168.233.61/ location匹配的分类&#xff1a; 多个location一旦匹配其中之一&#xff0c;不在匹配其他location 1、精确匹配 …
阅读更多...
Maven学习（传统Jar包管理、Maven依赖管理(导入坐标)、快速下载指定jar包）

Maven学习（传统Jar包管理、Maven依赖管理(导入坐标)、快速下载指定jar包）

目录 一、传统Jar包管理。 &#xff08;1&#xff09;基本介绍。 &#xff08;2&#xff09;传统的Jar包导入方法。 1、手动寻找Jar包。并放置到指定目录下。 2、使用IDEA的库管理功能。 3、配置环境变量。 &#xff08;3&#xff09;传统的Jar包管理缺点。 二、Maven。 &#…
阅读更多...
【Java笔记】LinkedList 底层结构

【Java笔记】LinkedList 底层结构

一、LinkedList 的全面说明 LinkedList底层实现了双向链表和双端队列特点可以添加任意元素(元素可以重复)&#xff0c;包括null线程不安全&#xff0c;没有实现同步 二、LinkedList 的底层操作机制 三、LinkedList的增删改查案例 public class LinkedListCRUD { public stati…
阅读更多...
Linux中的线程

Linux中的线程

目录 线程的概念 进程与线程的关系 线程创建 线程终止 线程等待 线程分离 原生线程库 线程局部存储 自己实现线程封装 线程的优缺点 多线程共享与独占资源 线程互斥 互斥锁 自己实现锁的封装 加锁实现互斥的原理 死锁 线程同步 线程的概念 回顾进程相关概念 …
阅读更多...
django应用JWT(JSON Web Token)实战

django应用JWT(JSON Web Token)实战

文章目录 一、什么是JWT二、为什么使用JWT三、在django项目中如何应用JWT 1、安装djangorestframework-simplejwt库&#xff1a;2、在settings.py中配置JWT认证&#xff1a;3、在urls.py中配置JWT的获取和刷新路由&#xff1a; 四、JWT如何使用 1、调用生成JWT的接口获取JWT2、…
阅读更多...
如何借助5G网关实现油罐车安全在线监测

如何借助5G网关实现油罐车安全在线监测

油罐车是常见的特种运输车辆&#xff0c;用以运送各种汽油、柴油、原油等油品&#xff0c;运输危险系数大&#xff0c;而且由于油罐车需要经常行驶在城区道路&#xff0c;为城市各个加油站点、企业工厂运输补充所需油料&#xff0c;因此也是危化品运输车辆的重点监测和管控对象…
阅读更多...
EXCEL数据清洗的几个功能总结备忘

EXCEL数据清洗的几个功能总结备忘

目录 0 参考教材 1 用EXCEL进行数据清洗的几个功能 2 删除重复值&#xff1a; 3 找到缺失值等 4 大小写转换 5 类型转化 6 识别空格 0 参考教材 精通EXCEL数据统计与分析&#xff0c;中国&#xff0c;李宗璋用EXCEL学统计学&#xff0c;日EXCEL统计分析与决策&#x…
阅读更多...
知行之桥EDI系统V2024 12月9111版本更新

知行之桥EDI系统V2024 12月9111版本更新

知行之桥EDI系统V2024于12月推出版本更新&#xff08;版本号&#xff1a;9111&#xff09;&#xff0c;在原有产品的基础上进行了一系列的新增、更改和修复&#xff0c;以确保 EDI 和 MFT 集成尽可能的简单化。 主要特性 新增 新增EDI 交易伙伴管理控制台 交易伙伴管理控制台…
阅读更多...
PDF 文件如何转为 CAD 图纸？PDF2CAD 使用教程

PDF 文件如何转为 CAD 图纸？PDF2CAD 使用教程

在工程设计和建筑行业中&#xff0c;PDF 文件常常被用来分享和存档图纸。然而&#xff0c;当需要对这些图纸进行编辑或进一步开发时&#xff0c;静态的 PDF 格式就显得力不从心了。这时候&#xff0c;将 PDF 文件转换为可编辑的 CAD&#xff08;计算机辅助设计&#xff09;格式…
阅读更多...
JAVA守护线程和本地线程的区别？

JAVA守护线程和本地线程的区别？

大家好&#xff0c;我是锋哥。今天分享关于【JAVA守护线程和本地线程的区别&#xff1f;】面试题。希望对大家有帮助&#xff1b; JAVA守护线程和本地线程的区别&#xff1f; 在 Java 中&#xff0c;守护线程&#xff08;Daemon Thread&#xff09;和本地线程&#xff08;User…
阅读更多...
SpringBoot中集成常见邮箱中容易出现的问题

SpringBoot中集成常见邮箱中容易出现的问题

本来也没打算想写得。不过也是遇到一些坑&#xff0c;就记录一下吧&#xff0c;也折腾了小半天 1.maven配置 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-mail</artifactId></dependency>2…
阅读更多...
数据分析与可视化：用 Python 处理、分析与展示数据

数据分析与可视化：用 Python 处理、分析与展示数据

数据分析与可视化&#xff1a;用 Python 处理、分析与展示数据 Python 在数据分析领域有着非常强大的生态和灵活性&#xff0c;从数据清洗、处理&#xff0c;到分析、可视化&#xff0c;它几乎无所不能。今天&#xff0c;我们一起来聊聊如何用 Python 处理、分析和展示数据&…
阅读更多...
Chrome浏览器调用ActiveX控件--allWebOffice控件

Chrome浏览器调用ActiveX控件--allWebOffice控件

背景 allWebOffice控件能够实现在浏览器窗口中在线操作文档的应用&#xff08;阅读、编辑、保存等&#xff09;&#xff0c;支持编辑文档时保留修改痕迹&#xff0c;支持书签位置内容动态填充&#xff0c;支持公文套红&#xff0c;支持文档保护控制等诸多办公功能&#xff0c;…
阅读更多...
ESXI6.7开启SSH密码通过Xshell登录

ESXI6.7开启SSH密码通过Xshell登录

背景 近期服务器安装了ESXI6.7&#xff0c;想通过SSH到终端把/var/log/下的所有日志文件下载下来 解决方案 1、esxi开启ssh登录 2、选择Troubleshooting Options 3、开启SSH 4、打开ESXi的web页面&#xff0c;设置开启shell 5、使用Xshell连接&#xff0c;方法一定要勾选Keybo…
阅读更多...
Vue宏观理解

Vue宏观理解

文章目录 1 Vue是什么2 前端运行环境和工具3 环境搭建3.1 node.js安装3.2 Vite环境安装 4 Vue项目开发4.1 Vue项目开发开发方式4.2 Vue项目结构4.3 启动Vue项目4.4 Vue开发4.4 Vue工程运行流程 1 Vue是什么 Vue是一款Web前端JavaScript 框架&#xff1b; 官网&#xff1a;http…
阅读更多...
Redis安装和Python练习（Windows11 + Python3.X + Pycharm社区版)

Redis安装和Python练习（Windows11 + Python3.X + Pycharm社区版)

环境 Windows11 Python3.X Pycharm社区版 思路 1 github下载redis压缩包 &#xff0c;安装并启动redis服务&#xff0c;在客户端连接redis服务。 2 在pycharm中运行python程序&#xff0c;连接redis服务&#xff0c;熟悉redis的使用和巩固python语言。 3 python开发环境…
阅读更多...
Alan Chhabra：MongoDB AI应用程序计划(MAAP) 为客户提供价值

Alan Chhabra：MongoDB AI应用程序计划(MAAP) 为客户提供价值

MongoDB全球合作伙伴执行副总裁 Alan Chhabra 每当有人向我问询MongoDB&#xff0c;我都会说他们很可能在不觉之间已经与MongoDB有过交集。事实上&#xff0c;包括70%财富百强在内的许多世界领先企业公司都在使用MongoDB。我们在MongoDB所做的一切都是为了服务客户&#xff0c…
阅读更多...
蓝桥杯历届真题 --#递推 翻硬币(C++)

蓝桥杯历届真题 --#递推 翻硬币(C++)

文章目录 思路完整代码结语 原题链接 思路 通过观察测试用例&#xff0c;我们猜测&#xff0c;从左到右依次对比每一个位置上的状态&#xff0c;如果不一样我们就翻一次&#xff0c;最终得到的答案即为正解。 完整代码 //这里是引入了一些常用的头文件,和一些常规操作 //第一…
阅读更多...
最新文章

Copyright @ 2022~2023