Spring Boot 整合xxl-job实现分布式定时任务

xxl-job介绍

XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。

xxl是xxl-job的开发者大众点评的许雪里名称的拼音开头。

设计思想

  • 将调度行为抽象形成“调度中心”公共平台，而平台自身并不承担业务逻辑，“调度中心”负责发起调度请求。

  • 将任务抽象成分散的JobHandler，交由“执行器”统一管理，“执行器”负责接收调度请求并执行对应的JobHandler中业务逻辑。

因此，“调度”和“任务”两部分可以相互解耦，提高系统整体稳定性和扩展性；

系统组成

  • 调度模块（调度中心）：
    负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码。调度系统与任务解耦，提高了系统可用性和稳定性，同时调度系统性能不再受限于任务模块；
    支持可视化、简单且动态的管理调度信息，包括任务新建，更新，删除，GLUE开发和任务报警等，所有上述操作都会实时生效，同时支持监控调度结果以及执行日志，支持执行器Failover。
  • 执行模块（执行器）：
    负责接收调度请求并执行任务逻辑。任务模块专注于任务的执行等操作，开发和维护更加简单和高效；
    接收“调度中心”的执行请求、终止请求和日志请求等。

总体架构图

在这里插入图片描述

执行流程

在这里插入图片描述

原理分析

1、执行器的注册和发现
执行器的注册和发现主要是关系两张表：

  • xxl_job_group：每个服务注册的实例列表。
  • xxl_job_registry：执行器的实例表，保存实例信息和心跳信息。

执行器启动线程每隔30秒向注册表xxl_job_registry请求一次，更新执行器的心跳信息，调度中心启动 线程每隔30秒检测一次xxl_job_registry，将超过90秒还没有收到心跳的实例信息从xxl_job_registry删除，并更新xxl_job_group服务的实例列表信息。

2、调度中心调用执行器

调度中心的操作：

调度中心通过循环不停的：

关闭自动提交事务

利用mysql的悲观锁，其他事务无法进入

select * from xxl_job_lock where lock_name = 'schedule_lock' for update

3、读取数据库中的xxl_job_info：记录定时任务的相关信息，该表中有trigger_next_time字段表示下一次任务的触发时间。拿到距离当前时间5s内的任务列表，分为三种情况处理：

  • 对于当前时间-任务的下一次触发时间>5，直接跳过不执行，重置trigger_next_time的时间。(超过5s)

  • 对于任务的下一次触发时间<当前时间<任务的下一次触发时间+5的任务（不超过5s的）：

​ 开线程处理执行触发逻辑，根据当前时间更新下一次任务触发时间

​ 如果新的任务下一次触发时间-当前时间<5,放到时间轮中，时间轮是一个map：

 private volatile static Map<Integer, List<Integer>> ringData = new ConcurrentHashMap<>();

​ 根据新的任务下一次触发时间更新下下一次任务触发时间

  • 对于任务的下一次触发时间>当前时间，将其放入时间轮中，根据任务下一次触发时间更新下下一次任务触发时间

4、commit提交事务，同时释放排他锁

5、执行器的操作：

  • 执行器接收到调度中心的调度信息，将调度信息放到对应的任务的等待队列中
  • 执行器的任务处理线程从任务队列中取出调度信息，执行业务逻辑，将结果放入一个公共的等待队列中（每个任务都有一个单独的处理线程和等待队列，任务信息放入该队列中）
  • 执行器有一个专门的回调线程定时批量从结果队列中取出任务结果，并且回调告知调度中心

关于更多的详细介绍推荐阅读官方文档[^1]：

https://www.xuxueli.com/xxl-job/

xxl-job快速入门

Spring Boot集成XXL-JOB 主要需要配置以下两项：

  • 配置运行调度中心（xxl-job-admin）
  • 配置运行执行器项目

项目准备及脚本初始化

从如下代码仓库中下载xxl-job-admin

https://gitee.com/xuxueli0323/xxl-job

在这里插入图片描述

下载完成后使用IDEA打开该项目，进行项目构建。

构建完成后，执行项目的doc/db文件夹下面的tables_xxl_job.sql数据库脚本，进行调度数据库表的初始化。

在这里插入图片描述

1699783089231)

数据表说明
xxl_job_lock任务调度锁表
xxl_job_group执行器信息表，维护任务执行器信息
xxl_job_info调度扩展信息表： 用于保存XXL-JOB调度任务的扩展信息，如任务分组、任务名、机器地址、执行器、执行入参和报警邮件等等
xxl_job_log调度日志表： 用于保存XXL-JOB任务调度的历史信息，如调度结果、执行结果、调度入参、调度机器和执行器等等
xxl_job_log_report调度日志报表：用户存储XXL-JOB任务调度日志的报表，调度中心报表功能页面会用到
xxl_job_logglue任务GLUE日志：用于保存GLUE更新历史，用于支持GLUE的版本回溯功能
xxl_job_registry执行器注册表，维护在线的执行器和调度中心机器地址信息
xxl_job_user系统用户表

配置调度中心

修改配置文件，主要配置datasource 以及 email。

application.properties

### web
server.port=9100

### xxl-job, datasource
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/ballcat?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=xxkfz
spring.datasource.password=xxkfz
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver

注：由于小编默认8080端口被占用，这里修改了一下项目的端口号：

server.port=9100

配置完成后启动下面主启动类，启动项目：

XxlJobAdminApplication.java

启动完成后，访问地址为：http://localhost:8080/xxl-job-admin，默认的用户为 admin，密码 123456，即可进入后台管理系统页面。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

至此，调度中心配置完成，接下来进行执行器的项目配置。

配置执行器项目(整合Spring Boot项目)

该部分官方已经给出具体的案例，因此我们只需对本案例进行整合或修改即可。

官方案例对应工程：xxl-job-executor-sample-springboot

引入依赖
<!-- xxl-job-core -->
<dependency>
   <groupId>com.xuxueli</groupId>
   <artifactId>xxl-job-core</artifactId>
   <version>${project.parent.version}</version>
</dependency>

注：此处版本要与 xxl-job-admin 中版本保持一致！

引入配置类

XxlJobConfig.java

我们直接从xxl-job-executor-sample-springboot项目中把XxlJobConfig.java配置类复制到你的项目中即可，不需要进行任何的修改。

@Configuration
public class XxlJobConfig {
    private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.accessToken}")
    private String accessToken;

    @Value("${xxl.job.executor.appname}")
    private String appname;

    @Value("${xxl.job.executor.address}")
    private String address;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.executor.logpath}")
    private String logPath;

    @Value("${xxl.job.executor.logretentiondays}")
    private int logRetentionDays;


    @Bean
    public XxlJobSpringExecutor xxlJobExecutor() {
        logger.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppname(appname);
        xxlJobSpringExecutor.setAddress(address);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);

        return xxlJobSpringExecutor;
    }
    
}
修改项目配置文件
# web port
server.port=8098
# no web
#spring.main.web-environment=false

# log config
logging.config=classpath:logback.xml


### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
xxl.job.admin.addresses=http://127.0.0.1:9100/xxl-job-admin

### xxl-job, access token
xxl.job.accessToken=default_token

### xxl-job executor appname
xxl.job.executor.appname=xxkfz-job-fileExport
### xxl-job executor registry-address: default use address to registry , otherwise use ip:port if address is null
xxl.job.executor.address=
### xxl-job executor server-info
xxl.job.executor.ip=
xxl.job.executor.port=9999
### xxl-job executor log-path
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### xxl-job executor log-retention-days
xxl.job.executor.logretentiondays=30
编写测试类

TaskConfig.java

@Component
@Slf4j
public class TaskConfig {

    @XxlJob("fileExport")
    public void execute() {
        log.debug("文件开始导出了......");
    }
}
任务配置

新增执行器

在这里插入图片描述

配置任务

在这里插入图片描述

测试

点击执行一次查看逻辑是否执行，控制台是否打印日志。

注：若需要项目一致保持运行，选择启动即可。

在这里插入图片描述

运行结果

控制台输出日志

在这里插入图片描述

以上就是Spring Boot集成XXL-JOB的具体详细过程，感谢阅读。

参考资料

[1] XXL-JOB分布式任务调度平台： https://www.xuxueli.com/xxl-job/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/135969.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

CDN加速与网站服务器优化提速的区别

CDN加速与网站服务器优化提速的区别

在当今数字化时代&#xff0c;网站性能成为了业务成功的关键因素之一。为了提升用户体验和页面加载速度&#xff0c;许多网站采取了不同的优化手段&#xff0c;其中CDN加速和网站服务器优化提速是两个重要的方向。然而&#xff0c;它们在实现高效网站性能方面有着不同的角色和功…
阅读更多...
【86 backtrader实现crypto交易策略】backtrader和ccxt对接实现中低频自动化交易-01

【86 backtrader实现crypto交易策略】backtrader和ccxt对接实现中低频自动化交易-01

最近有点空闲，尝试把backtrader和一些实盘交易的接口对接一下，方便大家进行中低频交易，主要目标包括：股票(qmt),期货(ctpbee), crypto(ccxt),外盘交易(ib，已实现，但是版本比较旧，后期会继续更新). 这个周末尝试实现了backtrader和ccxt的对接，主要是参考了下面的开源代…
阅读更多...
k8s 1.28.3 使用containerd

k8s 1.28.3 使用containerd

文章目录 环境说明最终结果环境配置时钟同步 主机名称配置主机名解析关闭swap安装ipvs 安装containerd安装containerd生成配置修改配置开启containerd服务 安装runc安装k8s安装kubelet kubeadm kubectl获取kubernetes 1.28组件容器镜像 拉取镜像初始化集群方法一&#xff08;不…
阅读更多...
一文读懂微前端

一文读懂微前端

1 语雀文档 https://www.yuque.com/chanwj/vlkwxk/qvpv3kqws5hno3qt?singleDoc# 《微前端》本文使用的参考文档均以链接方式粘贴于文章内&#xff0c;十分感谢~ 2 项目github链接 如果你觉得本文档对你有用&#xff0c;恳请github仓库给个star~https://github.com/OmegaCh…
阅读更多...
231112-中文错别字识别与纠正问题的大模型与小模型调研

231112-中文错别字识别与纠正问题的大模型与小模型调研

A. 引言 当前&#xff0c;以ChatGPT为代表的大语言模型&#xff08;Large Language Models, LLMs&#xff09;正引领着新一轮工业革命。ChatGPT最开始的研究领域隶属于NLP的一个子问题&#xff0c;其输入是text&#xff0c;输出也是text。在从文本输入到文本输出的诸多应用场景…
阅读更多...
No177.精选前端面试题，享受每天的挑战和学习

No177.精选前端面试题，享受每天的挑战和学习

🤍 前端开发工程师（主业）、技术博主（副业）、已过CET6 🍨 阿珊和她的猫_CSDN个人主页 🕠 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 🍚 蓝桥云课签约作者、已在蓝桥云课上架的前后端实战课程《Vue.js 和 Egg.js 开发企业级健康管理项目》、《带你从入…
阅读更多...
PgSQL技术内幕-Analyze做的那些事-pg_statistic系统表

PgSQL技术内幕-Analyze做的那些事-pg_statistic系统表

PgSQL的优化器为一个查询生成一个执行效率相对较高的物理执行计划树。执行效率的高低依赖于代价估算。比如估算查询返回的记录条数、记录宽度等&#xff0c;就可以计算出IO开销&#xff1b;也可以根据要执行的物理操作估算出CPU代价。那么估算依赖的信息来源哪呢&#xff1f;系…
阅读更多...
代理模式-静态动态代理-jdk动态代理-cglib动态代理

代理模式-静态动态代理-jdk动态代理-cglib动态代理

代理模式 静态代理 动态代理&#xff1a;jdk动态代理 cglib动态代理 注意 &#xff1a;下面的代码截图 要配合文字去看 我对代码的每一步都做了解释 所以需要配合图片观看提取吗1111https://pan.baidu.com/s/1OxQSwbQ--t5Zvmwzjh1T0A?pwd1111 这里直接把项目文件 及代码 …
阅读更多...
【Seata源码学习 】 AT模式 第一阶段 @GlobalTransaction的扫描

【Seata源码学习 】 AT模式 第一阶段 @GlobalTransaction的扫描

1. SeataAutoConfiguration 自动配置类的加载 基于SpringBoot的starter机制&#xff0c;在应用上下文启动时&#xff0c;会加载SeataAutoConfiguration自动配置类 # Auto Configure org.springframework.boot.autoconfigure.EnableAutoConfigurationio.seata.spring.boot.aut…
阅读更多...
外中断的应用

外中断的应用

前言 软件基础操作参考这篇博客&#xff1a; LED数码管的静态显示与动态显示&#xff08;KeilProteus&#xff09;-CSDN博客https://blog.csdn.net/weixin_64066303/article/details/134101256?spm1001.2014.3001.5501实验一&#xff1a;P1口上接8个LED灯&#xff0c;在外部…
阅读更多...
cesium如何实现区域下钻

cesium如何实现区域下钻

首先&#xff0c;这里讲一下数据源&#xff0c;数据源是拷贝的DataV.GroAtlas里的数据&#xff0c;这里整合了一下之前发的区域高亮的代码来实现的&#xff0c;单击左键使得区域高亮&#xff0c;每次点击都移除上一次点击的模块&#xff0c;双击左键&#xff0c;实现区域下钻并…
阅读更多...
C++ 对象的拷贝、赋值、清理和移动（MyString类）

C++ 对象的拷贝、赋值、清理和移动（MyString类）

MyString类 MyString.h #ifndef MYSTRING_H #define MYSTRING_H#include <iostream> using namespace std;class MyString {private:char* str nullptr;unsigned int MaxSize 0;public:MyString(); /*默认构造函数*/MyString(unsigned int n); /*有…
阅读更多...
SpringBoot系列-2 自动装配

SpringBoot系列-2 自动装配

背景&#xff1a; Spring提供了IOC机制&#xff0c;基于此我们可以通过XML或者注解配置&#xff0c;将三方件注册到IOC中。问题是每个三方件都需要经过手动导入依赖、配置属性、注册IOC&#xff0c;比较繁琐。 基于"约定优于配置"原则的自动装配机制为该问题提供了一…
阅读更多...
recycleView（二）Grid，中间有间距，left，right，top，bottom没有间距

recycleView（二）Grid，中间有间距，left，right，top，bottom没有间距

1.作用 1.效果图 item的top&#xff0c;bottom&#xff0c;right&#xff0c;left都是0 2.代码 1.关键代码 // 设置RecycleView的item间的间距&#xff0c;上下间距为20排序&#xff0c;左右间距为20排序binding.rv.addItemDecoration(object : RecyclerView.ItemDecorat…
阅读更多...
算法——滑动窗口

算法——滑动窗口

什么是窗口&#xff1f;就是符合题目要求的区域内的数据&#xff0c;将每次符合数据的窗口内的数据记录下来&#xff0c;然后将窗口后移&#xff0c;寻找其他符合要求的数据&#xff0c;每次进入窗口和退出窗口都需要一定的要求 一、 LCR 008. 长度最小的子数组 - 力扣&#…
阅读更多...
数据结构—二叉树的模拟实现（c语言）

数据结构—二叉树的模拟实现（c语言）

目录 一.前言 二.模拟实现链式结构的二叉树 2.1二叉树的底层结构 2.2通过前序遍历的数组"ABD##E#H##CF##G##"构建二叉树 2.3二叉树的销毁 2.4二叉树查找值为x的节点 2.5二叉树节点个数 2.6二叉树叶子节点个数 2.7二叉树第k层节点个数 三.二叉树的遍历 3.1…
阅读更多...
Keras实现图注意力模型GAT

Keras实现图注意力模型GAT

简介&#xff1a;本文实现了一个GAT图注意力机制的网络层&#xff0c;可以在Keras中像调用Dense网络层、Input网络层一样直接搭积木进行网络组合。 一&#xff0c;基本展示 如下图所示&#xff0c;我们输入邻接矩阵和节点特征矩阵之后&#xff0c;可以直接调用myGraphAttention…
阅读更多...
C语言之pthread_once实例总结(八十三)

C语言之pthread_once实例总结(八十三)

简介&#xff1a; CSDN博客专家&#xff0c;专注Android/Linux系统&#xff0c;分享多mic语音方案、音视频、编解码等技术&#xff0c;与大家一起成长&#xff01; 优质专栏&#xff1a;Audio工程师进阶系列【原创干货持续更新中……】&#x1f680; 人生格言&#xff1a; 人生…
阅读更多...
史上最全最新Ubuntu20.04安装教程（图文）

史上最全最新Ubuntu20.04安装教程（图文）

总的来说&#xff0c;安装Ubantu包含以下三个步骤&#xff1a; 一、安装虚拟机 二、Ubuntu镜像下载 三、虚拟机配置 一、安装虚拟机 选择安装VMware Workstation&#xff0c;登录其官网下载安装包&#xff0c;链接如下&#xff1a; 下载 VMware Workstation Pro​www.vmwa…
阅读更多...
设计模式之--原型模式(深浅拷贝)

设计模式之--原型模式(深浅拷贝)

原型模式 缘起 某天&#xff0c;小明的Leader找到小明:“小明啊&#xff0c;如果有个发简历的需求&#xff0c;就是有个简历的模板&#xff0c;然后打印很多份&#xff0c;要去一份一份展示出来&#xff0c;用编程怎么实现呢&#xff1f;” 小明一听&#xff0c;脑袋里就有了…
阅读更多...
最新文章

Copyright @ 2022~2023