项目使用PowerJob

新一代的定时任务框架——PowerJob

简介

PowerJob是基于java开发的企业级的分布式任务调度平台，与xxl-job一样，基于web页面实现任务调度配置与记录，使用简单，上手快速，其主要功能特性如下：

  • 使用简单：提供前端Web界面，允许开发者可视化地完成调度任务的管理（增、删、改、查）、任务运行状态监控和运行日志查看等功能。

  • 定时策略完善：支持 CRON 表达式、固定频率、固定延迟和API四种定时调度策略。

  • 执行模式丰富：支持单机、广播、Map、MapReduce 四种执行模式，其中 Map/MapReduce 处理器能使开发者寥寥数行代码便获得集群分布式计算的能力。

  • 工作流支持：支持在线配置任务依赖关系（DAG），以可视化的方式对任务进行编排，同时还支持上下游任务间的数据传递，以及多种节点类型（判断节点 & 嵌套工作流节点）。

  • 执行器支持广泛：支持 Spring Bean、内置/外置 Java 类，另外可以通过引入官方提供的依赖包，一键集成 Shell、Python、HTTP、SQL 等处理器，应用范围广。

  • 运维便捷：支持在线日志功能，执行器产生的日志可以在前端控制台页面实时显示，降低 debug 成本，极大地提高开发效率。

  • 依赖精简：最小仅依赖关系型数据库（MySQL/PostgreSQL/Oracle/MS SQLServer…）

  • 高可用 & 高性能：调度服务器经过精心设计，一改其他调度框架基于数据库锁的策略，实现了无锁化调度。部署多个调度服务器可以同时实现高可用和性能的提升（支持无限的水平扩展）。

  • 故障转移与恢复：任务执行失败后，可根据配置的重试策略完成重试，只要执行器集群有足够的计算节点，任务就能顺利完成。

相对于其他定时任务框架具有无锁化设计，更强悍的性能支撑，我们通过官网的产品对比可以了解详情：

项目QuartZxxl-jobSchedulerX 2.0PowerJob
定时类型CRONCRONCRON、固定频率、固定延迟、OpenAPICRON、固定频率、固定延迟、OpenAPI
任务类型内置Java内置Java、GLUE Java、Shell、Python等脚本内置Java、外置Java（FatJar）、Shell、Python等脚本内置Java、外置Java（容器）、Shell、Python等脚本
分布式任务无静态分片MapReduce 动态分片MapReduce 动态分片
在线任务治理不支持支持支持支持
日志白屏化不支持支持不支持支持
调度方式及性能基于数据库锁，有性能瓶颈基于数据库锁，有性能瓶颈不详无锁化设计，性能强劲无上限
报警监控无邮件短信邮件，提供接口允许开发者扩展
系统依赖关系型数据库（MySQL、Oracle…）MySQL人民币任意 Spring Data Jpa支持的关系型数据库（MySQL、Oracle…）
DAG 工作流不支持不支持支持支持

官网文档：http://www.powerjob.tech/

定时任务类型

与传统的定时任务框架对比，powerJob支持更多的定时任务类型：

  • API: 通过客户端提供的api接口触发，服务端不会主动调度，适用于与业务服务上下连接或只调度一次的业务场景

  • CRON: 通过cron表达式调度，这是多数定时任务框架都支持的

  • 固定频率：每隔多少毫秒执行一次。

  • 固定延迟：延迟多少毫秒执行一次

  • 工作流：配合工作流进行调度，服务端不会主动调度，当工作流节点执行到该任务时运行。

安装

PowerJob支持两种安装方式，一是通过jar包运行，一是通过docker安装

docker的安装较为简单，且官网有详细说明，这里就不单独讲解了，大家可参考官方文档：

  • https://www.yuque.com/powerjob/guidence/docker-compose

如何通过jar形式运行的

1、首先我们可以在github上下载源码，可以自己编译打包

  • https://github.com/PowerJob/PowerJob

可以在releases中下载指定版本

2、在IDE中打开后，我们powerjob-server就是我们要的服务端源码，可以直接编译，而powerjob-worker-samples就是springboot下的使用示例

3、在运行编译服务端之前，我们需要先创建数据库，在指定的数据库下创建即可

CREATE DATABASE IF NOT EXISTS `powerjob-daily` DEFAULT CHARSET utf8mb4

4、然后将powerjob-server/powerjob-server-starter下的application-daily.properties配置文件中的数据库配置改成你服务器的

其中daily,pre,product 表示日常、预生产、生产环境下的配置，与我们常见的dev, test, prod类似，可以根据需要进行调整

图片

其中还有邮箱及其他配置，如果有需要也可以调整，服务端的参数配置可参考官网文档。

5、我们先来本地运行启动类PowerJobServerApplication一下试试，启动成功后，访问http://localhost:7700，出现登陆页则说明运行成功

图片

6、先注册一个执行器，注意这里的应用名称不能顺便取，下文在客户端的配置的app-name要与该名称保持一致

7、然后用该执行器名和密码登录

8、如下，我们就登录成功了

图片

9、如果需要发布到服务器或虚拟机上运行，可以进行编译打包操作：

1）点击mvn install 将依赖包打包到本地仓库

图片

注意，如果这里报错

Please refer to /Library/project/study/java/PowerJob-4.3.2/powerjob-server/powerjob-server-starter/target/surefire-reports for the individual test results.

那么可以将maven的健康检查关闭

点击如图所示按钮，并且看到test置灰，则表示关闭

图片

2）执行mvn package打包项目

图片

10、在powerjob-server-starter的target目录下即可看到打包出来的jar，将其上传到指定服务器，通过java -jar指令即可运行

图片

定时任务创建

1、创建一个springboot项目，用于定时任务客户端，引入客户端依赖，如果是spring或其他java项目引入，可参考官网文档：

  • https://www.yuque.com/powerjob/guidence/ygonln

<dependency>
    <groupId>tech.powerjob</groupId>
    <artifactId>powerjob-worker-spring-boot-starter</artifactId>
    <version>4.3.2</version>
</dependency>

2、修改配置文件

powerjob:
  worker:
    enabled: true
    enable-test-mode: false
    # 数据传输端口，默认27777
    port: 27777
    # 应用名称，与服务端创建的应用账号的名称保持一致
    app-name: powerjob-agent-test
    # 服务端地址，多个用,隔开
    server-address: 127.0.0.1:7700
    # 通讯协议，4.3.0之后支持http和akka，4.3.0之前仅支持akka，官方推荐http
    protocol: http
    # 任务返回结果信息的最大长度，超过该值将被截断
    max-result-length: 4096
    # 同时运行的轻量级任务数量上限
    max-lightweight-task-num: 1024
    # 同时运行的重量级任务数量上限
    max-heavy-task-num: 64

3、启动类上添加注解@EnableScheduling

4、通过申明BasicProcessor接口，实现process方法来书写一个简单的定时任务示例类，注意要声明为bean

/**
 * @author benjamin_5
 * @Description 简单任务执行器
 * @date 2023/5/3
 */
@Component
public class SimpleJobServer implements BasicProcessor {

    @Override
    public ProcessResult process(TaskContext taskContext) throws Exception {
        String jobParams = taskContext.getJobParams();
        System.out.println("参数: " + jobParams);

        System.out.println("定时任务执行");

        return new ProcessResult(true, "定时任务执行成功");
    }
}

5、启动客户端项目，运行成功后，可以在服务端首页看到机器实例

图片

6、服务端任务管理点击新建任务

其中处理器配置是通过书写处理器的全类路径名来声明的，比如我这里是com.example.powerjobdemo.job.SimpleJobServer

图片

7、创建成功后，可以在列表看到新建的任务

图片

8、打开客户端控制台，也能看到输出的参数和执行打印，说明任务执行成功

图片

9、同时我们可以在运行记录中看到执行日志

图片

图片

至此，针对powerjob的最简单使用就完成了，接下来我们继续来看关于powjob的配置详解

3. 任务配置参数详解

创建任务时我们可以看到如下图所示的配置：

图片

定时信息：

主要选择定时任务类型，支持API, CRON，固定频率、固定延迟、工作流、每日固定间隔等几种定时任务类型。

生命周期：

这是比其他任务框架更便捷的功能，指定了任务的生效周期，如果该任务是预定某时间段内执行的，可以通过该参数配置

执行配置：

  • 执行类型支持单机执行、广播执行、Map执行、MapReduce执行

  • 单机执行表示只需要有一个节点执行任务即可的场景

  • 广播执行表示需要全部节点一同执行的场景，比如清除机器日志、各节点数据统计

  • Map与MapReduce执行都是表示分布式、分批执行，用来拆分计算量、耗时较大的任务，区别在于Map执行是一种简单的数据处理逻辑，特点是将输入数据拆分成多个子块，并交给多个分布式节点同时执行，以提高数据处理效率，适用于简单的数据处理场景

  • MapReduce执行是一种大数据处理框架，处理逻辑是将复杂的数据处理拆分成Map和Reduce阶段进行处理，通过数据分组计算后合并来提供数据处理效率，更适合复杂的大数据场景

运行时配置：

  • 支持HEALTH_FIRST和RANDOM，即第一个健康节点和随机，用于选择执行处理器节点的策略。

  • 最大实例数用于控制处理器节点数量，线程并发度用于控制并发，运行时间限制

更多说明，可在官方文档中查看：

  • https://www.yuque.com/powerjob/guidence/ysug77

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/293457.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

ClickHouse基础介绍

ClickHouse基础介绍

目录 前言 1、什么是clickhouse 2、OLAP场景的关键特征 3、列式存储更适合于OLAP场景的原因 4、clickhouse的独特功能 5、clickhouse的缺点 6、性能 6.1、单个大查询的吞吐量 6.2、处理短查询的延迟时间 6.3、处理大量短查询的吞吐量 6.4、数据的写入性能 前言 11月…
阅读更多...
RTSP/Onvif安防平台EasyNVR接入EasyNVS显示服务不存在的原因及解决办法

RTSP/Onvif安防平台EasyNVR接入EasyNVS显示服务不存在的原因及解决办法

EasyNVS云管理平台具备汇聚与管理EasyGBS、EasyNVR等平台的能力&#xff0c;可以将接入的视频资源实现统一的视频能力输出&#xff0c;支持远程可视化运维等管理功能&#xff0c;还能解决设备现场没有固定公网IP却需要在公网直播的需求。 有用户在现场部署EasyNVR&#xff0c;…
阅读更多...
how2heap-2.23-04-unsorted_bin_leak

how2heap-2.23-04-unsorted_bin_leak

#include<stdio.h> #include<malloc.h>int main() {char* a malloc(0x88);char* b malloc(0x8);free(a);long* c malloc(0x88);printf("%lx , %lx\n",c[0],c[1]);return 0; }unsorted bin leak原理&#xff1a;将chunk从unsorted bin申请回来时&#…
阅读更多...
ssm基于web的素材网的设计与实现+vue论文

ssm基于web的素材网的设计与实现+vue论文

基于web的素材网站的设计与实现 摘要 当下&#xff0c;正处于信息化的时代&#xff0c;许多行业顺应时代的变化&#xff0c;结合使用计算机技术向数字化、信息化建设迈进。传统的素材信息管理模式&#xff0c;采用人工登记的方式保存相关数据&#xff0c;这种以人力为主的管理…
阅读更多...
安卓逆向某脚本-stringFog 拆解

安卓逆向某脚本-stringFog 拆解

引言 有个autojs 脚本软件，挺好用的，我想看下这个软件怎么实现的，学习写人家怎么写的。 先用MT 重新打包下， 看下重打包之后是否还可以继续使用。 用MT 打开APK，然后选择查看 随便找一个dex ，编辑下
阅读更多...
02、Kafka ------ 配置 Kafka 集群

02、Kafka ------ 配置 Kafka 集群

目录 配置 Kafka 集群配置步骤启动各Kafka节点 配置 Kafka 集群 启动命令&#xff1a; 1、启动 zookeeper 服务器端 小黑窗输入命令&#xff1a; zkServer 2、启动 zookeeper 的命令行客户端工具 &#xff08;这个只是用来看连接的节点信息&#xff0c;不启动也没关系&#…
阅读更多...
数据结构与算法（六）

数据结构与算法（六）

文章目录 高频-体系学习班（六）41 四边形不等式技巧（上）41.1 非负数组切分成左右两部分累加和的最大值41.2 非负数组切分成左右两部分累加和的最大值的数组41.3 合并石子的得分41.4 画匠问题42 四边形不等式技巧（下）42.1 邮局选址问题42.2 丢棋子问题43 状态压缩的动态规划…
阅读更多...
RabbitMQ安装与应用

RabbitMQ安装与应用

文章目录 1. RabbitMQ1.1. 同步通讯与异步通讯1.2. 异步通讯的优缺点1.3. 几种MQ的对比1.4. docker安装运行RabbitMQ 流程1.5. RabbitMQ的几个概念1.6. 五种模型1.6.1. 基本消息队列 1.7. 基本使用1.7.1. 1建立连接时会出现以下界面![在这里插入图片描述](https://img-blog.csd…
阅读更多...
MFC扩展库BCGControlBar Pro v34.0 - 网格、报表控件功能升级

MFC扩展库BCGControlBar Pro v34.0 - 网格、报表控件功能升级

BCGControlBar库拥有500多个经过全面设计、测试和充分记录的MFC扩展类。 我们的组件可以轻松地集成到您的应用程序中&#xff0c;并为您节省数百个开发和调试时间。 BCGControlBar专业版 v34.0已正式发布了&#xff0c;该版本包括新的主题任务对话框、图像效果、旋转圆形刻度、…
阅读更多...
[电子榨菜]状态管理redux，以及react-redux

[电子榨菜]状态管理redux，以及react-redux

0.写在前面 很遗憾&#xff0c;最终还是没能入围2023年的博客评选。 不过不管怎么说&#xff0c;今年需要开个好头。 迫于成本压力吧&#xff0c;最终还是没能顺利离开这里。。。。。。 其实白天已经能放的下啦&#xff0c;我给自己买了喜欢的玩具&#xff0c;去了喜欢的漫…
阅读更多...
MySQL：约束主键唯一键

MySQL：约束主键唯一键

表的约束&#xff1a;表中一定有约束&#xff0c;通过约束让插入表中的数据是符号预期的 约束的本质是通过技术手段&#xff0c;倒逼程序员插入正确的数据 Null约束 这里的Null表示在插入的时候&#xff0c;该属性能否为空&#xff0c;如果是NO&#xff0c;则插入时候必须有数…
阅读更多...
《Effective C++》《Resource Management》

《Effective C++》《Resource Management》

文章目录 13、term13:Use objects to manage resources14、term14:Think carefully about copying behavior in resource-managing classes15、term15:Provide access to raw resources in resource-managing classes法一&#xff1a; 使用智能指针的get进行显示转换法二&#…
阅读更多...
第11课 实现桌面与摄像头叠加

第11课 实现桌面与摄像头叠加

在上一节&#xff0c;我们实现了桌面捕获功能&#xff0c;并成功把桌面图像和麦克风声音发送给对方。在实际应用中&#xff0c;有时候会需要把桌面与摄像头图像叠加在一起发送&#xff0c;这节课我们就来看下如何实现这一功能。 1.备份与修改 备份demo10并修改demo10为demo11…
阅读更多...
Python数据分析从入门到进阶：分类算法

Python数据分析从入门到进阶：分类算法

数据分析是处理和解释数据以发现有用信息和洞察的过程。其中&#xff0c;分类算法是数据分析领域的一个重要组成部分&#xff0c;它用于将数据分为不同的类别或组。 本文将介绍分类算法的基本概念和进阶技巧&#xff0c;以及如何在Python中应用这些算法&#xff0c;包括示例代…
阅读更多...
01.微服务架构优缺点、服务拆分和远程调用

01.微服务架构优缺点、服务拆分和远程调用

1.认识微服务 随着互联网行业的发展&#xff0c;对服务的要求也越来越高&#xff0c;服务架构也从单体架构逐渐演变为现在流行的微服务架构。这些架构之间有怎样的差别呢&#xff1f; 1.0.学习目标 了解微服务架构的优缺点 1.1.单体架构 单体架构&#xff1a;将业务的所有…
阅读更多...
企业招聘信息查询API：招聘市场情报站，一键了解就业机会

企业招聘信息查询API：招聘市场情报站，一键了解就业机会

前言 在当今这个信息爆炸的时代&#xff0c;快速、准确地获取企业招聘信息对于求职者来说至关重要。为了满足这一需求&#xff0c;企业招聘信息查询API应运而生&#xff0c;它为求职者提供了一个便捷、高效的平台&#xff0c;帮助用户快速了解企业的招聘动态。本文将详细介绍企…
阅读更多...
众和策略：全国期货市场成交量同比增长25%

众和策略：全国期货市场成交量同比增长25%

近来&#xff0c;我国期货业协会发布2023年12月全国期货商场生意状况数据。以单边核算&#xff0c;12月全国期货生意商场成交量为6.91亿手&#xff0c;成交额为480437.25亿元&#xff0c;同比分别添加4.48%和0.08%&#xff0c;环比分别下降12.58%和12.49%。2023年1-12月&#x…
阅读更多...
AI写作生成器哪个好用一点，试试下面这五款

AI写作生成器哪个好用一点，试试下面这五款

AI写作生成器在当今信息时代的快速发展中&#xff0c;成为了许多人的选择。然而&#xff0c;面对市场上众多的AI写作生成器&#xff0c;我们很难判断哪个更好用一点。为了解决这个问题&#xff0c;本文将介绍并使用下面这五款AI写作生成器&#xff0c;以帮助大家做出更明智的选…
阅读更多...
使用 SpringSecurity 发送POST请求出现 403

使用 SpringSecurity 发送POST请求出现 403

问题场景 在使用 SpringSecurity 时对一些访问权限进行了设置, 在用户请求资源时出现了403错误 , 通过检查代码发现请求权限是开放的, 并且切换成 GET 请求也是可以通过, 换成POST 请求就无法通过。 解决方法 在 SpringSecurity 中关闭 CSRF 因为 前端向后台发送 post 请求…
阅读更多...
【kettle】pdi/data-integration 打开ktr文件报错“Unable to load step info from XML“

【kettle】pdi/data-integration 打开ktr文件报错“Unable to load step info from XML“

一、报错内容&#xff1a; Unable to load step info from XML step nodeorg.pentaho.di.core.exception.KettleXMLException: Unable to load step info from XMLat org.pentaho.commons.launcher.Launcher.main (Launcher.java:92)at java.lang.reflect.Method.invoke (Met…
阅读更多...
最新文章

Copyright @ 2022~2023