（十三）定时任务

以下内容来自 尚硅谷，写这一系列的文章，主要是为了方便后续自己的查看，不用带着个PDF找来找去的，太麻烦！

第 13 章 定时任务

13.1 什么是定时任务

1、InfluxDB任务是一个定时执行的FLUX脚本，它先查询数据，然后以某种方式进行修改或聚合，然后将数据写回InfluxDB或执行其他操作。

13.2 示例：将数据转成json发给别的应用

13.2.1 创建任务的途径

1、有很多方式可以帮你创建任务，比如DataExplorer、Notebook、HTTP API和 influx-cli。不过，此处我们为了还愿定时任务的本来面貌，我们会使用influx-cli去创建定时任务。

13.2.2 本任务的需求

1、我们的定时任务要实现下面的需求。

  • 每 30s调度一次
  • 查询最近 30 s的第一条数据
  • 将数据转为json
  • 将json通过HTTP发送SimpleHttpPostServer。

2、SimpleHttpPostServer是自己用go语言写的一个最简单的HTTP POST服务，它的功能就是接收一个POST请求，然后把请求体重的内容转为字符串打印出来。访问github地址https://github.com/realdengziqi/simpleHttpPostServer ，下载源码自行编译，或者在发行记录中下载我已编译好的linux-x64可执行程序。

在这里插入图片描述

13.2.3 启动simpleHttpPostServer

1、下载simpleHttpPostServer后，cd到其所在目录，执行simpleHttpPostServer程序。效果如下图所示，终端会被阻塞。

在这里插入图片描述

13.2.4 测试simpleHttpPostServer是否正常工作

1、我们可以使用curl来验证simpleHttpPostServer是否正常工作。使用下面的命令，向simpleHttpPostServer发送一个POST请求。

curl -POST <http://localhost:8080/> -d '{"hello":"world"}'

2、之后，查看simpleHttpPostServer所占的终端，如果终端出现了一条新的数据，那么说明simpleHttpPostServer工作正常。

在这里插入图片描述

13.2.5 在DataExplorer中编写FLUX脚本

1、我们首先在DataExplorer中把查询到转为json的这段逻辑写好。我们要查询的是test_init存储桶下的 go_goroutines测量。这个测量反应的是我们当前InfluxDB程序中的goroutines（轻量级线程）数量。

2、打开DataExplrer，编写如下代码

在这里插入图片描述

3、代码解释：

  • from -> range -> filter，指定了数据源并取出了我们想要的序列，其中range的start参数我们写死-30s。
  • first函数，Flux查询InfluxDB返回的数据默认是按照时间从先到后排序的，first函数配合前面的查询相当于只取了最近 30 s的第一条数据。
  • map函数，我们在map函数里完成数据的发送。这里需要注意，因为map函数要求必须返回record，而且输出的record不能和输入的record一模一样。所以，结尾return的时候，我们使用了with语法，给map输出的record增加了一个字段。也就是我们发出http
    请求响应的状态码。在map中的匿名函数，我们使用了http.post向http://localhost:8080/发送了一条json格式的数据。

13.2.6 运行代码并观察效果

1、现在，我们点击SUBMIT按钮，执行这个FLUX查询脚本，观察DataExplorer返回的数据和simpleHttpPostServer的输出。

13.2.6.1 观察DataExplorer

1、点击SUBMIT后，点一下view Raw Data按钮，我们关注table格式的数据。可以看到，现在数据中多了status_code一列，而且它的值是 200 。而且，因为first()函数的作用，这次查询，我们只产生了一行数据。

在这里插入图片描述

13.2.6.2 观察 SimpleHttpPostServer

1、可以看到，我们的httpServer顺利收到了JSON。
在这里插入图片描述
2、截至目前，说明我们的 FLUX 脚本可以实现需求，现在的问题就是如何将这份脚本设为定时任务。

13.2.7 配置定时调度

1、现在，在我们的查询逻辑前面插入一行。

option task = { name: "example_task", every: 30s, offset:0m }

2、表示，我们做了一个设定，指定了一个名为example_task的任务。这个任务每隔 30 秒执行一次。offset 这里暂时设为 0m，后面我们会专门讲这里的offset有什么意义。

在这里插入图片描述

13.2.8 使用influx-cli创建任务

1、虽然我们在 DataExplorer 里写了一个 option，但是具体到option会不会生效，必须要看FLUX脚本再跟 InfluxDB 的那个HTTP API进行交互。所以这里点击SUBMIT按钮只会再执行一次查询，option task并不会生效。这里，我们会先用influx-cli创建一遍任务。先把 Flux 脚本复制出来，在 /opt/modules/examples 里创建一个文件，就叫example_task.flux吧。将之前写的脚本粘贴进去。

import "json"
import "http"
option task = { name: "example_task", every: 30s, offset:0m }
	
	from(bucket: "test_init") |> range(start:-30s)
		|> filter(fn: (r) => r["_measurement"] == "go_goroutines")
		|> first(column: "_value")
		|> map(
			fn: (r) => {
			status_code = http.post(url:"http://localhost:8080/", data:json.encode(v:r))
		return {r with status_code:status_code}
	}
)

2、使用下面的命令，创建FLUX任务。

./influx task create --org atguigu -f  /opt/module/examples/example_task.flux

3、可以看到，我们的任务已经成功创建了。

在这里插入图片描述

13.2.9 在Web UI上查看定时任务

1、点击左侧工具栏的 按钮，查看任务列表。可以看到，任务已经成功创建。

在这里插入图片描述
2、点一下任务的名称，可以进去看任务执行详情。

在这里插入图片描述
3、详情页面上，可以看到任务的调度时间、开始时间、任务耗时等信息。在最上方点击 EDIT TASK按钮，可以看到当时的任务定义。在这里，你也可以直接修改任务的定义。

在这里插入图片描述

13.2.10 在接收端查看定时任务效果

1、数据的接收端就是 simpleHttpPostServer。可以看到，我们的接收端目前就是每隔 30s收到一条json数据。

在这里插入图片描述

13.2.11 使用DataExplorer创建任务

1、这一次，我们用DataExplorer来创建任务。现在，我们先将已经存在的任务删除。

在这里插入图片描述

2、打开DataExplorer，编辑FLUX脚本，将我们之前写的查询脚本粘进去。注意，要删除option一行。如下图所示：

在这里插入图片描述

3、完成上面的操作后，点击DataExplorer页面右上方的SAVE AS按钮，在弹出的对话框中选择TASK选项卡。

在这里插入图片描述

  • Name，填写为example_task
  • Every，填写 30 s
  • Offset可以空着，这样默认就是 0 。此处显示的 20m是前端渲染效果，和具体的任务执行无关。
  • 此处的OutputBucket的填写需要注意，本来我们自己编写的脚本并没有指定要把数据回写到InfluxDB，但是如果从Web UI创建定时任务的话，Output Bucket不能不设，这样会造成回写操作。这也是为什么我们之前不用Web UI创建任务的原因。

配置好后，点击SAVE AS TASK。

13.2.12 再次查看任务详情（注意Web UI的小动作）

1、现在，我们再次回到任务列表。可以看到，任务已经成功创建，并且已经正常运行。

在这里插入图片描述
2、点击EDIT TASK按钮，查看我们的FLUX脚本。你会惊奇的发现，我们的FLUX代码居然被修改了，原本不回写数据库的操作被强制加上了一个to函数。另外，可以看到我们代码的前面也被加上了一个option task代码，这说明Web UI的页面点按操作只不过是帮我们完成了手敲代码的几个步骤。

在这里插入图片描述
3、总的来说，看开发者能否接收代码被隐式修改。如果这种行为无法接受，那么强烈建议用influx-cli的方式去创建任务。

13.3 数据迟到问题

1、option中的offset是专门用来帮我们处理迟到问题的。首先，我们来关注一个迟到的场景，如下图所示。我们的定时任务每次查询最近 30 秒的数据。同时，调度的间隔设为每 30 秒执行一次。

在这里插入图片描述
2、这个时候，由于网络的延迟，本该 1 分 20 秒入库的数据， 1 分 32 秒的时候才来。但在 1 分 30 秒的时候，我们的查询已经执行完了。这个时候我们错过了 1 分 20 秒的数据。这个时候，如果我们将offset设为 5 秒。如下图所示：

在这里插入图片描述
3、定时任务的执行时间向后延迟了 5 秒，但是查询的还是原来范围的数据。这个时候定时任务执行的时间是 1 分 35 秒。原先的迟到数据就能被我们查询到了。但是如果你的数据延迟了10秒，那又查不到了，所以这个参数的值需要根据你的业务的速度来考虑。

13.4 cron表达式

1、其实InfluxDB的定时任务还支持cron表达式。option的写法如下：

option task = {
	// ...
	cron: "0 * * * *",
}

2、本文就不做详细演示了。

13.4.1 参考资料

1、crontab是linux上一个可以设置定时执行命令的工具。cron表达式就是最早在就是在crontab中使用的一种表示时间间隔的表达式。相关资料可以参考菜鸟教程开源的cron教程。 https://www.runoob.com/linux/linux-comm-crontab.html

13.4.2 cron辅助开发工具

1、如果是对cron非常熟练，一口气能直接写对那当然是很好的。如果开发时一次写不准可以百度一些在线的cron生成工具作为辅助。不 过 ， 这 里 我 更 推 荐 gitee 上 的 开 源 cron 生 成 器 项 目 。 比 如 ：https://gitee.com/toktok/easy-cron 这一个基于node.js的corn生成工具。你可以把代码拉下来自己部署，也可以使用它的在线demo。http://www.easysb.cn/open/easy-cron/index.html>

2、这个工具可以同时支持 5 、 6 、 7 字段的cron表达式。

在这里插入图片描述

13.5 补充：InfluxDB抓取任务的本质

1、之前我们在Web UI里设置的抓取任务，其背后其实就是定时执行的FLUX脚本。只不过InfluxDB在API上将他们分开了。

2、在当前的FLUX版本中，experimental/prometheus库为我们提供了采集prometheus格式数 据 的 能 力 。详 细 可 以 参 考 https://docs.influxdata.com/flux/v0.x/prometheus/scrape-prometheus/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/46461.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Docker啥是数据持久化？

Docker啥是数据持久化？

文章目录 数据持久化数据卷相关命令创建读写数据卷创建只读数据卷数据卷共享数据卷容器实现数据卷共享nginx实现数据卷共享nfs总结 Dockerfile持久化Dockerfile方式docker run总结 数据持久化 ​ 在容器层的 UnionFS&#xff08;联合文件系统&#xff09;中对文件/目录的任何修…
阅读更多...
SRC | 逻辑漏洞原理及实战

SRC | 逻辑漏洞原理及实战

前言 作者简介&#xff1a;不知名白帽&#xff0c;网络安全学习者。 博客主页&#xff1a;不知名白帽_网络安全,CTF,内网渗透-CSDN博客 网络安全交流社区&#xff1a;https://bbs.csdn.net/forums/angluoanquan 目录 逻辑漏洞基础 概述 分类 URL跳转漏洞 概述 危害 漏洞…
阅读更多...
Android：RecyclerView封装，打造列表极简加载

Android：RecyclerView封装，打造列表极简加载

前言 mBinding.recycler.linear().divider().set<OrdinaryListBean> {addLayout(R.layout.layout_ordinary_item)}.setList(getList()) 如果我要说&#xff0c;除了数据和布局之外&#xff0c;以上的几行代码&#xff0c;就实现了一个列表加载&#xff0c;有老铁会相信…
阅读更多...
Django学习笔记-表单（forms）的使用

Django学习笔记-表单（forms）的使用

在Django中提供了了form表单&#xff0c;可以更为简单的创建表单模板信息&#xff0c;简化html的表单。 一、网页应用程序中表单的应用 表单通常用来作为提交数据时候使用。 1.1 创建表单模板文件夹 在项目文件夹下创建一个template文件夹&#xff0c;用于存储所有的html模…
阅读更多...
XCP详解「总目录」

XCP详解「总目录」

目录 XCP详解「总目录」 1 概览 2 理论 3 实践 4 其他 XCP详解「总目录」 基础学习&#xff0c;慢慢补充 1 概览 2 理论 3 实践 XCP详解「3.1ASAP2新建A2L文件」 XCP详解「3.2CANape新建工程导入A2L」 XCP详解「3.3A2L信号添加和更新」 XCP详解「3.4CANape中新建A2L文…
阅读更多...
学习 C语言第二天 ：C语言数据类型和变量（下）

学习 C语言第二天 ：C语言数据类型和变量（下）

目录&#xff1a; 1.变量的介绍以及存储 2.算术操作符、赋值操作符、单目操作符 3.scanf和printf的介绍 1.变量的介绍以及存储 1.1.变量的创建 了解了什么是类型了&#xff0c;类型是用来创建变量的。 变量是什么呢&#xff1f;在C语言当中不经常变的量称为常量&#xff0c;经常…
阅读更多...
Qt : day1

Qt : day1

1.聊天界面 #include "widget.h"Widget::Widget(QWidget *parent): QWidget(parent) {qDebug() << this->size(); //获取当前页面尺寸this->setFixedSize(500, 600); //设置固定尺寸this->setWindowTitle("聊天框"); //设置窗口…
阅读更多...
OpenAI Code Interpreter 的开源实现：GPT Code UI

OpenAI Code Interpreter 的开源实现：GPT Code UI

本篇文章聊聊 OpenAI Code Interpreter 的一众开源实现方案中&#xff0c;获得较多支持者&#xff0c;但暂时还比较早期的项目&#xff1a;GPT Code UI。 写在前面 这篇文章本该更早的时候发布&#xff0c;但是 LLaMA2 发布后实在心痒难忍&#xff0c;于是就拖了一阵。结合 L…
阅读更多...
mybatisPlus入门篇

mybatisPlus入门篇

文章目录 初窥门径1.1 初识MybatisPlus1.2 MybatisPlus的特性1.3 MybatisPlus的架构模型 入门案例2.1 准备相关开发环境2.2 搭建springboot工程2.3 创建数据库2.4 引入相关依赖2.5 创建实体类2.6 集成MybatisPlus2.7 单元测试2.8 springboot日志优化 初窥门径 1.1 初识Mybatis…
阅读更多...
【TiDB理论知识06】PD架构与作用

【TiDB理论知识06】PD架构与作用

目录 一 PD的架构与功能 PD架构 PD作用 名词解释 路由功能 二 TSO的分配 概念 分配过程 性能问题 高可用问题 三 PD的调度原理 总流程 1 信息收集 2 生成调度 3 执行调度 四 Label的作用 Label的配置 给TiKV打标签 PD配置 一 PD的架构与功能 PD架构 PD集群…
阅读更多...
GPT-4 模型详细教程

GPT-4 模型详细教程

GPT-4&#xff08;Generative Pretrained Transformer 4&#xff09;是 OpenAI 的最新语言生成模型&#xff0c;其在各类文本生成任务中表现优秀&#xff0c;深受开发者和研究者喜爱。这篇教程将帮助你理解 GPT-4 的基本概念&#xff0c;并向你展示如何使用它来生成文本。 什么…
阅读更多...
二叉树详解

二叉树详解

这里写目录标题 前言树型结构(了解)树常见的概念树的表示形式&#xff08;了解&#xff09;树的应用 二叉树概念两种特殊的二叉树二叉树的性质(重要)二叉树的存储二叉树的基本操作 前言 本篇博客讲述了以下几个知识点 树的基本概念二叉树概念及特性二叉树的基本操作 树型结构…
阅读更多...
DevExpress WPF Tree List组件，让数据可视化程度更高！（一）

DevExpress WPF Tree List组件，让数据可视化程度更高！（一）

DevExpress WPF Tree List组件是一个功能齐全、数据感知的TreeView-ListView混合体&#xff0c;可以把数据信息显示为REE、GRID或两者的组合&#xff0c;在数据绑定或非绑定模式下&#xff0c;具有完整的数据编辑支持。 DevExpress WPF 拥有120个控件和库&#xff0c;将帮助您…
阅读更多...
一遍过JavaSE基础知识

一遍过JavaSE基础知识

文章目录 前言安装Java Development Kit (JDK)安装jdk配置开发环境验证是否安装配置成功 编写第一个Java程序hello world运行Java程序的流程 数据类型和变量数据类型变量 程序逻辑控制条件语句循环语句跳转语句 数组声明和创建数组访问数组元素数组长度遍历数组多维数组 面向对…
阅读更多...
【亲测可用】Linux上安装Redis教程

【亲测可用】Linux上安装Redis教程

一、下载并解压Redis 1、执行下面的命令下载redis&#xff1a; wget https://download.redis.io/releases/redis-6.2.6.tar.gz 2、解压redis&#xff1a; tar xzf redis-6.2.6.tar.gz 3、移动redis目录&#xff0c;一般都会将redis目录放置到 /usr/local/redis目录&#xff1a…
阅读更多...
excel 生成sql技巧

excel 生成sql技巧

"update 表名 set 字段名"&A2&" where 字段名"&B2&";"
阅读更多...
Log4j源码解析

Log4j源码解析

Log4j源码解析 主要流程 Logger logger Logger.getLogger(Main.class); 1、通过Logger.getLogger(Class clazz) 或 Logger.getLogger(String name)进入。 2、加载LogManager进jvm, 执行静态代码块执行初始化, 创建出RepositorySelector实例及LoggerRepository实例(Hierarchy…
阅读更多...
ansible自动化运维（二）剧本、角色编写实战

ansible自动化运维（二）剧本、角色编写实战

&#x1f618;作者简介&#xff1a;一名运维工作人员。 &#x1f44a;宣言&#xff1a;人生就是B&#xff08;birth&#xff09;和D&#xff08;death&#xff09;之间的C&#xff08;choise&#xff09;&#xff0c;做好每一个选择。 &#x1f64f;创作不易&#xff0c;动动小…
阅读更多...
【学习篇】SAE J1939协议—常用到的知识点

【学习篇】SAE J1939协议—常用到的知识点

前言&#xff1a;以下关于SAE J1939协议知识点的学习均抄录自书籍&#xff0c;侵权请联系删除。 故障诊断 SAE J1939诊断应用层定义了用于诊断服务的报文帧&#xff0c;诊断报文&#xff08;DM&#xff09;提供了用于车辆进行诊断和维修的功能。 诊断故障代码定义 SAE J193…
阅读更多...
C语言每日一题：5.至少是其他数字的两倍+两个数组的交集。

C语言每日一题：5.至少是其他数字的两倍+两个数组的交集。

第一题&#xff1a;至少是两倍其他数字的最大数 第一题&#xff1a; 思路一&#xff1a; 1.需要我们返回最大数值的下标&#xff0c;所以先循环遍历我们的这个数组记录一下最大的数值和下标位置。 2.使用qsort排序&#xff08;总是存在唯一的最大整数&#xff09; 3所以排序之…
阅读更多...
最新文章

Copyright @ 2022~2023