目录
项目源码
预览地址
安装包下载地址
通过2个方向解读ZDH流程图
图执行方向
数据流转方向
项目源码
zdh_web: GitHub - zhaoyachao/zdh_web: 大数据采集,抽取平台
zdh_magic_mirror: https://github.com/zhaoyachao/zdh_magic_mirror
预览地址
后台管理-登陆
用户名:zyc
密码:123456
安装包下载地址
5.1.1版本之后不支持安装包下载,需要用户下载源码自行编译,源码见第一章节
通过2个方向解读ZDH流程图
图执行方向
以下图为例,解读图的执行,具体可分为图的解析,图的动作,以及图的触发
图的解析,比较容易理解,按照用户配置的图,查找到根节点(用户名和转手机号)可做为根节点触发,当根节点执行完成后(成功/失败),触发子节点的检查
图的触发,分4种类型,1上游执行成功后触发,2上游存在杀死触发,3上游存在失败时触发,4上游执行后触发,即上游的节点执行状态满足后才可触发
图的动作,分为2类,可执行动作,检查动作,可以理解为按节点的类型进行了动作的划分,目前大多数的节点都是执行节点,即这个节点会触发一段执行逻辑,但是会有特殊的节点,比如检查当前节点是否到执行时间,这类的节点称之为检查节点,检查节点触发的动作为检查动作
小提示:这套执行规则根据调度系统演化而来,参考开源调度系统airflow
数据流转方向
图的执行方向,表示我们任务流以何种方式触发,数据流转方向则表示数据在图中是如何进行流转的,以上方图为例,在图中操作符表示了数据流转规则
操作符:目前支持and,or, not, not_use 4种操作符
操作符解释:and 交集操作符, or: 并集操作符,not: 排除操作符,not_use: 截断操作符
and 和 or 操作符都是针对上游数据的操作
not 是针对当前节点的操作, 如果有上游节点,则上游节点需先去交集,然后排除当前节点的数据
not_use 最为特殊,直接屏蔽上游数据