Debian11之DolphinScheduler使用

登录

默认用户名和密码 admin/dolphinscheduler123

http://192.168.111.180:12345/dolphinscheduler/ui

基础配置

1、创建Worker【admin用户下】

  • 创建项目的时候会指定Worker，这个配置决定了项目中的任务在哪个服务器执行
    在这里插入图片描述

2、创建环境【admin用户下】

在这里插入图片描述- 如果涉及到三方应用的协助工作，例如：通过datax做数据同步，则需要在工作节点安装python、datax，安装成功后需要在相关环境下配置应用的路径

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_141
export PYTHON_LAUNCHER=/usr/local/python2.7/bin/python2.7
export DATAX_LAUNCHER=/mydata/soft/datax/bin/datax.py
export PATH=$PYTHON_LAUNCHER:$JAVA_HOME/bin:$DATAX_LAUNCHER:$PATH

在这里插入图片描述

3、创建队列【admin用户下】

在这里插入图片描述

4、创建租户[admin用户下]

  • 创建租户其实就是在工作节点服务器下创建一个用户，用于为执行项目分配linux权限
    在这里插入图片描述

5、创建用户[admin用户下]

在这里插入图片描述

创建项目[普通用户下]

在这里插入图片描述

为项目授权【admin用户下】

在这里插入图片描述

为项目创建WorkerGroup【admin用户下】

在这里插入图片描述
在这里插入图片描述

案例一：MySql数据同步【多表+单数据】

自定义数据

demo1数据库

CREATE TABLE `oa_order` (
  `id` int NOT NULL AUTO_INCREMENT,
  `user_key` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL,
  `show_order_no` varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL,
  `erp_order_no` varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL,
  `remark` varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

INSERT INTO `demo1`.`oa_order` (`id`, `user_key`, `show_order_no`, `erp_order_no`, `remark`) VALUES (1, '310110', '显示订单号1', 'erp订单号1', '订单备注1');
INSERT INTO `demo1`.`oa_order` (`id`, `user_key`, `show_order_no`, `erp_order_no`, `remark`) VALUES (2, '310110', '显示订单号2', 'erp订单号2', '订单备注2');

demo2数据库

CREATE TABLE `oa_order` (
  `id` int NOT NULL AUTO_INCREMENT,
  `user_key` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL,
  `show_order_no` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL,
  `erp_order_no` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL,
  `remark` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

创建工作流

查询oa_order

在这里插入图片描述
在这里插入图片描述

添加oa_order

在这里插入图片描述
在这里插入图片描述

保存工作流

在这里插入图片描述

启动工作流

在这里插入图片描述
在这里插入图片描述

  • 工作流启动成功后会创建一个工作流实例，分别运行 添加oa_order 和 查询oa_order任务
    在这里插入图片描述
    在这里插入图片描述

工作流日志

在这里插入图片描述
在这里插入图片描述

案例二：MySql数据同步【多表+多数据】

前提条件

  • 基于DataX三方插件实现，需要提前在工作节点上安装
  • DataX依赖于Python，需要提前在工作节点上安装
  • 当前项目所属的环境对象下需要指定三方插件信息
export dolphinscheduler=lixing
export JAVA_HOME=/usr/local/java/jdk1.8.0_301
export PYTHON_LAUNCHER=/usr/local/bin/python
export DATAX_LAUNCHER=/usr/local/datax/datax/bin/datax.py
export PATH=$PYTHON_LAUNCHER:$JAVA_HOME/bin:$DATAX_LAUNCHER:$PATH

自定义数据

demo1数据库

CREATE TABLE `oa_order` (
  `id` int NOT NULL AUTO_INCREMENT,
  `user_key` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL,
  `show_order_no` varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL,
  `erp_order_no` varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL,
  `remark` varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

INSERT INTO `demo1`.`oa_order` (`id`, `user_key`, `show_order_no`, `erp_order_no`, `remark`) VALUES (1, '310110', '显示订单号1', 'erp订单号1', '订单备注1');
INSERT INTO `demo1`.`oa_order` (`id`, `user_key`, `show_order_no`, `erp_order_no`, `remark`) VALUES (2, '310110', '显示订单号2', 'erp订单号2', '订单备注2');

CREATE TABLE `oa_order_address` (
  `id` int NOT NULL AUTO_INCREMENT,
  `user_key` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL,
  `erp_order_no` varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL,
  `name` varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL,
  `address` varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL,
  `address2` varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL,
  `phone` varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

INSERT INTO `demo1`.`oa_order_address` (`id`, `user_key`, `erp_order_no`, `name`, `address`, `address2`, `phone`) VALUES (1, '310110', 'erp订单号1', '张三', '妮敦道', '19号', '18013896707');

demo2数据库

CREATE TABLE `oa_order_info` (
  `id` int NOT NULL AUTO_INCREMENT,
  `user_key` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL,
  `show_order_no` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL,
  `erp_order_no` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL,
  `remark` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL,
  `name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL,
  `address` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL,
  `address2` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL,
  `phone` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

创建工作流

关联查询oa_order和oa_order_address

在这里插入图片描述
在这里插入图片描述

保存工作流

在这里插入图片描述

启动工作流

在这里插入图片描述
在这里插入图片描述

工作流日志

同上

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/878994.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Linux搭建邮箱服务器（简易版）

Linux搭建邮箱服务器（简易版）

本章是上一文档的简易版本搭建方式更为快速简洁（只需要两条命令即可搭建），如果想了解更详细一些可以看我上一文档 Linux接发邮件mailx_linux mailx o365-CSDN博客文章浏览阅读857次，点赞25次，收藏19次。本文详细描述了…
阅读更多...
spring security OAuth2 搭建资源服务器以及授权服务器/jdbc/jwt两种方案

spring security OAuth2 搭建资源服务器以及授权服务器/jdbc/jwt两种方案

一、认证服务器基于jdbc方式 如果不懂请移步上一篇文章：Spring security OAuth2 授权服务器搭建-CSDN博客 在上一篇文章中，TokenStore的默认实现为 InHenoryTokenStore 即内存存储，对于 CLient 信息，userDetaitsServce 接负责从存…
阅读更多...
mqtt整体了解

mqtt整体了解

整个系统的分布及功能 参考太极创客视频 整体分为三部分： 发布：实时发送到云平台；实现主体是传感器或被控对象 订阅：得到能够访问发布信息；主体是有查看和控制权限的对象 云平台：可以理解为有控制订阅者权…
阅读更多...
Python 爬虫入门 - Request 静态页面数据获取

Python 爬虫入门 - Request 静态页面数据获取

在现代 Web 开发中，HTTP 请求（Request）是与服务器进行通信的核心操作。无论是在前端还是后端开发中，数据的获取、传递以及处理都离不开请求的应用。特别是在静态页面的数据获取中，使用请求可以将页面变得更加动态和互动，从而大大提升用户体验，使得页面内容更加丰富和灵活…
阅读更多...
MySQL_SQLYog简介、下载及安装(超详细)

MySQL_SQLYog简介、下载及安装(超详细)

课 程 推 荐我 的 个 人 主 页：👉👉 失心疯的个人主页 👈👈入 门 教 程 推 荐 ：👉👉 Python零基础入门教程合集 👈👈虚 拟 环 境 搭 建 ：&#x1…
阅读更多...
行人动作行为识别系统源码分享

行人动作行为识别系统源码分享

行人动作行为识别检测系统源码分享 [一条龙教学YOLOV8标注好的数据集一键训练_70全套改进创新点发刊_Web前端展示] 1.研究背景与意义 项目参考AAAI Association for the Advancement of Artificial Intelligence 项目来源AACV Association for the Advancement of Computer…
阅读更多...
Halo 开发者指南——项目运行、构建

Halo 开发者指南——项目运行、构建

准备工作 环境要求 OpenJDK 17 LTSNode.js 20 LTSpnpm 9IntelliJ IDEAGitDocker（可选） 名词解释 工作目录 指 Halo 所依赖的工作目录，在 Halo 运行的时候会在系统当前用户目录下产生一个 halo-next 的文件夹，绝对路径为 ~/ha…
阅读更多...
网络高级项目（ 基于webserver的工业数据采集和控制项目）

网络高级项目（ 基于webserver的工业数据采集和控制项目）

目录 一、项目要求： 二、演示效果： 设备端： Modbus用户控制端： 服务器端： 网页端： 三、 项目代码： Modbus用户控制端代码： 服务器端代码： 网页端代码&#xff1…
阅读更多...
VirtualBox Install MacOS

VirtualBox Install MacOS

环境搭建 git clone https://github.com/myspaghetti/macos-virtualbox 脚本配置 修改macos-guest-virtualbox.sh部分内容为 vm_name"macOS" # name of the VirtualBox virtual machine macOS_release_name"Catalina" # install &quo…
阅读更多...
股指期货的详细玩法功能与应用解析

股指期货的详细玩法功能与应用解析

股指期货作为一种重要的金融衍生工具，为投资者提供了多样化的投资和风险管理手段。本文将详细探讨股指期货的三大主要功能：风险规避、价格发现和资产配置。 第一，风险规避功能 1.套期保值：股指期货的风险规避功能主要通过套期保值…
阅读更多...
外观模式详解：如何为复杂系统构建简洁的接口

外观模式详解：如何为复杂系统构建简洁的接口

🎯 设计模式专栏，持续更新中 欢迎订阅：JAVA实现设计模式 🛠️ 希望小伙伴们一键三连，有问题私信都会回复，或者在评论区直接发言 外观模式 外观模式（Facade Pattern）为子系统中的一组…
阅读更多...
智能 Uber 发票 PDF 合并工具

智能 Uber 发票 PDF 合并工具

在现代商务出行中，尤其是在跨国出差中，处理和整合大量 Uber 发票已成为一项不小的挑战。手动整理和合并这些发票不仅耗时，还容易出错。作为开发者，为什么不开发一个自动化工具，将这些任务交给代码来完成呢？…
阅读更多...
成型的程序

成型的程序

加一个提示信息 加上python 常用的包 整个程序打包完 250M 安装 960MB matplot numpy pandas scapy pysearial 常用的包 (pyvisa)… … 啥都有 Python 解释器组件构建 要比 lua 容易的多 （C/Rust 的组件库)
阅读更多...
钢材表面缺陷数据集以coco格式做好了数据集的划分，1200张训练集，600张验证集，对应的json文件也在里面

钢材表面缺陷数据集以coco格式做好了数据集的划分，1200张训练集，600张验证集，对应的json文件也在里面

钢材表面缺陷数据集 以coco格式做好了数据集的划分，1200张训练集，600张验证集，对应的json文件也在里面。 钢材表面缺陷检测数据集营销介绍 项目背景： 钢材作为工业生产的重要原材料之一，其表面质量直接影响到成品的性…
阅读更多...
MySQL之安装与基础知识

MySQL之安装与基础知识

目录 一：在centos7上安装MySQL数据库 1.卸载默认存在的环境 2.配置mysql的yum源 3. 安装MySQL 4.登录mysql 5.设置MySQL的配置文件 二：MySQL基础知识 1.什么是数据库 2.主流数据库 3.服务器，数据库，表关系及使用案例 4…
阅读更多...
预训练发展

预训练发展

预训练发展 1.ELMo2.GPT3.Bert3.1Ernie-baidu3.2Ernie- Tsinghua 4.GPT25.UNILM6.Transformer-XL & XLNet6.1方案一6.2方案三 7.Roberta8.SpanBert8.1SBO简介： 9.ALBERT9.1方案一9.2方案二9.3方案三 10.T511.GPT312.从"续写"到"回答"12.1SF…
阅读更多...
基于51单片机的直流数字电流表proteus仿真

基于51单片机的直流数字电流表proteus仿真

地址： https://pan.baidu.com/s/1adZbhgOBvvg0KsCO6_ZiAw 提取码：1234 仿真图： 芯片/模块的特点： AT89C52/AT89C51简介： AT89C52/AT89C51是一款经典的8位单片机，是意法半导体（STMicroelectro…
阅读更多...
MySQL——数据类型(一)

MySQL——数据类型(一)

目录 一、前言 二、数值类型 2.1 tinyint [unsigned] 2.1.1 插入合法数据 2.1.2 插入边界数据 2.1.3 插入不合法数据 2.1.4 结论 2.2 bit [n] 2.3 float [(m, d)] [unsigned] 2.3.1 float 特性 2.3.2 插入整数部分大于 m-d 的数字 2.3.3 插入小数部分大于 d 的数字…
阅读更多...
【贪心算法】贪心算法

【贪心算法】贪心算法

贪心算法简介 1.什么是贪心算法2.贪心算法的特点3.学习贪心的方向 点赞👍👍收藏🌟🌟关注💖💖 你的支持是对我最大的鼓励，我们一起努力吧!😃😃 1.什么是贪心算法 与其说是…
阅读更多...
MYSQL数据库——MYSQL管理

MYSQL数据库——MYSQL管理

MYSQL数据库安装完成后，自带四个数据库，具体作用如下： 常用工具 1.mysql 不是指mysql服务，而是指mysql的客户端工具 例如： 2.mysqladmin 这是一个执行管理操作的客户端程序，可以用它来检查服务器的配置和…
阅读更多...
最新文章

Copyright @ 2022~2023