linux部署安装DataX和DataX-Web

1.基础环境

JDK(1.8 及其以上都可以,推荐 1.8),安装过程略

Python(2 或者 3 都可以),安装过程略

Apache Maven 3.6.1+(只有DataX源码编译安装时需要)

1.1下载maven安装包

访问https://maven.apache.org/download.cgi下载官方安装包

1.2安装maven
#创建maven目录
mkdir -p /usr/local/maven
cd /usr/local/maven/

#上传安装包至/usr/local/maven/

# 解压
tar -zxvf apache-maven-3.9.6-bin.tar.gz
1.3配置maven环境变量
vim /etc/profile
#在文件末尾增加
MAVEN_HOME=/usr/local/maven/apache-maven-3.9.6/
PATH=$MAVEN_HOME/bin:$PATH
#保存退出后,重载配置
source /etc/profile

#验证,查看maven版本
mvn -version
1.4配置 Maven 本地仓库
#新建本地库文件夹
mkdir -p /usr/local/maven/repository

#编辑配置文件/usr/local/maven/apache-maven-3.9.6/conf/settings.xml
vim /usr/local/maven/apache-maven-3.9.6/conf/settings.xml
#在注释的localRepository节点后,增加
<localRepository>/usr/local/maven/repository</localRepository>
1.5配置仓库镜像

在 settings.xml 配置文件中找到 mirrors 节点,添加以下内容:

<!-- 阿里云仓库 -->
<mirror>
    <id>alimaven</id>
    <mirrorOf>central</mirrorOf>
    <name>aliyun maven</name>
    <url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
</mirror>

1.6验证

mvn help:system

执行mvn help:system后会从mven仓库下载一些必须的插件,大概一分多钟,下载完成后会显示系统变量和环境变量。

2.安装DataX

访问https://github.com/alibaba/DataX下载工具包

#将下载好的安装包上传至/usr/local/

#解压
tar -zxvf datax.tar.gz -C /usr/local/

#自检脚本
python /usr/local/datax/bin/datax.py /usr/local/datax/job/job.json

3.安装DataX-Web

3.1环境要求
  • MySQL (5.5+) 必选,对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库

  • JDK (1.8.0_xxx) 必选

  • Maven (3.6.1+) 必选

  • DataX 必选

  • Python (2.x) (支持Python3需要修改替换datax/bin下面的三个python文件,替换文件在doc/datax-web/datax-python3下,网址https://github.com/WeiYe-Jing/datax-web/tree/master/doc/datax-web/datax-python3) 必选,主要用于调度执行底层DataX的启动脚本,默认的方式是以Java子进程方式执行DataX,用户可以选择以Python方式来做自定义的改造

3.2下载安装包

访问https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md,下载官方安装包

上传至/usr/local/

3.3安装
#解压
tar -zxvf datax-web-2.1.2.tar.gz -C /usr/local/
#执行安装脚本
/usr/local/datax-web-2.1.2/bin/install.sh --force
3.4数据库配置

在mysql中创建datax_web数据库,执行数据库脚本/bin/db/datax-web.sql

修改DataX-web的配置文件/usr/local/datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties

3.5配置python 脚本路径

编辑/usr/local/datax-web-2.1.2/modules/datax-executor/bin/env.properties

PYTHON_PATH=/usr/local/datax/bin/datax.py

3.6启动服务

/usr/local/datax-web-2.1.2/bin/start-all.sh

#查看服务,出现DataXAdminApplication和DataXExecutorApplication进程,表示项目运行成功
jps
3.7访问UI界面

访问地址http://服务器IP:9527/index.html#/login?redirect=%2Fdashboard,其中9527为默认端口,默认账户信息:用户名 admin 密码 123456

参考文章:

DataX官方指引

DataX-Web官方指引

https://blog.csdn.net/weixin_46560589/article/details/134592916

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/620915.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

win11 安装oracle11g详细流程及问题总结

1.安装包下载地址 本案例操作系统&#xff0c; Oracle 11g下载-Oracle 11g 64位/32位下载官方版(附详细的安装图解教程) - 多多软件站多多为大家免费提供Oracle 11g下载&#xff0c;包含64位/32位官方版本&#xff0c;并附详细的Oracle 11g安装图解教程&#xff0c;同时希望能…

文本处理三剑客grep,awk,sed-读书笔记(十四)

文本处理三剑客{ 1.内容过滤器 > grep 2.文本分析器 > awk 3.行文本处理器 > sed } grep内容过滤器 grep命令是Linux系统中一个非常强大的文本搜索工具&#xff0c;它能使用正则表达式搜索文本&#xff0c;并把匹配的行打印出来。grep全称是Global Regular Expr…

二百三十六、Kettle——修改MySQL中历史数据为当前系统日期同步到MySQL另一张表中并且每日数据逐渐减少

一、目的 由于一些雷达死了但是又需要有数据进行展示&#xff0c;于是就把这些雷达的历史数据&#xff0c;修改日期为当前日期后&#xff0c;同步到MySQL另一张表中&#xff0c;并且每日每台雷达的数据逐渐减少&#xff0c;等同于人为创建数据问题 二、实施步骤 &#xff08;…

LOTO示波器软件PC缓存(波形录制与回放)功能

当打开PC缓存功能后, 软件将采用先进先出的原则排队对示波器采集的每一帧数据, 进行帧缓存。 当发现屏幕中有感兴趣的波形掠过时, 鼠标点击软件的(暂停)按钮, 可以选择回看某一帧的波形。一帧数据的量 是 当前用户选择时基档位缓冲区总数据大小。不同时基档位缓冲区大小不同&am…

极狐GitLab 容器镜像安全扫描实践【下】

GitLab 是一个全球知名的一体化 DevOps 平台&#xff0c;很多人都通过私有化部署 GitLab 来进行源代码托管。极狐GitLab &#xff1a;https://gitlab.cn/install?channelcontent&utm_sourcecsdn 是 GitLab 在中国的发行版&#xff0c;专门为中国程序员服务。可以一键式部署…

element-plus的ElNotification 内容换行显示

效果图&#xff1a; 代码&#xff1a; const excelSuccess ({ data, status, message }) > {if (status 20005) {const msg message.replace(/\,/g, "<br />");//把,替换成换行符<br />ElNotification({dangerouslyUseHTMLString: true,//加此属性…

YOLOv9全网最新改进系列::YOLOv9完美融合双卷积核(DualConv)来构建轻量级深度神经网络,目标检测模型有效涨点神器!!!

YOLOv9全网最新改进系列&#xff1a;&#xff1a;YOLOv9完美融合双卷积核&#xff08;DualConv&#xff09;来构建轻量级深度神经网络,目标检测模型有效涨点神器&#xff01;&#xff01;&#xff01; YOLOv9原文链接戳这里&#xff0c;原文全文翻译请关注B站Ai学术叫叫首er …

品牌设计理念和logo设计方法

一 品牌设计的目的 设计是为了传播&#xff0c;让传播速度更快&#xff0c;传播效率更高&#xff0c;减少宣传成本 二 什么是好的品牌设计 好的设计是为了让消费者更容易看懂、记住的设计&#xff0c; 从而辅助传播&#xff0c; 即 看得懂、记得住。 1 看得懂 就是让别人看懂…

数字人实训室助推元宇宙人才培养

如今&#xff0c;全身动作捕捉设备已经大量应用在影视、动画、游戏领域&#xff0c;在热门的元宇宙内容领域中&#xff0c;全身动作捕捉设备逐步发挥着重要的作用&#xff0c;在包括体育训练、数字娱乐虚拟偶像、虚拟主持人、非物质文化遗产保护等等场景&#xff0c;数字人实训…

【stm32HAL库】ADC多通道DMA采集

一、介绍一下HAL库函数 1.ADC 2.DMA 二、实验思路 1.根据数据手册直到PC1&#xff0c;PA2&#xff0c;PA3分别为ADC123的通道11&#xff0c;2&#xff0c;3&#xff0c;我们就用这三个通道来采集&#xff0c;每一个通道采集 50 次&#xff0c;即一共需要DMA传输150个数据 2.由…

镊子蜡烛如何抓住反转进行交易?昂首资本2步抓住反转

很多投资者通过之前的文章知道镊子烛台图&#xff0c;甚至可以通过镊子烛台图有多倍收益&#xff0c;但是很多投资者又迷惑了&#xff0c;为什么我没有通过镊子烛台图获得收益&#xff0c;甚至有时还会亏损收手。其实事情很容易理解&#xff0c;Anzo Capital昂首资本认为那是因…

【光线重塑技术】小姐姐,美得不可方物——lllyasviel/ic-light

在英伟达自18年宣布光追技术之后&#xff0c;RTX显卡也成了目前Steam游戏的常客。就连 AMD、Intel 和 Apple Silicon 都宣布要在GPU上支持光追算法。这次我要介绍的是huggingface上比较火的relight技术—— ic-light 介绍 IC-Light 是一个操纵图像照明的项目。 IC-Light &qu…

C语言 | Leetcode C语言题解之第80题删除有序数组中的重复项II

题目&#xff1a; 题解&#xff1a; int removeDuplicates(int* nums, int numsSize) {if (numsSize < 2) {return numsSize;}int slow 2, fast 2;while (fast < numsSize) {if (nums[slow - 2] ! nums[fast]) {nums[slow] nums[fast];slow;}fast;}return slow; }

双碳目标下基于“遥感+”集成技术的碳储量、碳排放、碳循环、温室气体等多领域监测与模拟

原文链接&#xff1a;双碳目标下基于“遥感”集成技术的碳储量、碳排放、碳循环、温室气体等多领域监测与模拟https://mp.weixin.qq.com/s?__bizMzUzNTczMDMxMg&mid2247604166&idx1&sn5f49d952a0c05ff50582ab2f60e2f371&chksmfa821621cdf59f377b8aeb3084289ac…

YOLO使用笔记

下载oss命令工具。 在OSS.exe文件下打开Power Shell, 输入指令&#xff1a; ./oss login之后输入用户名和密码。 选择将你想要上传的文件导入&#xff1a; ./oss cp {yourdir} oss://进入服务器实例中&#xff0c;打开终端下载数据 同样输入:oss login 进行登录。 登录成功…

嵌入式开发场景下怎么防止源代码泄密

在当今数字化时代&#xff0c;嵌入式系统在各行各业中扮演着至关重要的角色&#xff0c;从智能家居到工业自动化&#xff0c;都离不开这些嵌入式设备的支持。然而&#xff0c;随之而来的是对嵌入式代码安全的日益关注。在嵌入式开发场景下&#xff0c;代码的保护至关重要&#…

MATLAB | 最新版MATLAB绘图速查表来啦!!

之前看大佬Pjer做的MATLAB速查表 http://home.ustc.edu.cn/~pjer1316/matlabplot/ 感觉非常的实用&#xff0c;最近几次MATLAB更新围绕画图方面也有很多新东西&#xff0c;于是就有了自己做一张最新版的速查表的想法&#xff0c;这张表长这样&#xff1a; 这张表的配色基本上…

TCP协议建立连接的过程及其意义

目录 三次握手 四次挥手 三次握手的意义 在客户端与服务器传输数据之前&#xff0c;要在两台主机之间先建立连接&#xff0c;然后再传输业务数据。三次握手&#xff0c;就是建立连接的过程&#xff0c;是在传输业务之前&#xff0c;就要先进行。握手好了&#xff0c;才能进行…

(四十一)第 6 章 树和二叉树(包含双亲的树的孩子链表存储)

1. 背景说明 2. 示例代码 1) errorRecord.h // 记录错误宏定义头文件#ifndef ERROR_RECORD_H #define ERROR_RECORD_H#include <stdio.h> #include <string.h> #include <stdint.h>// 从文件路径中提取文件名 #define FILE_NAME(X) strrchr(X, \\) ? strrch…

使用rsync同步服务器目录及文件遇到的问题

背景&#xff1a;某天&#xff0c;客户找我倾诉了一个需求&#xff0c;问我是否有方法解决。诉求如下&#xff1a;有一个生产服务器&#xff08;我暂时把它称为主站服务器&#xff09;&#xff0c;还有一个专门用来备份主站服务器上目录和文件的服务器&#xff08;我姑且把它称…