Apache DolphinScheduler 3.0.0 升级到 3.1.8 教程

file

安装部署的流程可参考官网的文档

Version 3.1.8/部署指南/伪集群部署(Pseudo-Cluster) https://dolphinscheduler.apache.org/zh-cn/docs/3.1.8/guide/installation/pseudo-cluster

本文开始之前,我先补充说明一下升级 Apache DolphinScheduler 的几个关键点

元数据备份

做好已有元数据做备份(以 MySQL 为例,元数据存储在 Mysql 的 dolphinscheduler 数据库里)

伪代码

mysqldump -u root -p dolphinscheduler > dolphinscheduler_backup_XXX.sql

apache-dolphinscheduler-3.1.8-bin/bin/env/install_env.sh

apache-dolphinscheduler-3.1.8-bin/bin/env/dolphinscheduler_env.sh

这两个文件的配置项,可以从旧版本的相应文件里直接复制粘贴

需要将使用到的数据库(比如 MySQL)的 connector (本人亲测 mysql-connector-java-8.0.30.jar 适用,其他 connector 版本未测试)放到相应的 libs 库里

api-server/libs

alert-server/libs

master-server/libs

worker-server/libs

tools/libs

伪代码如下

cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/api-server/libs/
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/alert-server/libs
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/master-server/libs
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/worker-server/libs
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/tools/libs

common.properties 文件,需要修改相应的参数

alert-server/conf/common.properties
api-server/conf/common.properties
master-server/conf/common.properties
worker-server/conf/common.properties

本人升级时,只修改了

api-server/conf/common.properties

worker-server/conf/common.properties

这两个文件的三个参数

resource.storage.type

resource.storage.upload.base.path

resource.hdfs.fs.defaultFS

需要注意的是,3.1.8 此文件的有些参数名和 3.0.0 此文件中的参数名有变化。

3.0.0 参数 resource.upload.path

对应

3.1.8 参数 resource.storage.upload.base.path

3.0.0 参数 fs.defaultFS

对应

3.1.8 参数 resource.hdfs.fs.defaultFS

CDH集群升级

如果是 CDH 集群(比如 CDH 6.2.1)升级使用  Apache DolphinScheduler 3.1.8

还需要替换相应的 Zookeeper jar 包, 否则会有  Zookeeper Failed to delete registry key 报错提示

参考文章

Dolphin3.0在伪集群模式下总是会报zookeeper Failed to delete registry key,我该怎么排查这个问题: https://github.com/apache/dolphinscheduler/discussions/11948

看看是不是 Zookeeper 的版本不兼容,DolphinScheduler3.1.8 版本的 zookeeper 和 curator 是下面这个:

curator-client-5.3.0.jar
curator-recipes-5.3.0.jar
curator-framework-5.3.0.jar
zookeeper-3.8.0.jar

将/api-server/libs,master-server/libs,worker-server/libs,/tools/libs 下的 zookeeper,curator 的版本替换成 Zookeeper 服务版本一致才行。

注意:zookeeper-3.4.x 对应的 curator-*版本必须是 4.2.0

CDH6.2.1 使用的是

ZooKeeper

3.4.5+cdh6.2.1

即 Zookeeper-3.4.5 版本,需要下载相应的 jar 包  zookeeper-3.4.5.jar,可从如下网站上搜索下载 jar 包:https://nowjava.com/jar/

此外还需要下载下面三个 jar 包

  • curator-client-4.2.0.jar
  • curator-recipes-4.2.0.jar
  • curator-framework-4.2.0.jar

即:

  • zookeeper-3.4.5.jar
  • curator-client-4.2.0.jar
  • curator-recipes-4.2.0.jar
  • curator-framework-4.2.0.jar

将这 4 个 jar 包放到如下

  • api-server/libs
  • master-server/libs
  • worker-server/libs
  • tools/libs

这四个目录,并替换原先的版本 jar 包,伪代码如下

####################### 
cd XXX/apache-dolphinscheduler-3.1.8-bin/api-server/libs/ 

rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar . 

rm -f curator-*
cp XXXX/curator-*4.2* . 

####################### 

cd XXX/apache-dolphinscheduler-3.1.8-bin/master-server/libs 

rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar . 

rm -f curator-*
cp XXXX/curator-*4.2* . 

####################### 

cd XXX/apache-dolphinscheduler-3.1.8-bin/worker-server/libs 

rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar . 

rm -f curator-*
cp XXXX/curator-*4.2* . 

####################### 

cd XXX/apache-dolphinscheduler-3.1.8-bin/tools/libs 

rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar . 

rm -f curator-*
cp XXXX/curator-*4.2* . 

#######################

以上这五点都修改完后,停掉 Apache DolphinScheduler 3.0.0

伪代码

su - dolphinschedulercd XXXX/apache-dolphinscheduler-3.0.0-bin# 一键停止集群所有服务bash ./bin/stop-all.sh

初始化 DolphinScheduler 3.1.8

cd XXXX/apache-dolphinscheduler-3.1.8-bin 

sh ./tools/bin/upgrade-schema.sh


cd XXXX/apache-dolphinscheduler-3.1.8-bin 

sh ./bin/install.sh

到这里就升级完成了

本文由 白鲸开源科技 提供发布支持!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/173787.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

C++——异常

作者:几冬雪来 时间:2023年11月21日 内容:C板块异常讲解 目录 前言: 异常: C语言传统处理错误的方式: 捕获异常: 异常的相关特性: string与抛异常: catch(...): …

Monoxide relay机制和连弩挖矿

这篇文章就两个点,relay机制 、 连弩挖矿 relay 最终原子性 Eventual Atomicity 一笔跨链交易,从取款shard中发出,到存款shard中. 当收款shard中将这笔夸片交易打包上链后,原子性才执行结束。 这样做的延迟是比较小的。 如何应…

基于单片机的空气质量实时监测系统(论文+源码)

1. 系统设计 通过文献和市场调查,本设计的实现方案框架是以单片机为核心控制处理器搭建外围的功能模块如温度传感器模块、湿度传感器检测模块、二氧化碳传感器检测设备模块、无线通信模块和蜂鸣器声光报警提示模块来实现,辅以显示模块来展示。 该系统通…

什么是神经网络(Neural Network,NN)

1 定义 神经网络是一种模拟人类大脑工作方式的计算模型,它是深度学习和机器学习领域的基础。神经网络由大量的节点(或称为“神经元”)组成,这些节点在网络中相互连接,可以处理复杂的数据输入,执行各种任务…

Find My自行车|苹果Find My技术与自行车结合,智能防丢,全球定位

自行车,这项古老而简单的交通工具,近年来在中国经历了一场令人瞩目的复兴。从城市的街头巷尾到乡村的田园小路,自行车成了一种新的生活方式,一个绿色出行的选择。中国的自行车保有量超过两亿辆,但是自行车丢失事件还是…

为什么需要MuleSoft?如何与Salesforce协同工作?

MuleSoft通过一个集成平台将应用程序及其数据(跨云和内部云)连接起来。这被称为iPaaS,可将云应用程序相互集成,以及与本地和传统应用程序集成。 MuleSoft非常适合希望过渡到云的组织,提供了一种强大的集成解决方案。随着组织越来越依赖云及其…

赞评论收藏分享格雷希尔用于机器手抓取的G80P系列自动化螺纹快速接头的应用领域

格雷希尔GripSeal快速密封连接器针对螺纹孔的快速密封有二种操作方式,手动操作和气压驱动;但随着科技的不断发展,机器手越来越多的代替人工在工位上操作,于是我们又研发出适用于机器手抓取的G80P系列自动化螺纹快速连接器,使用机器…

「MobileNet V3」70 个犬种的图片分类

✅作者简介:人工智能专业本科在读,喜欢计算机与编程,写博客记录自己的学习历程。 🍎个人主页:小嗷犬的个人主页 🍊个人网站:小嗷犬的技术小站 🥭个人信条:为天地立心&…

C 语言获取文件绝对路径

示例代码 1&#xff0c;不包含根目录绝对路径&#xff1a; #include <stdlib.h> #include <stdio.h>int main(void) {char *fileName "/Dev/test.txt";char *abs_path _fullpath(NULL, fileName, 0);printf("The absolute path is: %s\n", a…

【JavaEE初阶】 JavaScript基础语法——贰

文章目录 &#x1f332;条件语句&#x1f6a9;if 语句&#x1f6a9;三元表达式&#x1f6a9;switch&#x1f6a9;循环语句&#x1f388;while 循环&#x1f388;continue&#x1f388;break&#x1f388;for 循环 &#x1f340;数组&#x1f6a9;创建数组&#x1f6a9;获取数组…

2014年2月24日 Go生态洞察:FOSDEM 2014上的Go演讲精选

&#x1f337;&#x1f341; 博主猫头虎&#xff08;&#x1f405;&#x1f43e;&#xff09;带您 Go to New World✨&#x1f341; &#x1f984; 博客首页——&#x1f405;&#x1f43e;猫头虎的博客&#x1f390; &#x1f433; 《面试题大全专栏》 &#x1f995; 文章图文…

【教程】cpp转python Nanobind 实践 加速轻量版 pythonbind11

主要是尝试一下把c这边的函数封装打包给python用&#xff0c;选择nanobind的原因是&#xff1a;1. 优化速度快&#xff0c;2. 生成二进制包小&#xff0c;不过pythonbind11是更为广泛知道的&#xff0c;nanobind也是pythonbind11作者后续做的&#xff0c;可以查看作者写的 why …

多项式求和

题目描述 给定程序中 fun 函数的功能是&#xff1a;求出以下分数序列的前 n 项之和&#xff0c;并通过函数值返回 main 函数。 输入格式 输入参数。 输出格式 计算公式返回的结果。 输入输出样例 输入1 5 输出1 8.391667 python解&#xff1a; def fun(n):a1b2s0for…

【数据结构】HashMap 和 HashSet

目录 1.哈希表概念 2冲突 2.1概念 2.2 冲突-避免 2.3冲突-避免-哈希函数设计 2.4 冲突-避免-负载因子调节 ​编辑 2.5 冲突-解决-开散列/哈希桶 2.5冲突严重时的解决办法 3.实现 4.性能分析 5.与Java集合类的关系 1.哈希表概念 在顺序结构中&#xff0c;元素关键码和存…

风电场数字孪生-升压站BIM三维模型-obj格式

简介&#xff1a; 风电场中的升压站三维模型&#xff0c;obj格式&#xff0c;采用BIM技术建模&#xff0c;可应用于风电场三维数字孪生领域&#xff0c;用于对升压站进行漫游浏览&#xff1b;三维可视化场景应用&#xff1b;风电场三维设计模型。 下载地址 风电场数字孪生-升…

2019ICPC南京站

A A Hard Problem 题意&#xff1a;给定一个正整数 n &#xff0c;你需要找出最小整数 k&#xff0c;满足&#xff1a;从{1,2,⋯,n}中任意选择长度为k的子集&#xff0c;存在两个不同的整数 u,v∈T, 且 u 是 v 的因数。 思路&#xff1a;打表找规律 #include <bits/std…

微服务实战系列之加密RSA

前言 在这个时代&#xff0c;我们选择的人生目标已丰富多彩&#xff0c;秉持的人生态度也千差万别&#xff1a; 除了吃喝玩乐&#xff0c;还有科技探索&#xff1b; 除了CityWalk&#xff0c;还有“BookWalk”&#xff1b; 除了走遍中国&#xff0c;还有走遍世界&#xff1b; …

源码安装Apache

一、下载Apache,源码安装Apache #下载 [rootlocalhost opt]# wget -c https://mirrors.aliyun.com/apache/httpd/httpd-2.4.58.tar.gz [rootlocalhost opt]# ls httpd-2.4.58.tar.gz [rootlocalhost opt]# tar -xf httpd-2.4.58.tar.gz [rootlocalhost opt]# ls httpd-2.4.58…

怎么让NetCore接口支持Json参数

项目&#xff1a;NetCore Web API 接口支持Json参数需要安装Newtonsoft.Json.Linq和Microsoft.AspNetCore.Mvc.NewtonsoftJson Program代码 //支持json需要安装Microsoft.AspNetCore.Mvc.NewtonsoftJson using Newtonsoft.Json.Serialization;var builder WebApplication.Cr…

机器学习8:在病马数据集上进行算法比较(ROC曲线与AUC)

ROC曲线与AUC。使用不同的迭代次数&#xff08;基模型数量&#xff09;进行 Adaboost 模型训练&#xff0c;并记录每个模型的真阳性率和假阳性率&#xff0c;并绘制每个模型对应的 ROC 曲线&#xff0c;比较模型性能&#xff0c;输出 AUC 值最高的模型的迭代次数和 ROC 曲线。 …