DolphinScheduler-3.2.0集群部署教程

本文目录

  • 1.集群部署方案(2 Master + 3 Worker)
  • 2.前置准备工作
  • 3.端口说明
  • 4.DS集群部署
    • 1.时间同步
    • 2.配置用户、权限
    • 3.配置集群免密登陆
    • 4.ZK集群启动
    • 5.初始化数据库
      • 1.创建数据库、用户、授权
      • 2.解压缩安装包
      • 3.添加MySQL驱动至libs目录
    • 6.配置文件修改
      • 1.dolphinscheduler_env.sh 配置
      • 2.install_env.sh文件修改
    • 7.初始化元数据
    • 8.安装DS
    • 9.登录 DolphinScheduler 控制台
    • 10.查看监控中心Master/Worker节点信息
      • 1.Master节点
      • 2.Worker节点
    • 11.启动/停止服务命令

1.集群部署方案(2 Master + 3 Worker)

  • DS官网：https://dolphinscheduler.apache.org/zh-cn
  • DS使用文档：https://dolphinscheduler.apache.org/zh-cn/docs/3.2.0
  • 截止2024-01-19，DS最新版本：3.2.0
  • 部署版本：apache-dolphinscheduler-3.2.0-bin.tar.gz
主机名ip部署服务
hadoop31192.168.0.31MasterServer、WorkerServer、ApiServer
hadoop32192.168.0.32MasterServer、WorkerServer
hadoop33192.168.0.33WorkerServer、AlertServer

2.前置准备工作

  • 操作系统：Linux CentOS 7.9 【CPU 4核+ 内存8G+】
  • JDK：下载JDK（1.8+），安装并配置 JAVA_HOME 环境变量，并将其下的 bin 目录追加到 PATH 环境变量中。
  • 数据库：MySQL（5.7+）或者 PostgreSQL（8.2.15+），两者任选其一即可，如 MySQL 则需要JDBC Driver 8.0.16 版本。【此处使用MySQL 8.2.0，驱动使用的是：mysql-connector-j-8.2.0.jar】
  • 注册中心：Zookeeper（3.8.0+），集群模式，【此处使用 3.8.3 版本】
  • DS二进制包：下载地址 https://www.apache.org/dyn/closer.lua/dolphinscheduler/3.2.0/apache-dolphinscheduler-3.2.0-bin.tar.gz
  • 注意：DolphinScheduler 本身不依赖 Hadoop、Hive、Spark，但如果你运行的任务需要依赖他们，就需要有对应的环境支持。

3.端口说明

组件默认端口说明
MasterServer5678非通信端口，只需本机端口不冲突即可
WorkerServer1234非通信端口，只需本机端口不冲突即可
ApiApplicationServer12345提供后端通信端口

4.DS集群部署

1.时间同步

服务端：192.168.0.31 客户端：192.168.0.32、192.168.0.33，服务端在31执行，客户端在32、33执行

# 服务端和客户端，安装chrony
yum install chrony -y

# 服务端和客户端，安装chrony
yum install chrony -y

# 服务端（此处也可以使用 ntp.aliyun.com 来代替 192.168.0.31，使用阿里云时间服务，如果使用31则是本机时间）
cat > /etc/chrony.conf << EOF 
pool 192.168.0.31 iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
allow 192.168.0.0/24
local stratum 10
keyfile /etc/chrony.keys
leapsectz right/UTC
logdir /var/log/chrony
EOF

# 客户端
cat > /etc/chrony.conf << EOF 
pool 192.168.0.31 iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
keyfile /etc/chrony.keys
leapsectz right/UTC
logdir /var/log/chrony
EOF

# 客服端和服务端，重启chrony，开机自启动
systemctl restart chronyd
systemctl enable chronyd

#客户端进行验证
chronyc sources -v

# 参数解释
#
# pool ntp.aliyun.com iburst
# 指定使用ntp.aliyun.com作为时间服务器池，iburst选项表示在初始同步时会发送多个请求以加快同步速度。
# 
# driftfile /var/lib/chrony/drift
# 指定用于保存时钟漂移信息的文件路径。
# 
# makestep 1.0 3
# 设置当系统时间与服务器时间偏差大于1秒时，会以1秒的步长进行调整。如果偏差超过3秒，则立即进行时间调整。
# 
# rtcsync
# 启用硬件时钟同步功能，可以提高时钟的准确性。
# 
# allow 192.168.0.0/24
# 允许192.168.0.0/24网段范围内的主机与chrony进行时间同步。
# 
# local stratum 10
# 将本地时钟设为stratum 10，stratum值表示时钟的准确度，值越小表示准确度越高。
# 
# keyfile /etc/chrony.keys
# 指定使用的密钥文件路径，用于对时间同步进行身份验证。
# 
# leapsectz right/UTC
# 指定时区为UTC。
# 
# logdir /var/log/chrony
# 指定日志文件存放目录。

2.配置用户、权限

# 创建用户需使用 root 登录
useradd dolphinscheduler

# 添加密码
echo "dolphinscheduler" | passwd --stdin dolphinscheduler

# 配置 sudo 免密
sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers

# 修改目录权限，使得部署用户对二进制包解压后的 apache-dolphinscheduler-*-bin 目录有操作权限
chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin
chmod -R 755 apache-dolphinscheduler-*-bin

3.配置集群免密登陆

# 使用创建的 dolphinscheduler 登陆，配置hadoop31到hadoop32、hadoop33免密登陆
su dolphinscheduler

# hadoop31节点，生成密钥
ssh-keygen -t rsa

# hadoop31节点操作，配置向hadoop31、hadoop32、hadoop33节点免密
ssh-copy-id hadoop31
ssh-copy-id hadoop32
ssh-copy-id hadoop33

4.ZK集群启动

  ZK集群安装，参考教程：ZooKeeper集群的安装，本文安装 ZK 版本为 3.8.3。参考教程中是 3.4.14，安装步骤都是一样样儿的，对应着来就可以了。

# 启动zk集群
bin/zkServer.sh start

5.初始化数据库

此处以 MySQL 为例

1.创建数据库、用户、授权

此处可使用root用户，推荐单独创建一个用户dolphinscheduler

-- 进入MySQL命令行
[root@hadoop01]# mysql -u root -p 
Enter password: xxxxxx
-- 创建 dolphinscheduler 数据库用户和密码，并限定登陆范围
mysql > CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
-- 创建 dolphinscheduler 的元数据，并指定编码
mysql > CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
-- 为dolphinscheduler数据库授权
mysql > grant all privileges on dolphinscheduler.* to 'dolphinscheduler'@'%';
-- 刷新权限
mysql > flush privileges;

2.解压缩安装包

# 将apache-dolphinscheduler-3.2.0-bin.tar.gz上传至/opt/targz目录下

# 解压
[root@hadoop31 targz]# tar zxvf ./apache-dolphinscheduler-3.2.0-bin.tar.gz

# 修改目录权限，使得部署用户对解压缩后的文件有操作权限
[root@hadoop31 targz]# chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-3.2.0-bin

3.添加MySQL驱动至libs目录

​ 此处使用 MySQL 8.2.0版本，对应使用 JDBC 驱动为 mysql-connector-j-8.2.0.jar，将该驱动移动至 DolphinScheduler 的每个模块下的 libs 目录下。共5个目录：

  • api-server/libs
  • alert-server/libs
  • master-server/libs
  • worker-server/libs
  • tools/libs

6.配置文件修改

1.dolphinscheduler_env.sh 配置

# 修改dolphinscheduler_env.sh
vim apache-dolphinscheduler-3.2.0-bin/bin/env/dolphinscheduler_env.sh

# 在文末添加以下配置：
# JAVA_HOME, will use it to start DolphinScheduler server
# JDK配置
export JAVA_HOME=${JAVA_HOME:-/opt/soft/jdk8}

# Database related configuration, set database type, username and password
# MySQL数据库配置
export DATABASE=${DATABASE:-mysql}
export SPRING_PROFILES_ACTIVE=${DATABASE}
export SPRING_DATASOURCE_URL="jdbc:mysql://192.168.17.28:3307/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false"
export SPRING_DATASOURCE_USERNAME=${SPRING_DATASOURCE_USERNAME:-"dolphinscheduler"}
export SPRING_DATASOURCE_PASSWORD=${SPRING_DATASOURCE_PASSWORD:-"dolphinscheduler"}

# DolphinScheduler server related configuration
export SPRING_CACHE_TYPE=${SPRING_CACHE_TYPE:-none}
export SPRING_JACKSON_TIME_ZONE=${SPRING_JACKSON_TIME_ZONE:-UTC}
export MASTER_FETCH_COMMAND_NUM=${MASTER_FETCH_COMMAND_NUM:-10}

# Registry center configuration, determines the type and link of the registry center
# zk注册中心
export REGISTRY_TYPE=${REGISTRY_TYPE:-zookeeper}
export REGISTRY_ZOOKEEPER_CONNECT_STRING=${REGISTRY_ZOOKEEPER_CONNECT_STRING:-hadoop31:2181,hadoop32:2181,hadoop33:2181}

# Tasks related configurations, need to change the configuration if you use the related tasks.
# 其他环境配置(此处只配置了hadoop、hive，其他环境未部署)
# 如果你不使用某些任务类型，可以忽略不做配置，使用默认即可。比如Flink不使用，不做处理即可
export HADOOP_HOME=${HADOOP_HOME:-/opt/soft/hadoop-3.3.6}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/opt/soft/hadoop-3.3.6/etc/hadoop}
export SPARK_HOME=${SPARK_HOME:-/opt/soft/spark}
export PYTHON_LAUNCHER=${PYTHON_LAUNCHER:-/opt/soft/python}
export HIVE_HOME=${HIVE_HOME:-/opt/soft/hive-3.1.3}
export FLINK_HOME=${FLINK_HOME:-/opt/soft/flink}
export DATAX_LAUNCHER=${DATAX_LAUNCHER:-/opt/soft/datax/bin/python3}

export PATH=$HADOOP_HOME/bin:$SPARK_HOME/bin:$PYTHON_LAUNCHER:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_LAUNCHER:$PATH

2.install_env.sh文件修改

# 修改install_env.sh
vim apache-dolphinscheduler-3.2.0-bin/bin/env/install_env.sh

# 按照集群部署方案，内容如下：

# 集群节点
ips=${ips:-"hadoop31,hadoop32,hadoop33"}

# ssh免密端口,使用默认
sshPort=${sshPort:-"22"}

# master节点
masters=${masters:-"hadoop31,hadoop32"}

# worker节点
workers=${workers:-"hadoop31:default,hadoop32:default,hadoop33:default"}

# alert节点
alertServer=${alertServer:-"hadoop33"}

# api节点
apiServers=${apiServers:-"hadoop31"}

# dolphinscheduler实际安装路径
installPath=${installPath:-"/opt/soft/dolphinscheduler-3.2.0"}

# 部署dolphinscheduler使用的用户名
deployUser=${deployUser:-"dolphinscheduler"}

# zk根节点
zkRoot=${zkRoot:-"/dolphinscheduler"}

7.初始化元数据

# 切换到apache-dolphinscheduler-3.2.0-bin目录下，执行命令
[root@hadoop31 apache-dolphinscheduler-3.2.0-bin]# sh ./tools/bin/upgrade-schema.sh

# 此操作，会向MySQL数据库写入元数据，共计65张表，如图所示：

请添加图片描述

8.安装DS

# 执行install.sh部署命令
[root@hadoop31 apache-dolphinscheduler-3.2.0-bin]# ./bin/install.sh 

# 当看到下图时，说明 DS 安装完成

请添加图片描述
提示：

安装完成后，此时安装用到的 apache-dolphinscheduler-3.2.0-bin 文件就没用了。

此时，已经将 DS 安装到配置中指定的 /opt/soft/dolphinscheduler-3.2.0 目录下了

9.登录 DolphinScheduler 控制台

访问地址：http://192.168.0.31:12345/dolphinscheduler/ui/

用户名：admin

密码：dolphinscheduler123
请添加图片描述

10.查看监控中心Master/Worker节点信息

1.Master节点

请添加图片描述

2.Worker节点

请添加图片描述

11.启动/停止服务命令

第一次安装后，会自动启动所有服务。如有服务问题或者后续需要启停，命令如下。以下脚本都在 DolphinScheduler安装目录的bin下

# 一键停止集群所有服务
sh /opt/soft/dolphinscheduler-3.2.0/bin/stop-all.sh

# 一键启动集群所有服务
sh /opt/soft/dolphinscheduler-3.2.0/bin/start-all.sh

# 启/停 master 服务
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh start master-server 
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh stop master-server 

# 启/停 worker 服务
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh start worker-server 
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh stop worker-server 

# 启/停 api 服务
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh start api-server 
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh stop api-server 

# 启/停 alert 服务
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh start alert-server 
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh stop alert-server

本文结束，谢谢

     ___       ___       ___       ___            ___       ___   
    /\  \     /\  \     /\__\     /\  \          /\  \     /\__\  
   /::\  \   /::\  \   /::L_L_   /::\  \        /::\  \   /:| _|_ 
  /:/\:\__\ /:/\:\__\ /:/L:\__\ /::\:\__\      /:/\:\__\ /::|/\__\
  \:\ \/__/ \:\/:/  / \/_/:/  / \:\:\/  /      \:\/:/  / \/|::/  /
   \:\__\    \::/  /    /:/  /   \:\/  /        \::/  /    |:/  / 
    \/__/     \/__/     \/__/     \/__/          \/__/     \/__/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/340885.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

深度学习(1)--基础概念

深度学习(1)--基础概念

目录 一.计算机视觉(CV) 二.神经网络基础 三.神经网络整体架构 一.计算机视觉(CV) (1).计算机视觉中图像表示为三位数组&#xff0c;其中三维数组中像素的值为0~255&#xff0c;像素的值越低表示该点越暗&#xff0c;像素的值越高表示该点越亮。 (2).图像表示 A*B*C&#xf…
阅读更多...
专业140总分420+南京大学851信号与系统考研经验电子信息通信信号与信息处理

专业140总分420+南京大学851信号与系统考研经验电子信息通信信号与信息处理

今年专业140&#xff0c;数学140&#xff0c;总420&#xff0c;圆梦南京大学&#xff0c;一年多的备考&#xff0c;期间有段时间&#xff0c;有过犹豫&#xff0c;有过纠结&#xff0c;有过迟疑&#xff0c;但最后还是理性战胜感性&#xff0c;坚持了下来&#xff0c;总结这一年…
阅读更多...
RTDETR 引入 超越自注意力：面向医学图像分割的可变形大卷积核注意力

RTDETR 引入 超越自注意力：面向医学图像分割的可变形大卷积核注意力

医学图像分割在转换器模型的应用下取得了显著的进展，这些模型擅长捕捉广泛的上下文和全局背景信息。然而，这些模型随着标记数量的平方成比例增长的计算需求限制了它们的深度和分辨率能力。大多数当前的方法通过逐层处理D体积图像数据（称为伪3D），在处理过程中错过了关键的跨…
阅读更多...
网址链接的二维码如何制作？扫码怎么跳转其他网页？

网址链接的二维码如何制作？扫码怎么跳转其他网页？

随着互联网的快速发展&#xff0c;大家可以从网上找到自己满足自己需求的信息或者其他内容&#xff0c;大多数情况下现在都可以用手机来完成。现在很多的内容都是需要通过扫码来查看的&#xff0c;那想要将一个网址链接生成二维码图片&#xff0c;具体该怎么实现这一需求呢&…
阅读更多...
RAMROM

RAMROM

RAM&#xff08;Random Access Memory&#xff09;&#xff0c;随机存取存储器&#xff0c;也叫主存&#xff0c;又称内存&#xff08;动态ROM&#xff09;&#xff0c;是与CPU直接交换数据的内部存储器。它可以随时读写&#xff08;刷新时除外&#xff09;&#xff0c;而且速度…
阅读更多...
mybatis代码生成器

mybatis代码生成器

注意 适用版本&#xff1a;mybatis-plus-generator 3.5.1 以下版本 AutoGenerator 是 MyBatis-Plus 的代码生成器&#xff0c;通过 AutoGenerator 可以快速生成 Entity、Mapper、Mapper XML、Service、Controller 等各个模块的代码&#xff0c;极大的提升了开发效率。 // 演…
阅读更多...
Unity工程没有创建.sln文件，导致打开C#文件无法打开解决方案

Unity工程没有创建.sln文件，导致打开C#文件无法打开解决方案

最近又开始折腾些Unity的小项目&#xff0c;重新遇到一些常见的小问题 点击报错文件 却没有打开文件 于是查看了下打开Window->Package Manager 选择Unity Registry 搜索Visual Studio Editor&#xff0c;发现并没有安装 同理&#xff0c;也可以安装VSCode的插件 问题解决了…
阅读更多...
性能进阶：使用JMeter进行websocket测试【建议收藏】

性能进阶：使用JMeter进行websocket测试【建议收藏】

本次测试案例主要是分享如何使用JMeter进行websocket协议下的聊天接口性能测试。 包含websocket插件的下载安装、线程组及sampler的设置、csv参数化和组建分布式测试的方法、如何通过调整参数来获得发压机的最大并发数以及对测试过程的总结。 整篇文章只侧重介绍进行websocke…
阅读更多...
磁盘的分区与文件系统的认识

磁盘的分区与文件系统的认识

磁盘的认识 了解磁盘的结构&#xff1a; 1、盘片 硬盘首先会有多个盘片构成&#xff0c;类似很多个独立的光盘合并在一起&#xff0c;每个盘片都有2个面&#xff0c;每个盘片都有一个对应的磁头&#xff0c;我们的磁头横移和盘面的旋转就可以读写到盘面的每一个位置&#xff0c…
阅读更多...
基于springboot+vue的教师工作量管理系统(前后端分离)

基于springboot+vue的教师工作量管理系统(前后端分离)

博主主页&#xff1a;猫头鹰源码 博主简介&#xff1a;Java领域优质创作者、CSDN博客专家、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战 主要内容&#xff1a;毕业设计(Javaweb项目|小程序等)、简历模板、学习资料、面试题库、技术咨询 文末联系获取 项目背景…
阅读更多...
最简单解决：error: reference to ‘***‘ is ambiguous

最简单解决：error: reference to ‘***‘ is ambiguous

目录 错误 错误原因 解决办法 错误 6_38.cpp: In function void TowerofHanoi(int, int, int, int): 6_38.cpp:17:9: error: reference to count is ambiguous count; ^ 6_38.cpp:3:5: note: candidates are: int count int count 0; ^ 错误原因…
阅读更多...
HCIA——24FTP 的工作原理、功能、TFTP、控制连接、数据连接

HCIA——24FTP 的工作原理、功能、TFTP、控制连接、数据连接

学习目标&#xff1a; 计算机网络 1.掌握计算机网络的基本概念、基本原理和基本方法。 2.掌握计算机网络的体系结构和典型网络协议&#xff0c;了解典型网络设备的组成和特点&#xff0c;理解典型网络设备的工作原理。 3.能够运用计算机网络的基本概念、基本原理和基本方法进行…
阅读更多...
SpringBoot进阶

SpringBoot进阶

SpringBoot解析 SpringBoot起步依赖 SpringBoot在配置上相比Spring要简单许多&#xff0c;其核心在于starter起步依赖。在使用SpringBoot来搭建一个项目时&#xff0c;只需要引入官方提供的starter起步依赖就可以直接使用&#xff0c;免去了各种配置。因为起步依赖可以引入某…
阅读更多...
笔试面试题——二叉树进阶（二）

笔试面试题——二叉树进阶（二）

&#x1f4d8;北尘_&#xff1a;个人主页 &#x1f30e;个人专栏:《Linux操作系统》《经典算法试题 》《C》 《数据结构与算法》 ☀️走在路上&#xff0c;不忘来时的初心 文章目录 一、二叉搜索树与双向链表1、题目讲解2、思路讲解递归展开图3、代码实现 二、从前序遍历和中序…
阅读更多...
Flutter轮播图Banner

Flutter轮播图Banner

使用插件&#xff1a;flutter_swiper 实现轮播图 pubspec.yaml 增加 &#xff1a;flutter_swiper : ^lastest_version 在项目文件夹下打开命令行执行&#xff1a;flutter packages get 安装插件 home_page.dart中使用swiper 程序运行:先启动虚拟设备后&#xff0c;执行命令f…
阅读更多...
【征服redis16】收官-redis缓存一致性问题解决方案

【征服redis16】收官-redis缓存一致性问题解决方案

今天我们来写redis最后一篇&#xff1a;redis作为缓存时如何与数据库实现数据一致的问题。 最近看redis看得有点麻了&#xff0c;这篇就简单描述吧 目录 1.什么是缓存与数据库一致性问题 1.1 缓存一致性的概念 1.2 缓存不一致的场景 2.缓存不一致的解决思路 1.什么是缓存…
阅读更多...
Pandas数据重采样

Pandas数据重采样

数据重采样 时间数据由一个频率转换到另一个频率 降采样&#xff08;如D到M&#xff09;升采样&#xff08;如M到D&#xff09; 方法&#xff1a;调用resample 降采样举例 import matplotlib.pyplot as plt import numpy as np import pandas as pd import datetime as dtrng…
阅读更多...
git内部原理

git内部原理

git内部原理 介绍目录结构说明 介绍 项目的本地仓库中&#xff0c;包含一个隐藏的.git目录&#xff0c;其不同的文件产生都源于git的各种不同命令造成&#xff0c;文件目录如下所示&#xff1a; 目录结构说明 上面最核心重要的为object目录&#xff0c;目录最主要有三个对象…
阅读更多...
【好用的AI工具】推荐测试人在用的Kimi Chat

【好用的AI工具】推荐测试人在用的Kimi Chat

一、功能介绍 发网址链接文章解析PDF文件分析&#xff0c;可以整理分析文章丢简历、给出面试问题聊天等 Kimi Chat 二、对于测试人带来的帮助 2.1 面试问题总结 问题一&#xff1a;Session和Cookie的区别 seeion 和 cookie 是两种不同的数据存储机制&#xff0c;它们在Web开…
阅读更多...
C++ 并发编程 | 线程的状态

C++ 并发编程 | 线程的状态

一、线程的状态 1、线程的状态 C线程有五种不同的状态&#xff1a;创建、就绪、运行、阻塞、终止。掌握线程状态可帮助我们跟踪程序的执行过程&#xff0c;并解决潜在的竞态条件和死锁问题&#xff0c;掌握它对于编写可靠和高效的多线程应用程序至关重要。下面分别介绍这几种状…
阅读更多...
最新文章

Copyright @ 2022~2023