Seatunnel及web搭建流程

准备工作

Java环境

要求java8或者java11,并设置JAVA_HOME,如果JAVA_HOME无效,需要设置为有效状态。

echo ${JAVA_HOME}

创建安装软件目录

sudo mkdir -p /opt/seatunnel/backend

sudo mkdir -p /opt/seatunnel/web

下载软件

从https://seatunnel.apache.org/download/下载apache-seatunnel-2.3.3-bin.tar.gz

以及apache-seatunnel-web-1.0.0-bin.tar.gz

放置到准备好的目录

安装seatunnel

解压软件

sudo tar -zxvf apache-seatunnel-2.3.3-bin.tar.gz -C /opt/seatunnel/backend

sudo tar -zxvf apache-seatunnel-web-1.0.0-bin.tar.gz -C /opt/seatunnel/web/

配置环境变量

在/etc/profile.d/seatunnel.sh中配置环境变量

然后执行source /etc/profile

下载jar包

Seatunnel里面的connector对应的jar包需要自己下载,在下载之前先看看其下载逻辑

下载逻辑

在执行自动下载jar包钱,进入apache-seatunnel-2.3.3,查看vim bin/install-plugin.sh内容

主要逻辑如下:

  1. 使用mvnw进行下载
  2. 下载seatunnel-hadoop3-3.1.4-uber到lib文件夹下
  3. 下载在config/plugin_config配置的seatunnel的连接器到connectors/seatunnel文件下

在下载之前,可以对config/plugin_config进行编辑,注释不需要的connector,可以添加需要的connector

可vim connectors/plugin-mapping.properties查看所有支持的connector

相关目录

执行命令mkdir -p flink flink-sql spark seatunnel创建多个文件夹

自动下载

sh bin/install-plugin.sh

执行命令即可,一般不推荐,因为从官网下载速度太慢,可以通过修改相关的代码进行手动加速下载。

手动下载

修改代码,通过阿里云的mvn源快速下载,然后将相关jar包复制到对应目录即可。

详细可参考以下文章

seatunnel及web安装常见问题与解决方法-CSDN博客

注意:下载jar复制到两个文件夹,一个是lib文件夹,一个是connectors/seatunnel文件夹。

运行

测试

进入主文件夹/opt/seatunnel/backend/apache-seatunnel-2.3.3执行命令:

sudo ./bin/seatunnel.sh --config ./config/v2.batch.config.template -e local

观察到日志有如下信息表示运行测试成功

启动服务

 nohup sh bin/seatunnel-cluster.sh 2>&1 &

查看日志tail -f logs/seatunnel-engine-server.log 有类似信息打印出。

必须启动seatunnel的server,web端服务才能正常运行。

安装seatunnel-web

准备工作

在seatunnel的web端机器上需要部署seatunnel客户端,如果服务端与web端在同一台机器,则可跳过此步。跳过此步,因为测试环境都部署在同一台机器上。如有需要可以访问https://seatunnel.apache.org/docs/seatunnel-engine/deployment/#6-config-seatunnel-engine-client

解压软件

sudo tar -zxvf apache-seatunnel-web-1.0.0-bin.tar.gz -C /opt/seatunnel/web/

初始化数据库

修改配置

将script/seatunnel_server_env.sh相关配置改为你的对应的数据库信息

此处HOSTNAME,PORT等名称容易与系统其他名称冲突,加上前缀STWEB_

给script/init_sql.sh相关变量加上前缀STWEB_

执行初始化数据库命令

执行命令sh init_sql.sh,无异常则执行成功。

配置后端服务

修改端口与数据源

vim conf/application.yml修改端口号和数据源信息

配置client信息

sudo cp /opt/seatunnel/backend/apache-seatunnel-2.3.3/config/hazelcast-client.yaml ./conf/

配置支持的插件信息

sudo cp /opt/seatunnel/backend/apache-seatunnel-2.3.3/connectors/plugin-mapping.properties ./conf/

配置jar包

配置jar包非常关键,否则会出现各种各样的问题,常见的有:

1.没有数据源可以进行创建

2.没有source或者sink进行选择

3.配置好任务后无法执行

配置元数据mysql的jar包

将mysql-connector-java-8.0.15.jar包复制到

/opt/seatunnel/web/apache-seatunnel-web-1.0.0-bin/libs

配置数据源jar包

将相关jar包复制到/opt/seatunnel/web/apache-seatunnel-web-1.0.0-bin/libs

注意事项

元数据和数据源的jar包还需要要复制到后端lib文件夹/opt/seatunnel/backend/apache-seatunnel-2.3.3/lib

否则在配置好web任务时,后台根本不执行!!!

数据源jar包下载方式查看

seatunnel及web安装常见问题与解决方法-CSDN博客 中如下部分

启动服务

sudo sh bin/seatunnel-backend-daemon.sh start

访问ip:8081/ui,此端口为conf/application.yml中配置的端口

默认用户名,密码为admin/admin

登录进入后,点击数据源,创建数据源,可看到如下页面。

配置任务

Source端选择官方的seatunnel中的role表

Sink端新建另一个库seatunnel_bak,新建一个与seatunnel中role一样的表

运行实例

任务运行成功后,查询目的数据库的数据,结果符合预期。

select *,'org' flag from seatunnel.`role` 

union all 

select *,'dest' flag from seatunnel_bak.`role` 

至此完成seatunnel及web的整体流程搭建与测试。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/152812.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

新手小白看过来——带你快速入门跨境电商

近几年来,国内外贸交易是越来越火爆,其中跨境电商成为了2023年的热门风口行业,尽管现在做跨境电商的从业者有很多,但仍然有许多0基础小白想通过跨境电商获取人生的第一桶金,那么新手应该如何在跨境电商领域取得成功呢&…

jedis连接redis

package com.wsd;import redis.clients.jedis.Jedis;import java.io.IOException; import java.io.InputStream; import java.util.HashMap; import java.util.Map; import java.util.Properties;public class Redis {public static void main(String[] args) {//读取properti…

侧面多级菜单(一个大类、一个小类、小类下多个物体)

效果: 说明: 左右侧面板使用Animator组件控制滑入滑出。左侧面板中,左的左里面是大类,左的右有绿色的小类,绿色的小类下有多个真正的UI图片按钮。 要点: 结合了一点EasyGridBuilderPro插件的UI元素&…

天津市专业大数据培训班,大数据就业岗位的多样性

大数据技术应用广泛,几乎涉及到了各个行业和领域。毕业后,我们可以选择从事大数据工程师、数据分析师、数据科学家等职业,也可以选择进入金融、医疗、电商等行业进行数据分析和决策支持。 大数据就业岗位多样 大数据培训所涉及的就业岗位有…

【从入门到起飞】JavaSE—IO工具包(Commons-io,Hutool) (2)

🎊专栏【JavaSE】 🍔喜欢的诗句:天行健,君子以自强不息。 🎆音乐分享【如愿】 🎄欢迎并且感谢大家指出小吉的问题🥰 文章目录 🌺工具包Commons-io⭐使用步骤🛸新建一个文…

国内也可以做伦敦金的吗?给你答案

虽然伦敦金是国际市场上的贵金属投资方式,但国内投资者同样有机会参与其中,最简单的方式就是通过香港的持牌平台,在网上开设一个账号,并往其中注入一定的资金之后,就可以展开交易。 国内投资者可以炒伦敦金&#xff0c…

Spring Bean的生命周期详细梳理

1. 理解Bean的生命周期 1.1 生命周期的各个阶段 在Spring IOC容器中&#xff0c;Bean的生命周期大致如下&#xff1a; 实例化&#xff1a;当启动Spring应用时&#xff0c;IOC容器就会为在配置文件中声明的每个<bean>创建一个实例。属性赋值&#xff1a;实例化后&#…

Python大语言模型实战-利用MetaGPT框架自动开发一个游戏软件(附完整教程)

实现功能 MetaGPT是一个应用在软件开发领域的多智能体框架&#xff0c;其主要创新点在于将SOP标准流水线和Agent结合在了一起&#xff0c;使得拥有不同技能的Role之间配合完成一项较为复杂的任务。本文将用一个案例来演示整个流程。 实现代码 项目地址&#xff1a;https://gi…

MapApp 地图应用

1. 简述 1.1 重点 1&#xff09;更好地理解 MVVM 架构 2&#xff09;更轻松地使用 SwiftUI 框架、对齐、动画和转换 1.2 资源下载地址: Swiftful-Thinking:https://www.swiftful-thinking.com/downloads 1.3 项目结构图: 1.4 图片、颜色资源文件图: 1.5 启动图片配置图: 2. Mo…

(Matalb时序预测)WOA-BP鲸鱼算法优化BP神经网络的多维时序回归预测

目录 一、程序及算法内容介绍&#xff1a; 基本内容&#xff1a; 亮点与优势&#xff1a; 二、实际运行效果&#xff1a; 三、部分代码&#xff1a; 四、完整代码数据说明手册&#xff1a; 一、程序及算法内容介绍&#xff1a; 基本内容&#xff1a; 本代码基于Matalb平台…

微服务测试怎么做

开发团队越来越多地选择微服务架构而不是单体结构&#xff0c;以提高应用程序的敏捷性、可扩展性和可维护性。随着决定切换到模块化软件架构——其中每个服务都是一个独立的单元&#xff0c;具有自己的逻辑和数据库&#xff0c;通过 API 与其他单元通信——需要新的测试策略和新…

python 基础语法学习 (二)

多变量赋值 当你在Python中进行多变量赋值时&#xff0c;你可以在一行代码中同时为多个变量分配值。这种方法可以简化代码并提高可读性。下面是一些关于Python多变量赋值的基本知识&#xff1a; 基本赋值&#xff1a;你可以使用等号&#xff08;&#xff09;将一个值分配给一…

SimaPro生命周期评估建模与碳足迹分析流程

SimaPro以系统和透明的方式轻松建模和分析复杂的生命周期&#xff0c;通过确定供应链中每个环节的热点&#xff0c;从原材料的提取到制造&#xff0c;分销&#xff0c;使用和处置&#xff0c;衡量所有生命周期阶段的产品和服务对环境的影响。SimaPro是过去25年评估生命周期的最…

容联云发布生成式应用,让每个企业都拥有大模型沟通能力

基于容联云自主研发的赤兔大模型能力&#xff0c;容联云容犀机器人真正将大模型强大的理解能力、知识学习能力、总结能力、挖掘能力、推理能力融入于实际落地应用中。 开创性的打造生成式场景化智能问答、生成式智能辅助、AI运营话术库&#xff0c;帮助企业洞悉更精准的客户真…

【游戏开发】嘿!要听听我与口袋方舟的故事嘛

目录 写在前面 我与口袋方舟的邂逅 口袋方舟编辑器 027版本正式公测 更新亮点 粉丝福利 写在后面 写在前面 哈喽小伙伴们下午好呀&#xff0c;这里是一只有趣的兔子。最近博主在到处整活给大家谋福利&#xff0c;这次兔哥打听到了一个劲爆的消息&#xff0c;口袋方舟正…

加密数字货币:机遇与风险并存

随着区块链技术的发展和普及&#xff0c;加密数字货币逐渐走入人们的视线。作为一种以数字形式存在的资产&#xff0c;加密数字货币具有去中心化、匿名性和安全性高等特点&#xff0c;为人们提供了一种全新的支付方式和投资选择。然而&#xff0c;加密数字货币市场也存在着较高…

跨界融合 开放共享∣2023中国林草经济发展博鳌大会即将开启

2023第二届中国林草经济发展博鳌大会&#xff08;以下简称“2023 林草大会”&#xff09;将于11月19-20日在海南博鳌亚洲论坛国际会议中心盛大开幕。本次活动由海南省商务厅、海南省林业局支持&#xff0c;中国林业产业联合会、中国林产工业协会、华侨茶业发展研究基金会、北京…

CPU版本的pytorch安装

1.安装&#xff1a;Anaconda3 2.安装&#xff1a;torch-2.0.1cpu-cp311 2.安装&#xff1a;torchvision-0.15.2cpu-cp311-cp311-win_amd64 测试是否安装成功 cmd 进入python import torch print(torch.__version__) print(torch.cuda.is_available())

Protobuf 语法

Protobuf语法 1.1.1. 基本规范 文件以.proto做为文件后缀&#xff0c;除结构定义外的语句以分号结尾 结构定义可以包含&#xff1a;message、service、enum rpc方法定义结尾的分号可有可无 Message命名采用驼峰命名方式&#xff0c;字段命名采用小写字母加下划线分隔方式 …

conda环境下Tesseract:Failed loading language ‘eng‘问题解决

1 问题描述 使用Tesseract进行ocr文字识别&#xff0c;运行识别代码&#xff0c;报错如下&#xff1a; C:\Users\lishu\anaconda3\envs\pt2\python.exe D:/code/ptcontainer/opencv/car_reg.py Traceback (most recent call last): File "D:\code\ptcontainer\opencv\…