从0到1快速入门ETLCloud

一、ETLCloud的介绍

ETL是将业务系统的数据经过抽取(Extract)、清洗转换(Transform)之后加载(Load)到数据仓库的过程,目的是将企业中的分散、凌乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。 ETL是BI(Business Intelligence)项目重要的一个环节。 通常情况下,在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。

ETLCloud数据集成平台是一款针对IT以及数据工程师推出的全域数据集成平台产品。它是集实时数据集成和离线数据集成以及API发布为一体的数据集成平台。

与其他开源数据集成工具相比,ETLCloud采用轻量化架构、具有更快的部署速度、更快的数据传输速度、更低的运维成本,同时支持多租户的团队协作能力,能够满足企业各种复杂的数据处理需求。

二、ETLCloud的优势

简洁易用的操作界面

用户可以通过基于 Web 的界面完成所有的操作,只需从左侧的组件区域拖动相应的组件即可创建流程。此外,左侧的组件区域支持自定义开发和扩展,以满足不同的业务需求。

 

ETL应用监控首页

用户根据自己的业务需求去创建并设计流程

丰富的数据源读写支持

ETLCloud提供对100多种SQL和NOSQL数据库的读写支持,使得企业可以轻松地对接内部多种数据源。此外,ETLCloud还支持自定义扩展数据源,以满足不同业务需求的数据读写操作。

ETLCloud支持国内主流的国产数据库数据的读写操作,例如达梦、阿里OB、华为高斯DB、人大金仓、南大通用、Doris、TiDB等等。此外,ETLCloud还支持信创环境的安装,方便用户快速搭建数据处理平台。

 

1000+数据处理组件和1500+数据管道模板

ETLCloud采用了一种创新的基于平台底座的理念。它通过将组件和平台进行分离,用户可以在ETLCloud网站上自行下载和安装所需的组件,而无需升级整个底座版本。这样用户就可以通过不断升级组件来增强数据集成平台的处理能力。同时,ETLCloud还开发了适用于主流SaaS和应用系统的对接组件,用户只需简单点击几下即可完成将主流应用系统中的数据拉取并传输到数据仓库中。这样,用户可以轻松实现应用数据的采集和推送,无需编写任何代码。

 

 

运维难度和成本低

对于大数据的运维人员来说,他们非常关注任务的准时运行和成功运行。ETLCloud提供了消息通知功能,可以在任务成功或失败时通过自定义的方式实时通知运维人员,以确保他们能够第一时间了解任务的运行情况。用户可以根据自己的需求选择邮件、短信、企业微信、钉钉等不同的通知方式。这样,无论是任务按时运行还是出现异常,运维人员都能够及时收到通知,从而能够及时采取措施来处理问题。ETLCloud的消息通知功能为大数据任务的监控和管理提供了便利和高效性。

 

支持CDC实时数据同步

ETLCloud支持CDC实时数据同步能力,通过开启数据库的日志,实现实时数据的监听传输,整个步骤只需要通过简单的配置即可快速完成。另外还支持kafka、各种MQ消息的监听以及推送。

 

三、基本操作演示

如何流程设计(我们将已使用场景最多的基本流程进行讲解,即数据输入和输出)

点击离线数据流程->创建应用->新增流程

 

 

进入流程设计页面

 

可以看到操作界面非常简单易懂,首先需要两个必要节点,即开始和结束节点,这在通用组件可以找到。

通过拖拉拽的形式来将这些组件进行连接,双击连接的路由可以查看和设置路由属性,每个属性都有相关的讲解,所以不用担心不会选择。

 

双击组件可以对组件进行相关的配置,同样的每个属性都有相关的讲解,怎么去学习组件的使用我们待会讲解。

 

流程设计完成后,点击上面的菜单栏,保存、运行即可,当然上面还有其他的操作。

 

点击运行即可

 

那么简单的流程设计就完成了,如果流程执行失败可以查看调用日志来排查问题。

数据源管理可以对数据来源进行管理,这里支持非常多的数据库。

点击新建数据源,选择需要的数据库填写相关配置即可,填写后可以点击测试连接。

 

 

四、如何快速解决问题

1、学会使用帮助文档 RestCloud 数据集成平台 (etlcloud.cn)

帮助文档中包含了所有基本组件的使用,组件的下载安装,以及常见的问题,正确的使用和关注文档更新内容可以快速解决疑问。

 

2、加入ETLCloud的社区,里面有很多专业的工作人员全程免费提供解答服务,里面也有很多小伙伴一起学习交流。

3、加入论坛社区,遇到不懂的问题可以发帖询问,会有专业人士去解答。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/277119.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

[AI编程]AI辅助编程助手-亚马逊AI 编程助手 Amazon CodeWhisperer

亚马逊AI 编程助手 Amazon CodeWhisperer 是一种基于人工智能技术的编程辅助工具,旨在帮助开发人员更高效地编写代码。它可以提供实时的代码建议、自动补全和错误检查,帮助优化代码质量和提高编程效率。 Amazon CodeWhisperer 使用了自然语言处理和机器…

Redis管道

问题引出 Redis是一种基于客户端-服务端模型以及请求/响应协议的TCP服务。一个请求会遵循以下步骤: 1 客户端向服务端发送命令分四步(发送命令→命令排队→命令执行→返回结果),并监听Socket返回,通常以阻塞模式等待服务端响应。 2 服务端…

Ubuntu20.04 上启用 VCAN 用作本地调试

目录 一、启用本机的 VCAN​ 编辑 1.1 加载本机的 vcan 1.2 添加本机的 vcan0 1.3 查看添加的 vcan0 1.4 开启本机的 vcan0 1.5 关闭本机的 vcan0 1.6 删除本机的 vcan0 二、测试本机的 VCAN 2.1 CAN 发送数据 代码 2.2 CAN 接收数据 代码 2.3 CMakeLists.…

PgSQL技术内幕 - ereport ERROR跳转机制

PgSQL技术内幕 - ereport ERROR跳转机制 使用客户端执行SQL的时候经常遇到报ERROR错误,然后SQL语句就退出了。当然,事务也会回滚掉。本文我们看下它是如何做到退出SQL语句并回滚事务的。 1、以insert一个numeric类型值为例 表一个字段为numeric(10,2)类型…

电脑报错“kernelbase.dll”文件缺失,软件游戏无法启动的解决方法

很多小伙伴留言说,每次自己要游戏或软件的时候,电脑就会弹出报错框,不知道应该怎么办? 其实,Windows报错提示已经说明了,程序找不到名为“kernelbase.dll”的文件,需要重新安装修复这个问题。 …

ssm基于JavaEE的智能实时疫情监管服务平台的设计与实现+jsp论文

摘 要 社会发展日新月异,用计算机应用实现数据管理功能已经算是很完善的了,但是随着移动互联网的到来,处理信息不再受制于地理位置的限制,处理信息及时高效,备受人们的喜爱。本次开发一套智能实时疫情监管服务平台有管…

C#中的Attribute详解(上)

C#中的Attribute详解(上) 一、Attribute是什么二、Attribute的作用三、Attribute与注释的区别四、系统Attribute范例1、如果不使用Attribute,为了区分这四类静态方法,我们只能通过注释来说明,但这样做会给系统带来很多…

VD6283TX环境光传感器(2)----移植闪烁频率代码

VD6283TX环境光传感器----2.移植闪烁频率代码 闪烁定义视频教学样品申请源码下载参考代码硬件准备开发板设置生成STM32CUBEMX串口配置IIC配置X-CUBE-ALSADC使用定时器触发采样KEIL配置FFT代码配置app_x-cube-als.c需要添加函数演示结果 闪烁定义 光学闪烁是指人造光源产生的光…

极智嘉加快出海发展步伐,可靠产品方案获客户认可

2023年,国内本土企业加快出海征程,不少企业在出海发展中表现出了优越的集团实力与创新的产品优势,有力彰显了我国先进的科技研发实力。作为全球仓储机器人引领者,极智嘉(Geek)也在不断加快出海发展步伐&…

Talk | 北京大学博士生汪海洋:通向3D感知大模型的前置方案

本期为TechBeat人工智能社区第559期线上Talk。 北京时间12月28日(周四)20:00,北京大学博士生—汪海洋的Talk已准时在TechBeat人工智能社区开播! 他与大家分享的主题是: “通向3D感知大模型的前置方案”,介绍了他的团队在3D视觉大模型的前置方…

2023中国企业级存储市场:整体韧性成长,领域此消彼长

多年之后回头看,2023年也许是中国企业级存储市场标志性的一年。 后疫情时代的开启,中国数字经济快速发展、数据产业方兴未艾,为数据存储市场带来了前所未有的活力;与此同时,外部环境的不确定性骤增,人工智…

乘势而上开新年!2024深圳深圳户外家具及休闲用品展览会三月开幕

中国户外家具市场在九十年代末开始崭露头角,随着国家经济的腾飞,尤其是房地产行业的迅猛发展,加上现代商业模式的建立和完善,产品和需求都以惊人的速度在发展。无论是国际知名品牌,还是国内的专业户外家具生产企业&…

【开源学习】ThingsBoard -- 基本配置与使用

【开源学习】ThingsBoard -- 基本配置与使用 租户及客户管理租户及租户账号管理租户管理租户创建租户修改租户删除 租户账号管理租户账号创建租户账号修改租户账号删除 客户及客户账号管理客户管理客户创建客户修改客户删除 客户用户管理客户用户创建客户用户修改客户用户删除 …

进行VMware日志管理

随着公司转向虚拟化其 IT 空间,虚拟环境日志监控正在占据日志管理的很大一部分,除了确保网络安全外,虚拟机日志监控还有助于管理虚拟化工具,这是最复杂的任务之一。 对虚拟环境日志的监控分析 当今公司中最受欢迎的虚拟平台之一是 VMware。…

qml listview 刷新不及时问题

我在用qml listview 做界面, C 做model时, 往model中添加数据时, listview界面没有及时的更新 问题处理 发现 手动下拉或者上拉 listview界面会显示出来, 改变窗口的宽度也能显示出来 在model改变的时候 调用方法flick(…

【赠书第14期】AI短视频制作一本通:文本生成视频+图片生成视频+视频生成视频

文章目录 前言 1 前期准备 2 拍摄与录制 3 后期编辑 4 技巧与注意事项 5 推荐图书 6 粉丝福利 前言 随着智能技术的迅猛发展,AI 短视频制作成为了一种新兴而创新的表达方式,广泛应用于社交媒体、广告营销、教育培训等领域。本文将介绍 AI 短视频…

鸿蒙开发(二)- 鸿蒙DevEco3.X开发环境搭建

上篇说到,鸿蒙开发目前势头旺盛,头部大厂正在如火如荼地进行着,华为也对外宣称已经跟多个厂商达成合作。目前看来,对于前端或客户端开发人员来说,掌握下鸿蒙开发还是有些必要性的。如果你之前是从事Android开发的&…

mvtec3d

以bagel为例,其中有calibration、 bagel # 百吉圈(硬面包)calibrationcamera_parameters.jsontestcombinedgt # 缺陷部位的分割剪影pngrgb # 原图pngxyz # tiffcontamination # 污染物同上crack同上good同上 hole同上 traingoodrgbxyzvalidationgood同traincla…

中国人事考试网公布多项考试成绩:注安、一造在列

12月29日,中国人事考试网公布多项职业资格考试成绩,包括大家心心念念想的注册安全工程师、一级造价工程师考试成绩,公告发布的今天,考生即可登录中国人事考试网查询考试成绩。 较早发布的是注册安全工程师考试成绩(成绩…

Python经典游戏 唤醒你童年记忆

这些游戏你玩过几个&#xff1f; 1.贪吃蛇2.吃豆人3.加农炮4.四子棋5. Fly Bird<font color #f3704ab>6.记忆&#xff1a;数字对拼图游戏&#xff08;欢迎挑战&#xff01;用时&#xff1a;2min&#xff09;7.乒乓球8.上课划水必备-井字游戏&#xff08;我敢说100%的人都…