国产化ETL产品必备的特性(非开源包装)

ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行抽取、清洗(净化)、转换、装载、标准、集成(汇总)...... 最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。

       如果数据转换的频率或者要求不高可以手动实现ETL的功能;反之,如果对数据转换的要求比较高的话,就需要专门的ETL工具.



  1. 功能特性
    1. 开放性

支持各种类型业务系统数据源,包括不仅限于oracle、sqlserver、access等各类国内外关系型数据库,甚至pdf、word、excel、xml、txt等类型数据文件,支持多达30+数据源同时采集提取。国产信创数据库等即刻开放接口。 

1.2 扩展性 

集成Bee脚本开发环境(自研),图形设计可转换成后台bee脚本,可个性化定制开发,满足国内特殊信息现状。满足复杂业务逻辑数据处理需求。

提取的数据结构、数据内容、数据标准、数据处理流程都是可扩展和灵活配置的。

1.3简化性

简化了用户的操作。专用ETL通常通过图形化的配置方式,简单,灵活,使得用户无需过分关心数据库的各种内部细节,而专注于其功能实现。

1.4集成性

 集成数据标准转换和数据清洗功能。可对实际系统业务中复杂数据标准和代码转换,且配置简单、方便。数据抽取、清洗工作保证了数据质量。从而做到统一接口、统一数据文件格式、统一运行和维护方法。

1.5创新性 

独有的工作流调度、内置独有的脚本解释器功能组件(bee 脚本函数)处理清洗、过滤、转换。

1.6先进性 

核心自研可控,源自2004年 非开源包装技术。

1.7易安装维护 

系统本身是绿色免安装软件,拷贝就能用。基本不需要其他系统维护工作。

2非功能特点

 2.1 工具界面 

可以通过可视化操作方式进行设计,将大大降低开发门槛,使开发人员得到补充,避免人员流动性造成的运维困难。

 2.2 可用性 

改善数据运维的方式,运维人员经过基本培训后,简单操作即可满足ETL作业上线、部署等需求。

 2.3 安全性 

用户创建的作业文件采用加密方式存储,密钥采用与机器相关的硬件信息,当作业文件拷贝到其它机器时,由于对应密钥的硬件信息 发生改变,所以作业文件是无法读取的。这样可以杜绝非法用户将作业文件复制后、通过在其它机器创建同名用户从而窃取、破坏数 据信息的行为发生。

 为了防止程序开启后的非法访问(如用户在打开作业文件后离开机器,非法用户可借此窃取、破环数据信息),程序提供界面锁定功能。界面锁定后,必须提供锁定用户的密码才可重新进入程序。

2.4 易用性

 良好的易用性,逻辑清晰便于用户理解;系统操作简单,人机交互界面友好。系统操作界面一目了然,用户能够直观的找到自己使用的功能菜单,很方便的完成所需操作。

2.5设计约束 

所构建系统的所有设计约束。设计约束代表经过批准的、必须遵从的设计决定。示例包括软件语言、软件流程管理需求、规定使用的开发工具、体系结构和设计约束、购买的组件、类库等等。

3.部署要求

3.1.平台支持:

支持主流平台Linux, Windows以及国产操作系统,不同平台间具备可移植性(包含不同平台间移植以及从相同平台开发环境到生产环境间的移植);提供独立的运行框架,不依赖特定的数据库产品。同时支持各种硬件平台,如x86,龙芯等等。

3.2.满足信创要求

工具所依赖的操作系统、数据库、中间件符合信创改造要求。主要为:统信UOS操作系统、中科方德操作系统、中标麒麟、国产化数据库(人大金仓、达梦等)。

3.3.跨平台移植和向下兼容

工具跨平台或版本升级不影响原有作业设计及使用。或能提供作业升级脚本。

详见功能组件,如下图:


灵蜂ETL产品 BeeDI 之转换界面 配置
灵蜂ETL产品 BeeDI 之转换界面 配置

灵蜂ETL产品BeeDI之 数据联邦 配置

灵蜂ETL产品 BeeDI之 工作流 配置
灵蜂ETL产品 BeeDI之 工作流 配置
wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== 编辑

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/731005.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

关键属性描述ASYNC_REG

关键属性描述 属性信息 本章提供有关XilinxVivadoDesign Suite属性的信息。条目 每个属性包含以下信息(如适用): •物业说明,包括其主要用途。 •支持该特性的Xilinx FPGA体系结构,包括UltraScale™ 架构设备&#xff…

数据结构【二叉树】

前言 我们在前面学习了使用数组来实现二叉树,但是数组实现二叉树仅适用于完全二叉树(非完全二叉树会有空间浪费),所以我们本章讲解的是链式二叉树,但由于学习二叉树的操作需要有一颗树,才能学习相关的基本…

2024.6.23周报

目录 摘要 ABSTRACT 一、文献阅读 一、题目 二、摘要 三、网络架构 四、创新点 五、文章解读 1、Introduction 2、Method 3、实验 4、结论 二、代码实验 总结 摘要 本周阅读了一篇题目为NAS-PINN: NEURAL ARCHITECTURE SEARCH-GUIDED PHYSICS-INFORMED NEURAL N…

生成式AI和LLM的一些基本概念和名词解释

1. Machine Learning 机器学习是人工智能(AI)的一个分支,旨在通过算法和统计模型,使计算机系统能够从数据中学习并自动改进。机器学习算法使用数据来构建模型,该模型可用于预测或决策。机器学习应用于各种领域&#x…

Windows环境下使用VisualGDB进行Linux项目开发

1.新建项目-打开文件下的新建项目菜单 2.工程项目类型配置 3.Linux机器选择设置 4.设置代码位置 5.编译选项设置 6.调试环境设置

(Python)可变类型不可变类型;引用传递值传递;浅拷贝深拷贝

从一段代码开始说事,先上代码: a [[1],[2],[3]] b [[4,5],[6,7],[7,8]] for i,j in zip(a,b):print(i,j)i [9]#i[0] 8j[:2][1,2]print(i, j) print(a) print(b) 运行的结果: [1] [4, 5] [9] [1, 2] [2] [6, 7] [9] [1, 2] [3] [7, 8] …

后仿真中 module path polarity 问题

目录 一 未知极性 二 正极性 三 负极性 不知道大家有没有遇到这个问题:什么?我们知道的module path delay 指的是定义在specify...endspecify block 中的语句,指示输入-输出的延迟信息。 这里的module path 竟然还有极性问题,今天,来学习一下。 模块路径的极性是一…

使用dify.ai做一个婚姻法助手

步骤 1:注册并登录 Dify.ai 访问 Dify.ai 官网,注册一个账号并登录。 步骤 2:创建新项目 登录后,点击“创建新项目”。为项目命名,例如“婚姻法助手”。 步骤 3:导入婚姻法文本到知识库 在项目中&…

如何使用idea连接Oracle数据库?

idea版本:2021.3.3 Oracle版本:10.2.0.1.0(在虚拟机Windows sever 2003 远程连接数据库) 数据库管理系统:PLSQL Developer 在idea里面找到database,在idea侧面 选择左上角加号,新建&#xff…

定义和反射Annotation类(注解)

文章目录 前言一、定义Annotation类二、反射Anootation类 1.元注解2.反射注解总结 前言 在写代码的过程中,我们经常会写到注释,以此来提醒代码中的点。但是,这些注释不会被查看,也不在整个代码之中,只能在源代码中进行…

vue 基于antV 实现流程图编辑器代码

最近在做流程图功能开发&#xff0c;发现阿里antV 有对应的可视化引擎&#xff0c;于是自己做了一个简单vue 基于antV 实现流程图编辑器代码 部分代码如下&#xff1a; <template><div id"flowEditorContent"><header><h3>antv X6 流程编辑…

Java热部署:让应用更新如丝般顺滑,告别繁琐重启!

目录 手动启动热部署 自动启动热部署 参与热部署监控的文件范围配置 关闭热部署 什么是热部署&#xff1f;简单说就是你程序改了&#xff0c;现在要重新启动服务器&#xff0c;嫌麻烦&#xff1f;不用重启&#xff0c;服务器会自己悄悄的把更新后的程序给重新加载一遍&…

发那科机器人IO 分配

IO 信号 也称为输入\输出信号&#xff0c;是机器人与外围设备通信的电信号

Studying-代码随想录训练营day16| 513找到左下角的值、112.路径总和、106从中序与后序遍历序列构造二叉树

第十六天&#xff0c;二叉树part03&#x1f4aa;&#x1f4aa;&#x1f4aa;&#xff0c;编程语言&#xff1a;C 目录 513找到左下角的值 112.路径总和 113.路径总和II 106从中序与后序遍历序列构造二叉树 105.从前序与中序遍历序列构造二叉树 总结 513找到左下角的值…

Elk安装及使用

es安装及使用 单机版安装 集群安装 132 node-01 133 node-02 135 node-03 日志用户权限有问题 看日志 解决方案&#xff1a; 出现错误后&#xff0c;再次重启前&#xff0c;需要删除三个节点/data/下的内容 9300-http 9300-tcp logstasha安装及使用 Ssh错误 Yum安装默认路…

职场记 | 有些人的成功真的不是偶然

今天跟大家聊一聊雷总的成长记&#xff0c;希望给职场中的朋友们一点启发&#xff1a; 强烈的创业精神与持续的创新意识 雷军自大学时期起就展现出了强烈的创业热情。他不仅在求学期间积极参与创业活动&#xff0c;更在毕业后迅速踏上创业道路&#xff0c;创立了多家知名企业…

大模型时代,新手和程序员如何转型入局AI行业?

在近期的全国两会上&#xff0c;“人工智能”再次被提及&#xff0c;并成为国家战略的焦点。这一举措预示着在接下来的十年到十五年里&#xff0c;人工智能将获得巨大的发展红利。技术革命正在从“互联网”向“人工智能”逐步迈进&#xff0c;我将迎来新一轮技术革新和人才需求…

NetSuite 不同类型Item的公司间交易科目的设置

我们知道&#xff0c;NetSuite中有Intercompany Preferences的设置&#xff0c;如下所示&#xff0c;分别涉及到公司间应收、公司间应付、公司间收入、公司间费用以及公司间成本共5个科目&#xff0c;非常明确清晰。 最近用户遇到的场景是&#xff0c;如果是Non-Inventory Item…

史上最全的整合Harbor安装教程,哈哈哈哈

一、安装docker 下载地址&#xff1a;https://download.docker.com/linux/static/stable/x86_64/docker-23.0.4.tgz 1.1 解压二进制包 wget https://download.docker.com/linux/static/stable/x86_64/docker-23.0.4.tgz tar zxvf docker-23.0.4.tgz mv docker/* /usr/bin1.2…

【C语言】16.动态内存管理

文章目录 1.为什么要有动态内存分配2.malloc和free2.1 malloc2.2 free 3.calloc和realloc3.1 calloc3.2 realloc 4.常见的动态内存的错误4.1 对NULL指针的解引⽤操作4.2 对动态开辟空间的越界访问4.3 对⾮动态开辟内存使⽤free释放4.4 使⽤free释放⼀块动态开辟内存的⼀部分4.5…