MatrixOne 支持多样化生态工具

近日,云原生数据库 MatrixOne 支持多样化生态工具,包括:数据集成工具、BI 工具和数据计算引擎这三类生态工具。

云原生数据库使得传统数据库得以充分结合云服务的免运维、高弹性、高可扩展、高可用、高性价比优势,又顺应了云端应用大爆发的历史趋势,在过去几年成为 IT 领域的大热门方向。对于大数据开发者来说,在选择一款数据库产品时,数据库上下游生态组件的丰富度,是极其关键的选择因素。

MatrixOne 提出了「One Size Fits Most」理念,旨在用全新 HSTAP 技术架构打破数据孤岛,其中,与各云端应用与生态组件的无缝衔接也是 MatrixOne 一栈式愿景中的重要一环。MatrixOne 收集整理了开发者社区反馈较多的上下游组件、并进行了更为完整的适配。


1 数据集成工具

数据集成工具可将来自不同数据源的数据整合为统一的数据集,通常具备从不同数据源中收集数据、对数据进行清洗、转换、重构和整合的能力,以便能够在一个统一的数据仓库或数据湖中进行存储和管理。

与数据集成工具的适配,可帮助数据开发者更丝滑高效的进行初期存量数据的迁移,以及后续日常的 ETL 作业,极大的保障工作效率和业务的稳定性。

MatrixOne 在征集社区建议后,本轮优先对 DataX 与 SeaTunnel 进行了适配。得益于对 MySQL 协议的高度兼容,经过本轮适配,我们在 DataX 或 SeaTunnel 中可以直接使用 MySQL 所对应的 Writer 或 Driver 来对 MatrixOne 进行连接访问。


2 BI 工具

BI 即指商业智能(Business Intelligence),指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。例如数据分析师会使用 BI 工具,基于海量的散乱数据进行数据分析,最终产出清晰的、可用于支持决策的数据报表。

BI 工具所用的数据通常存储在数据库中,由于不同数据库之间语法存在不同程度的差异,需要 BI 厂商与数据库厂商进行兼容性互认、并针对性的开发出对应的连接器。

MatrixOne 本次针对 Superset、FineBI 和永洪 BI 进行了首轮的适配,当我们在使用上述 BI 工具连接 MatrixOne 时,可以直接选择 MySQL 连接器,将 MatrixOne 视为 MySQL 进行连接访问,来对用户的数据可视化场景提供有效支撑。

BI 的适配工作无法做到“一步到位”,MatrixOne 当前先基于 MySQL 语法兼容性来实现与 BI 的高度兼容,随着 MatrixOne 新版本个性化能力的不断扩展,MatrixOne 团队也会积极推进和 BI 厂商的互认,来协同开发出兼容性更优的专用连接器。


3 数据计算引擎

大数据计算引擎主要用于对数据的加工、清洗、计算或迁移导入,常用的计算引擎例如:MapReduce、Storm、Spark、Flink 等。其中,Spark 和 Flink 作为目前主流的批量/流式计算引擎,MatrixOne 进行了细节的测试和适配。

MatrixOne 规划中的“流引擎”能力在持续完善中,在适配 Spark/Flink 引擎后,开发者可以直接使用通用 JDBC 驱动,在 Spark 或 Flink 中通过外部算力进行大数据量级的数据清洗,再或着,通过 Flink 实现更灵活的“流式数据源”的数据接入。例如,MatrixOne 1.0 版本原生实现了与 Kafka 中数据源的连接。


MatrixOne 为大数据开发者提供了多样化生态工具,从数据收集、数据展示与计算三个层面帮助开发者更好的使用云原生数据库。

33c0361244a13dd6d917f7cdcb080ab7.jpeg


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/156425.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

IDEA远程一键部署SpringBoot到Docker

IDEA是Java开发利器,Spring Boot是Java生态中最流行的微服务框架,docker是时下最火的容器技术,那么它们结合在一起会产生什么化学反应呢? 一、开发前准备 1. Docker安装 可以参考:https://docs.docker.com/install/ 2…

创作者等级终于升到4级了

写了两个月的文章,终于等到4级了。发文纪念一下:

蔚来面试题

文章目录 1.解释脏读/不可重复读/幻读不可重复读和幻读的区别2.索引失效的场景有哪些?3.Explain执行计划用过吗?4.Type字段有什么信息?5.binlog和redolog区别?6.Redis基本数据类型7.有序集合底层实现数据结构?8.跳表插入数据的过程?为什么要这样设计呢?添加流程9.线程池…

关于圆通物流在AppLink上的操作

在使用物流系统时,我们会出现订单变化而导致物流轨迹发生改动,如果反馈不及时会造成额外的工作量以及会出现人为的操作失误,我们尝试借助AppLink来实现圆通物流在发生变化时的信息同步 登录开放平台 复制右侧登录地址登录圆通速递管理后台&…

python数据处理作业10:将图中数据创建一个DataFrame,保存为csv格式,读取该文件,删除体育成绩,并添加语文,数学和英语的平均成绩

每日小语 心无旁骛,专心于事业的追求,就会忘掉许多烦恼,找到许多努力过程中的快乐。——黑格尔 gpt import pandas as pd# 创建DataFrame并保存为CSV文件 data {姓名: [张三, 李四, 王五, 赵六],语文成绩: [80, 90, 85, 75],数学成绩: [7…

<Linux>(极简关键、省时省力)《Linux操作系统原理分析之Linux 进程管理 1》(5)

《Linux操作系统原理分析之Linux 进程管理 1》(5) 4 Linux 进程管理4.1 Linux 进程概述4.1.1 Linux 进程的组成4.1.2 Linux 进程在处理机上的执行状态4.1.3 进程空间和系统空间4.1.4 进程上下文和系统上下文 4 Linux 进程管理 4.1 Linux 进程概述 4.1.…

恭喜顺利结项 | 开源之夏 2023openGauss项目结项结果公示

祝贺! 激动人心的时刻终于到来!开源之夏 2023 活动结项审核结果正式出炉。此次,openGauss深度参与活动,发布12个openGauss相关项目,10个项目进入开发周期,最终有8个项目成功结项。恭喜所有成功结项的同学&…

三菱FX3U小项目—机床定时器延时启动

目录 一、项目描述 二、IO口分配 三、项目程序 四、总结 一、项目描述 为了防止工人操作失误,启动按钮需要按住1s后,设备才启动,启动后第一台电机启动10s后第二台电机自动启动,当按下停止按钮时,两台电机同时停止。…

在Broker端进行消息过滤

在Broker端进行消息过滤,可以减少无效消息发送到Consumer,少占用网络带宽从而提高吞吐量。Broker端有三种方式进行消息过滤。 1.消息的Tag和Key 对一个应用来说,尽可能只用一个Topic,不同的消息子类型用Tag来标识(每条…

扩散模型实战(十):Stable Diffusion文本条件生成图像大模型

推荐阅读列表: 扩散模型实战(一):基本原理介绍 扩散模型实战(二):扩散模型的发展 扩散模型实战(三):扩散模型的应用 扩散模型实战(四&#xff…

MySQL集群高可用架构之MMM

目录 一、MMM概述 1.1 MMM 简介 1.2 MMM高可用架构 1.3 MMM工作原理 1.4 工作流程图 二、MMM高可用双主双从架构部署 1、架构: 2、搭建 MySQL 多主多从模式 3、安装配置 MySQL-MMM 4、故障测试 一、MMM概述 1.1 MMM 简介 MMM(Master-Master re…

设计模式(5)-使用设计模式实现简易版springIoc

自定义简易版springIoc 1 spring使用回顾 自定义spring框架前,先回顾一下spring框架的使用,从而分析spring的核心,并对核心功能进行模拟。 数据访问层。定义UserDao接口及其子实现类 public interface UserDao {public void add(); }public…

Redis7.2.3集群安装,新增节点,删除节点,分配哈希槽,常见问题

概念: 【Redis】高可用之三:集群(cluster) - 知乎 实操: Redis集群三种模式 主从模式 优势: 主节点可读可写 从节点只能读(从节点从主节点同步数据) 缺点: 当主节点…

U盘不能访问不一定是坏了,可能还有其他原因!U盘无法访问修复详解

当你将USB驱动器连接到计算机时,系统会将其识别为可移动驱动器,并启动其文件管理过程。 然而,用户现在注意到,即使可以检测到他们的USB驱动器,也无法访问它们。 如果幸运的话,拔下插头就能解决问题,但如果不是,请继续阅读以了解更多故障排除选项。 USB闪存驱动器是便…

开源电子画册源码系统 可重复利用 适合任何行业 带完整的搭建教程

电子画册,又称电子样本、电子商刊、电子杂志,是一种集合图片处理、文案策划、音乐加工、视频、统计调查、虚拟现实、三维动画等多种技术和表现形式为一体的多媒体画册,电子杂志是纸质印刷画册(样本)的升级版本&#xf…

千兆光模块和万兆光模块需要注意哪些事项

随着网络通信技术的发展,千兆光模块和万兆光模块已经成为了网络设备中不可或缺的关键组件。光模块的制造涉及到许多技术和工艺问题,需要严格的控制和管理。本文将从工艺流程、材料选用、测试认证等方面,详细介绍制造千兆光模块和万兆光模块需…

2023年中国恒温蜡疗仪发展趋势分析:应用前景存有很大发展与探索空间[图]

恒温电蜡疗仪可将蜡熔化,利用蜡自身特点,能阻止热的传导、散热慢、气体和水分不易消失,保温性能优越。利用蜡能紧密贴于体表的可塑性,可加入其他药物协同进行治疗,也可将中药与蜡疗有机地结合在一起,产生柔…

为什么嵌入式没有35岁危机?

为什么嵌入式没有35岁危机? 在当今数字化时代,IT行业变化迅速,技术的更新迭代速度惊人。然而,有一个技术领域却能够在这个竞争激烈的行业中稳步前行,而且不受35岁危机所困扰,那就是嵌入式技术。 嵌入式技术是指将计算…

三羊马-001317 三季报分析(20231116)

三羊马-001317 基本情况 公司名称:三羊马(重庆)物流股份有限公司 A股简称:三羊马 成立日期:2005-09-06 上市日期:2021-11-30 所属行业:装卸搬运和运输代理业 周期性:0 主营业务:通过公铁联运方式…

11.16堆的一些性质与操作

1016 7,5,4,3,2,6,1 7,4,6,1,3,2,5 没有度为1的结点说明为满树 A.哈夫曼树一定没有度为1的结点。最大堆可能有度为1的结点 D.哈夫曼…