MatrixOne 1.1.0 Release

我们非常高兴地宣布:

MatrixOne内核1.1.0版本

正式发布啦!

项目文档网站

https://docs.matrixorigin.cn

MatrixOne是一款分布式超融合异构数据库,MatrixOne旨在提供一个云原生、高性能、高弹性、高度兼容MySQL的HSTAP数据库,让用户面对事务、分析、时序、流计算等混合负载时,通过MatrixOne一站式的完成整个数据处理过程。


重点关注 MatrixOne 1.1.0

MatrixOne在本迭代增加了多个重要功能,在整体HTAP的基础上增强了向量,流和时序方面的能力,进一步丰富了能力象限和适用范围。

向量数据类型

做为2023年AI与大模型热潮的数据基座能力,向量类型已经成为通用数据库的标配。本迭代MatrixOne支持了vecf32及vecf64的向量类型,分别对应float32和float64数据类型,同时支持了基本的算子和操作符,以及向量常见的求和,L1范数,L2范数,内积,余弦相似度等计算函数。用户使用的时候配合AI算法模型可以快速搭建一个AI应用。比如基于大语言模型LLM的RAG应用,如下图所示,用户仅需将自己的知识库调用OpenAI的Embedding接口生成向量数据存入MatrixOne中,再通过余弦相似度函数计算搜索最相似答案,再将答案通过OpenAI的Prompt接口交给LLM优化回答即可。

与专用的向量数据库不同的是,MatrixOne是一个高度兼容MySQL的通用数据库,用户几乎不需要额外的学习门槛即可快速上手,同时在构建AI应用的时候也可以将结构化数据与向量数据的处理合二为一。

时序能力

为了更好的处理数据快速流入的各类IoT场景,本迭代MatrixOne在时序方案的能力也大幅加强,具体体现在以下几点:

  • 比INSERT INTO性能大幅提升的流式写入能力LOAD INTO INLINE。
  • 支持建立按时间戳作为主键的专用时序表,并支持任意的维度/指标列。
  • 增加在时序表上的滑动窗口能力,可以按不同的时间进行降采样查询。
  • 支持针对空值的插值能力,并提供不同策略的插值方法。

Kafka Connector(beta)

本迭代在基础流计算的框架基础上实现了Kafka connector。用户可以通过CREATE DYNAMIC TABLE创建流式动态表,此类型的表是Append Only的表,同时用户可以通过CREATE SOURCE的方式配置外部数据源,本迭代已适配Kafka作为数据源,可以接入Kafka的Topic(JSON类型或者protobuf协议类型),接入后MatrixOne会自动将Kafka的Message写入到动态表中,用户可以对流式表进行窗口查询,或者与其他表一起进行关联查询。

自定义函数 UDF(beta)

本迭代MatrixOne开始支持用户编写自定义函数,目前第一个版本仅支持Python语言。在很多场景中数据库系统提供的系统函数并无法满足用户的业务需求,通过UDF的方式用户可以将业务的逻辑包装在Python文件中,并将其封装成SQL的函数,实现在SQL中直接调用。基于Python的UDF,用户可以非常方便的使用numpy和scikit-learn等Python的流行库,大幅度的提高MatrixOne在数据科学,机器学习及AI等领域的适用性。

其他新功能

1 DDL

  • 支持insert on duplicate key ignore
  • 支持create or replace view
  • 支持alter sequence
  • 支持Key, hash的分区裁剪能力 (beta)
  • 支持List/List column, Range/Range Columns partition分区存储能力(beta)

2 索引与约束

  • 完整实现次级索引secondary index,可实现动态查询加速

3 函数

  • 自定义函数UDF:支持用户创建Python语言的自定义函数UDF (beta)
  • 增加SAMPLE采样函数
  • 增加CONVERT_TZ转换时区函数
  • 增加SHA2加密函数
  • 增加Encode/Decode编解码函数

4 安全与权限

  • 支持通过创建Stage对select into的路径权限进行管理

5 周边工具

modump工具(逻辑备份)

  • 新增支持单独导出DDL语句
  • 支持导出多个数据库、多个表

mo_backup工具 

  • 支持物理备份
  • 支持文件系统、对象存储作为备份和还原的存储介质

mo_ctl(单机)工具 

  • 支持自动数据备份
  • 支持自动日志表数据清理
  • 支持数据文件从csv格式转换为insert或load data inline格式
  • 支持docker镜像自动构建
  • 支持docker模式

单机部署mo_ctl(分布式)工具 

  • 支持install一键部署分布式集群
  • 支持destroy一键销毁分布式集群

mo_ctl 分布式部署运维工具 

  • 支持install一键部署分布式集群
  • 支持destroy一键销毁分布式集群
  • 支持matrixone集群的起动/停止,升级/回滚操作
  • 支持在客户k8s集群中安装matrixone集群

mo_operator工具 

  • 支持配置自定义的S3证书
  • 支持通过 API 进行 matrixone 集群的备份恢复和备份数据管理
  • 支持自动为 matrixone 集群设置更优化的 Go GC 策略
  • 支持为 matrixone 集群启用 Python UDF
  • 支持 Kubernetes 上的 matrixone 与 Prometheus 集成

MySQL兼容性

  • 大幅减少与MySQL不兼容的保留关键字

Known Issues

  • 次级索引对于IN类型的查询没有加速作用
  • Kafka连接器仅在单机版本中运行
  • 高并发负载下偶现系统会卡住
  • 大数据量查询偶现内存溢出OOM问题

文档更新

  • 新增时序整体能力描述
  • 新增流式导入, 时序表,滑动窗口相关文档
  • 新增向量类型及函数文档
  • 新增流计算相关文档
  • 新增partition实现及加速相关文档
  • 新增SQL语句,系统函数的参考手册
  • 更新整体功能列表
  • 更新MySQL兼容性列表

了解更多详情,您可以访问我们的文档网站(https://docs.matrixorigin.cn)。您可以在该网站找到详细的架构说明、安装指南和开发教程,帮助您探索MatrixOne的能力。此外,我们的Github网站也可以用于提问、讨论或反馈。

MatrixOrigin 官网:新一代超融合异构开源数据库-矩阵起源(深圳)信息科技有限公司 MatrixOne

Github 仓库:GitHub - matrixorigin/matrixone: Hyperconverged cloud-edge native database

关键词:超融合数据库、多模数据库、云原生数据库、国产数据库。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/287909.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

SpringCloud微服务架构,适合接私(附源码)

一个由商业级项目升级优化而来的微服务架构,采用SpringBoot 2.7 、SpringCloud 等核心技术构建,提供基于React和Vue的两个前端框架用于快速搭建企业级的SaaS多租户微服务平台。 架构图 项目介绍 用户权益 仅允许免费用于学习、毕设、公司项目、私活等。…

Java技术栈 —— Hadoop入门(一)

Java技术栈 —— Hadoop入门(一) 一、Hadoop第一印象二、安装Hadoop三、Hadoop解析3.1 Hadoop生态介绍3.1.1 MapReduce - 核心组件3.1.2 HDFS - 核心组件3.1.3 YARN - 核心组件3.1.4 其它组件3.1.4.1 HBase3.1.4.2 Hive3.1.4.3 Spark 一、Hadoop第一印象…

IoTDB 集群部署——windows

本文的测试环境为window server2016,版本包为1.1.0,jdk版本为1.8 首先下载IoTDB版本包,链接地址如下 https://archive.apache.org/dist/iotdb/1.1.0/apache-iotdb-1.1.0-all-bin.zip 本次部署将使用1个ConfigNode 和3个DataNode模式&#…

Java基础-----集合类(一)

文章目录 1.集合类简介2. 自定义集合类 1.集合类简介 集合和数组一样,都是用来存储多个数据的结构,也可以称作容器。 数组长度是不可变化的,一旦在初始化数组时指定了数组长度,这个长度就不可变。如果需要处理数量变化的数据&am…

我在CSDN的2023年

一、引言 在2023年的这一年当中,在CSDN的生活让我得到许多知识与启发,也让我获得一些快乐和成就 二、自己的收获 在这一年当中,我从一个只会看别人写的文章解决问题到,可以自己写文章帮别人解决问题,这种成就感是极大…

【数据不完整?用EM算法填补缺失】期望值最大化 EM 算法:睹始知终

期望值最大化算法 EM:睹始知终 算法思想算法推导算法流程E步骤:期望M步骤:最大化陷入局部最优的原因 算法应用高斯混合模型(Gaussian Mixture Model, GMM)问题描述输入输出Python代码实现 算法思想 期望值最大化方法&a…

手把手教你学会接口自动化框架的搭建-前言

在网上看过很多帖子,各种接口自动化的框架眼花缭乱,但是对于很多才做自动化的新手,那是一头雾水。 因此,我决定出一个系列,让你能够按照我的文档一步步把接口自动化都做起来,而不是网上这种一股脑的全部抛出,让你看的云里雾里的。 看完这些文档保证你能去任何一家公司,…

面对众多知识付费平台,如何做出明智的选择?

在当今的知识付费市场中,用户面临的选择越来越多,如何从众多知识付费平台中正确选择属于自己的平台呢?下面,我们将为您介绍明理信息科技知识付费平台相比同行的优势,帮助您做出明智的选择。 一、创新的技术架构&#…

Python Web框架FastAPI——一个比Flask和Tornada更高性能的API框架

目录 一、FastAPI框架概述 二、FastAPI与Flask和Tornado的性能对比 1、路由性能 2、请求处理性能 3、内存占用 三、FastAPI的优点与特色 四、代码示例 五、注意事项 六、结论 在当今的软件开发领域,快速、高效地构建API成为了许多项目的关键需求。为了满足…

DevEco Studio IP Convention for MAC

一、前置条件 1、已经Phone/Tablet和PC连接到同一WLAN网络。 2、已经获取Phone/Tablet的IP地址,可通过设置>关于手机/关于平板>状态信息>IP地址进行 查看 3、Phone/Tablet上的555…

Nginx多域名部署多站点

目录 1.修改配置文件nginx.conf 2. 修改hosts文件 1.修改配置文件nginx.conf 在配置文件的 server_name 处修改成自己需要的域名,然后保存退出 j 查看语法是否错误,然后重启nginx nginx -t # 查看语法是否正确 systemctl restart nginx # 重启nginx …

【Python机器学习】观察数据散点图矩阵

构建机器学习模型前,通常要检查数据,判断不用机器学习能不能轻松完成任务,或者需要的信息有没有包含在数据中。检查数据也是发现异常值和特殊值的好办法。 检查数据的最佳方法之一就是可视化,一种是绘制散点图,将一个…

CNN——LeNet

1.LeNet概述 LeNet是Yann LeCun于1988年提出的用于手写体数字识别的网络结构,它是最早发布的卷积神经网络之一,可以说LeNet是深度CNN网络的基石。 当时,LeNet取得了与支持向量机(support vector machines)性能相…

【前沿技术】超级稳定的视频卡通画方案

Git clone项目到本地 git clone gitgithub.com:Artiprocher/DiffSynth-Studio.git 基本原理 使用了stable diffusion稳定扩散模型和controlnet来控制图像生成的轮廓,animatediff控制视频帧与帧之间的连续性,最后使用RIFE技术平滑整个生成后的视频。 …

40道java集合面试题含答案(很全)

1. 什么是集合 集合就是一个放数据的容器,准确的说是放数据对象引用的容器集合类存放的都是对象的引用,而不是对象的本身集合类型主要有3种:set(集)、list(列表)和map(映射)。 2. 集合的特点 集合的特点主要有如下两…

使用Python做个可视化的“剪刀石头布”小游戏

目录 一、引言 二、环境准备与基础知识 三、游戏界面制作 四、游戏逻辑实现 五、代码示例 六、游戏测试与优化 七、扩展与改进 八、总结 一、引言 “剪刀石头布”是一种古老的手势游戏,它简单易懂,趣味性强,适合各个年龄段的人参与。…

虎克:开发小程序要多少钱一个,非专业开发如何做自己的小程序

小程序开发费用主要取决于小程序的功能复杂度和开发周期。一般来说,小程序开发费用可以分为两类:模板开发和定制开发。 模板开发:模板开发是指使用现成的模板进行开发,价格相对较低,一般在几千元左右。优点是价格便宜&…

你不知道的 CSS 之 包含块 ! 最细讲解,一听就懂!

你不知道的 CSS 之包含块 一说到 CSS 盒模型,这是很多小伙伴耳熟能详的知识,甚至有的小伙伴还能说出 border-box 和 content-box 这两种盒模型的区别。 但是一说到 CSS 包含块,有的小伙伴就懵圈了,什么是包含块?好像…

(切图笔记)layui表格单元格添加超链接 以及传参方法 亲测可用 附代码

layui在切图网日常的工作中常常用到,特别是它的layer弹窗,基本可以满足网站切图时候遇到的绝大多数弹窗的情况,参数比较丰富 灵活,是不可多得的网页插件之一,我见很多人说layui过时了,这是相比于vue正流行的…

具有不规则结果的常规 PyTorch 张量函数

一、说明 深度学习从业者应注意的常用 PyTorch 张量函数的例外情况。你是不是也和上面的人一样呢?如果是,那么本文可能会帮助您在使用 PyTorch 构建深度学习模型时发现一些常见错误。 我在下面提到了 5 个最常用的 PyTorch 函数及其小示例以及它们无法按…