震惊!!!OB 居然也卷 OLAP

2879b0733cf0e6675ad321980e1ea326.gif

作者 | JiekeXu

来源 |公众号 JiekeXu DBA之路(ID: JiekeXu_IT)

如需转载请联系授权 | (个人微信 ID:JiekeXu_DBA)

大家好,我是 JiekeXu,江湖人称“强哥”,很高兴又和大家见面了,今天和大家一起来看看 OB 也卷 OLAP 了,欢迎点击上方蓝字“JiekeXu DBA之路”关注我的公众号,标星或置顶,更多干货第一时间到达!

前  言

2024 年 4 月 20 日星期六 OceanBase 2024 开发者大会于上海宝龙艾美酒店举行,本次很荣幸受邀作为观察团成员来参加本次大会。这也是 OB 第二届开发者大会,记得去年 3 月 25 日开发者大会是在北京望京举行,当时我是在线上参加的,今天来到现场,真的被震撼到了,我只能用“规模宏大”这个词来形容了,参会人数至少 1000 人以上,主会场以及场外展台和活动区都是人山人海,下午的每个分会场里满座率达 80% 以上。

c59d116438a1e4a84748096c6b365152.png

单机分布式一体化

OB 从 4.X 开始就宣称“单机分布式一体化”架构,于是就使用 2c8G 的虚拟机部署了一套 OB4.1 的单机分布式的架构简单玩了玩,当时也清楚的记得日照说过在 OB4.3 版本会支持列式存储,这不,今年开发者大会上 OB4.3 版本正式发布,正式推出列式存储引擎,强化 TP&AP 一体化数据库,打造实时分析数据库的最强六边形战士。

b16eef8dc72ad02e01d8050a45251d54.png

29b6ea44ff5fbfbd18d9ccb8ae4aa98a.png

7aa51cb63159bcfee48e61bee8cf282d.png

这里简单介绍下日照老师的 实时分析数据库“六边形战士”:

  • AP 存储能力(列式存储)

  • AP 生态工具(数据流入流出、数据开发、数据可视化)

  • AP 计算能力(向量化执行、并行计算、分布式优化器)

  • 兼容性(MySQL 语法、Binlog 兼容)

  • 分布式(可扩展、高可用、强一致、异地容灾)

  • TP 能力(行存、实时写入、主键索引点查)

89b3b91457736845e68c11a25c1f11ff.png

OB 最早从淘宝收藏夹孵化而来,2016 年开始 V1.0 版本兼容 MySQL 语法,2018 年 V2.0 版本开始兼容 Oracle 语法,2021 年 V3.0 发布,提升了混合负载能力,2022 年 V4.0 小鱼发布,单机分布式一体化轻量型备受关注。2024 年 V4.3 版本正式发布,又引入了列存储引擎,使得 OB 能够实现可行存、列存及行列混存的多种存储方式,记得在大会上还看到在行存模式下可以构建列式存储索引,进而降低存储空间。强化 TP 和 AP 的一体化,极大的提升了 OLAP 实时分析的能力,通过当时现场的跑分测试,在同等条件下 OB4.3 版本在大宽表场景 OLAP 查询性能上与业界一流的大宽表数据库 ClickHouse 几乎达到同一水平。ClickHouse 在大宽表这块应该属于业界天花板了,国内的其他 OLAP 库还需努力啊!!!

c5c08aeeaab70066cdd820bb9db41f90.png

这个结果是当时 OB 现场的跑分测试,我这里也收到了一份 OB 内部 TPC-H 测试的报告数据,使用 V4.2.2 版本的⾏存表,V4.3.0 Beta 版本的列存表。180 GB 租户内存下,存在磁盘读取。使用 3 台 OBServer,32c/256G 的 CentOS7.9 操作系统,租户规格为 28c/180G 三副本的情况下做的测试结果。震惊了,所有测试结果都比 V4.2.2 高,总时间更是减少了 93%

8a0cbb3e894b6b859f7d1bd75866c85e.png

我们也来看看非官方的测试(PS:这里再次吐槽一下,如果个人想测试的话暂时还不能从官网下载企业版兼容 Oracle 模式,只能下载社区版兼容 MySQL 模式,瞬间乐趣少了一半,像其他国产数据库还可以闲时开放下载企业版供大家把玩,这点就比较好),晚上的时候我看到了公众号《数据库技术杂谈》非官方的个人测试对比,使用企业版 OB4.3 Oracle 兼容模式下的 100GB 数据的 TPC-H 做的行列存储对比测试,机器规格是 12c12G,22 个 TPC-H 查询语句中,所有的语句单次查询时间列存都比行存快,总时间更是减少了 78.6%,更多详细信息请查看该原文《OB4.3 列存表使用体验》

ee6899ab9f60da92ba2f3fcf159a05cd.png

OB4.3 版本基于 LSM-Tree 架构推出的列存引擎实现了存、列存数据存储一体化,同时新增了基于 Column 数据格式描述的新版向量化引擎和基于列存的代价模型,支持高效处理大宽表,显著提升了 AP 场景查询性能,并兼顾了 TP 业务场景。此外,新增的 Oracle 兼容的物化视图功能通过预计算存储视图的查询结果提升了实时查询性能,支撑了快速报表生成和数据分析场景。

OB 4.3 主要新功能

OceanBase 重磅推出 V4.3.0 版本,本版本集中优化分析处理(AP)场景,并实现了事务处理(TP)与分析处理(AP)的结合。此次更新依托 OceanBase 的 LSM-Tree 架构,实现行存列存存储一体化,同时推出了基于列存的全新向量化引擎以及代价评估模型。OceanBase V4.3.0 通过这些功能强化,大幅提升处理宽表的效率,显著增强了 AP 场景下的查询性能,同时也支持 TP 业务需求。OceanBase 数据库在 V4.3.0 版本新增与 Oracle 兼容的物化视图功能,能够通过预先计算并存储视图结果来提高实时查询效率,支撑快速生成报表和数据分析场景。V4.3.0 版本扩展了 Online DDL、支持了租户克隆等功能。同时对 PDML、LOB 类数据的旁路导入性能和节点的重启流程进行了优化,提高了系统的整体效率。V4.3.0 版本还支持 S3 作为备份恢复介质,优化系统资源利用效率,并增加索引使用监控、客户端本地导入等功能,提升了系统易用性。新版 OceanBase 适用于复杂分析、实时报表、实时数仓或联机交易的混合负载场景。

1abf88756e3d63cd5fbc9f806d08dd75.png

当然,这里还想吐槽一下 OB 的官方文档,比如关于列存引擎的文档内容就不是很多,比如戴总说的“分区表管理模块,缺少单表转分区表的说明,也没说这个操作是 online ddl 还是 offline ddl,看完 OB 的文档的感觉,必须先找个环境测试一下,总会有些地方没描述清楚,不省心”,当然吐槽归吐槽,OB 的文档总体还是不错的。这块白鳝老师和韩锋老师已经说过了,我这里就不多说了,写好数据库产品文档是一个系统工程,投入很大,几乎没有产出,很多国产厂商都不太重视,文档少的可怜。如何写好产品文档,详见韩老师的《一篇“完美”的数据库产品文档都有啥》?在大会结束后也和 OB 的产品 PD 吐槽了 OB 其他的问题,也给我们解释了相关的问题原因,敢于倾听用户的声音,才是一款值得信赖的好产品。

f462b60c962dac9dac76042d16cd7206.png

结  尾

第二届 OB 开发者大会,实在是太火爆了,我昨天发布的一个视频号都被限流了,说是带有引流,给用户带来安全风险。。。。。。参与大会的开发者从 60 后一直到 00 后,大家都是带着目的来的,参与度很高,我的一位网友小哥就是从杭州跑过来的,他说虽然只有半天时间也认识了很多大佬;也有从宁波赶来的蒋总,当然也有和我一样从北京赶来的晓飞老师等等,可以说是来自五湖四海,或面基或学习,这里不做讨论了。

最后就是我的面基时刻了,恕我这里只放合照哈。

24dc27766e7e2b846f41916e5afc82a9.png

7759a49eaa6490ab36a31096bf82d529.png

52d06082a048e7079363594c4d99610a.png

30f50486d73c857038198c5f809436ac.png

a243e8a2c599a052dd58d5c36aa3052a.png

ffc9720663b2cbecf882acefd7701b09.png

全文完,希望可以帮到正在阅读的你,如果觉得有帮助,可以分享给你身边的朋友,同事,你关心谁就分享给谁,一起学习共同进步~~

欢迎关注我的公众号【JiekeXu DBA之路】,第一时间一起学习新知识!————————————————————————————
公众号:JiekeXu DBA之路
CSDN :https://blog.csdn.net/JiekeXu
墨天轮:https://www.modb.pro/u/4347

ITPUB:https://blog.itpub.net/69968215

腾讯云:https://cloud.tencent.com/developer/user/5645107
————————————————————————————

69afe1ea0d4338239d8eeef4d0709175.gif

分享几个数据库备份脚本

一文搞懂 Oracle 统计信息
 
 

我的 Oracle ACE 心路历程

Oracle 主流版本不同架构下的静默安装指南
 
 

关机重启导致 ASM 磁盘丢失数据库无法启动

Oracle SQL 性能分析(SPA)原理与实战演练
 
 

Oracle 11g 升级到 19c 需要关注的几个问题

Windows 10 环境下 MySQL 8.0.33 安装指南

SQL 大全(四)|数据库迁移升级时常用 SQL 语句

OGG|使用 OGG19c 迁移 Oracle11g 到 19C(第二版)

Oracle 大数据量导出工具——sqluldr2 的安装与使用

从国产数据库调研报告中你都能了解哪些信息及我的总结建议

使用数据泵利用 rowid 分片导出导入 lob 大表及最佳实践

在归档模式下直接 rm dbf 数据文件并重启数据库还有救吗?

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/566520.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【MySQL 数据宝典】【线程模型】-IO Thread、Puge Thread介绍

一、 线程模型 多线程模型 InnoDB存储引擎采用多线程模型,其后台运行多个不同的后台线程,每个线程负责处理特定的任务。 后台线程功能 刷新内存池数据: 后台线程负责定期刷新内存池中的数据,以确保缓冲池中的内存缓存保持最新的…

FebHost:科技企业如何规划并注册.AI域名?

为确保企业使用.AI域名的方式准确反映其对人工智能技术的关注,企业应考虑以下步骤: 了解法律和合规要求: 第一步是了解与 .AI 域名相关的独特法律和合规要求。由于.AI域名源于安圭拉,企业必须遵守安圭拉的限制和法律规定。这包括…

搭建MySQL主从结构时的问题

说明:记录搭建MySQL主从结构时遇到的两个问题; 问题一:连接主节点失败 搭建完成后从节点查看状态如下: 错误:error connecting to master admin主机IP - retry-time: 60 retries: 712 message: Host 主机IP is block…

通配符/泛域名SSL证书可以保护多少个域名

通配符/泛域名SSL证书,他可以保护一个主域名和无限个子域名。我们需要了解什么是通配符/泛域名SSL证书。这种证书是一种特殊的数字证书,它允许一个单一的SSL证书被安装在多个服务器上。这是通过使用通配符(*)来实现的,…

关于开设RT-DETR专栏及更新内容的一些说明

​ 专栏介绍:YOLOv9改进系列 | 包含深度学习最新创新,助力高效涨点!!! 专栏介绍 YOLOv9作为最新的YOLO系列模型,对于做目标检测的同学是必不可少的。本专栏将针对2024年最新推出的YOLOv9检测模型&#xff0…

项目优化11

QT多线程 发送数据不在主线程里面发送了,用信号槽机制,让数据移动到另一个线程里面去发送 多线程发送视频帧:kernel类里: .cpp

【面试经典 150 | 数组】整数转罗马数字

文章目录 写在前面Tag题目来源解题思路方法一:模拟 写在最后 写在前面 本专栏专注于分析与讲解【面试经典150】算法,两到三天更新一篇文章,欢迎催更…… 专栏内容以分析题目为主,并附带一些对于本题涉及到的数据结构等内容进行回顾…

人工智能论文GPT-3(5):2020.5 Language Models are Few-Shot Learners;总结

6 更广泛的影响 语言模型对社会具有广泛的有益应用,包括代码和写作自动完成、语法辅助、游戏叙事生成、提高搜索引擎响应速度和回答问题等。但它们也可能具有潜在的有害应用。GPT-3 提高了文本生成质量和适应性,使得相较于较小的模型更难将合成文本与人…

AI自动生成PPT文档 aippt的API介绍文档

官方链接直达! 产品介绍​ 能力介绍​ AiPPT 是一款智能生成演示幻灯片的在线工具。专业设计团队打造海量模板资源,输入标题即可轻松生成完整的PPT。同时 AiPPT 支持导入多格式文档一键生成 PPT,让 PPT 创作更加高效。聚焦于内容&#xff0…

夜鸦国际服账号验证怎么办 夜鸦国际服账号认证的详细教程

夜鸦国际服账号验证怎么办 夜鸦国际服账号认证的详细教程 今天为大家带来的是《夜鸦》这款游戏,游戏背景是基于13世纪欧洲背景的MMORPG游戏,这款游戏以其沉浸式的游戏体验和流畅的打斗为特色。玩家可以选择战士、剑士、猎人或女巫等角色,体验…

Tensorflow AutoGraph 的作用和功能

🍉 CSDN 叶庭云:https://yetingyun.blog.csdn.net/ TensorFlow AutoGraph 是 TensorFlow 中的一个重要特性,它允许开发者使用普通的 Python 语法编写高效的 TensorFlow 图(graph)。这意味着开发者可以利用 Python 的易…

(六)小案例银行家应用程序-删除账号-findindex方法

findindex方法和find方法非常类似,只不过findindex顾名思义,他返回的是index; ● 下面我们使用删除账号的功能来学习一下findindex的 ● 当用户登录成功之后,可以在下方输入自己的用户名和密码,然后提交&#xff0c…

在线音乐播放网站项目测试(selenium+Junit5)

在做完在线音乐播放网站项目之后,需要对项目的功能、接口进行测试,利用测试的工具:selenium以及Java的单元测试工具Junit进行测试,下面式测试的思维导图,列出该项目需要测试的所有测试用例: 测试结果&#…

flink Unsupported operand types: IF(boolean, NULL, String)

问题:业务方存储了NULL 字符串,需要处理为 null select if(anull,null,a); 结果遇到了 Unsupported operand types: IF(boolean, NULL, String),根据报错反馈,很明显应该是没有对 null 自动转换&#xff…

视频教程下载:ChatGPT驱动的SEO、网络营销、生产力提升

用户遇到的一个常见问题是在ChatGPT对话过程中难以保持清晰的目的和专注。这可能导致互动无效和浪费时间。这门课程将教给各种创意人士——艺术家、制造者、博主、讲师和内容创作者——如何制定理想的提示配方,从而产生更有成效的对话和更高的回报。 这是一门关于如…

防腐木负氧离子监测站

TH-FZ4随着生活品质的提升,人们对空气质量的要求也日益提高。在这个背景下,防腐木负氧离子监测站作为空气质量监测的重要设备,逐渐进入了人们的视野。本文将为您详细解读防腐木负氧离子监测站的工作原理,带您了解这一环保科技的魅…

SQLite FTS5 扩展(三十)

返回:SQLite—系列文章目录 上一篇:SQLite的知名用户(二十九) 下一篇:SQLite 的命令行 Shell(三十一) 1. FTS5概述 FTS5 是一个 SQLite 虚拟表模块,它为数据库应用程序提供全文搜索功能。在最基本的形式中, 全文搜索引擎允许…

Jmeter(十二) - 从入门到精通 - JMeter逻辑控制器 - 终篇(详解教程)

宏哥微信粉丝群:https://bbs.csdn.net/topics/618423372 有兴趣的可以扫码加入 1.简介 Jmeter官网对逻辑控制器的解释是:“Logic Controllers determine the order in which Samplers are processed.”。 意思是说,逻辑控制器可以控制采样…

用阿里巴巴的通义听悟,免费、快速批量制作视频字幕

阿里巴巴的通义听悟可以快速准确的将音频转为文字,那么自然也可以为视频添加字幕。 具体操作方式如下: 首先,在通义听悟中点击:新建,新建一个文件夹,然后把要添加字幕的视频都上传到这里。 如果视频存在…

LeetCode131:分割回文串

题目描述 给你一个字符串 s&#xff0c;请你将 s 分割成一些子串&#xff0c;使每个子串都是 回文串。 返回 s 所有可能的分割方案。 代码 class Solution { public:vector<vector<string>> res;vector<string> path;bool isPalindrome(const string &…