全闪存加速信创数据库数仓一体机解决方案

 立足行业,深度解读 

在新的大数据生态中,传统数据库/数据仓库技术和产品成为大数据生态中的组成部分,对结构化数据的存储和计算进行支撑。

数据库&数据仓库一体机是高端、核心数据管理产品,在我国党政、银行、交通等领域广泛应用。国产基础软硬件从党政向金融、电信、能源等行业核心应用领域切换,信创产业进入深水区,“信创数据库&数据仓库一体机”等高端产品替代需求更加迫切:即采用国产CPU服务器(飞腾、鲲鹏、龙芯、申威等)、国产操作系统、国产存储设备、国产网络设备硬件,以及国产数据库、数据仓库相关软件产品,且性价比优于国外同类产品的信创数据库&数据仓库一体机。

 直面挑战,直击痛点 

  • 对标国外同类产品,须提供同等性价比

在当前信创CPU硬件平台处理能力不及X86平台的情况下,以同等的总体拥有成本(TCO)实现不低于国外同类产品的性能:

“信创数据库&数据仓库一体机”入门级配置的TPC-C基准测试,每分钟商业事务(tpmC)不低于160万;

“信创数据库&数据仓库一体机”入门级配置的TPC-H@1TB 基准测试,全部查询语句场景执行总耗时不超过1小时;

“信创数据库&数据仓库一体机”入门级配置的提供不低于200万IOPS数据随机读写性能(读写比7:3、4KB数据尺寸);

支持行列存储引擎深度融合,支持列存储的高频写入和行存储的自动列存引擎转化。

  • 数据安全,业务可靠

数据库&数据仓库是整套业务系统的核心,“信创数据库&数据仓库一体机”的业务连续性必须保证:

支持 7*24 运行,计算、存储节点支持故障容灾;

支持数据存储的多副本及纠删码冗余保护,单个节点失效不影响持续提供数据存储管理服务。

  • 线性扩展,按需扩容

 “信创数据库&数据仓库一体机”须支持计算节点、存储节点各自按需分别扩展。

  • 丰富的迁移工具,保障客户应用"柔性"去"O" 

柔性去“O”,可回退,将客户的数据库替换风险降至最低;

与Oracle等国外产品全面兼容,使客户应用尽量少改或无须修改:

(1) 符合主流SQL92 标准,入门级和过渡级标准符合率达到 90%以上;

(2) 提供主流编程访问接口,支持 ODBC、JDBC、OCI、Python、.Net的主要访问调用接口。

 基于分布式全闪存的信创国产数据库&数仓一体机

 一体机总体架构 

采用计算存储分离的数据库架构,宏观上将计算引擎和存储引擎解耦,形成各自独立的服务,并部署于独立的计算和存储设备上。

图片

计算节点层

负责处理用户SQL请求,形成优化的SQL执行计划,对获取到的数据进行汇总、连接、排序、映射等计算操作。

存储节点层

负责数据的存储与读取,实现数据的多副本或纠删码容灾机制,支持在线动态添加节点的数据重新分布,对外以块设备形式提供访问接口。

通信层

负责计算层和存储层的内部通信,可支持计算、存储层通信的专网专用,通过冗余设计,支持通信设备故障条件下两网合一的应急运转。

图片

 大道云行FASS分布式全闪存的特点 

FASS是大道云行自主研发的高性能全闪存储系统,在高可靠、弹性扩展等原生的分布式特性基础上,FASS采用高性能全闪存硬件,结合精巧高效的并行流水线设计、虚拟内存管理、微控制器技术、裸盘管理等技术,可轻松实现千万级IOPS性能,以超高的性能表现,可以轻松满足数据中心关键业务的苛刻存储性能与弹性扩展的需求。

OS-Bypass

FASS软件栈在用户空间具备独立的用户态进程与其他系统组件隔离,取代操作系统的低效调度,结合高效的分布式全闪存储软件栈,取代操作系统的低效调度,发挥出超高的I/O性能。同时避免故障时相互影响,从而实现更高的系统可靠性,也有利于分布式数据库实现更简捷的协议与功能扩展,为数据库提供更优的底层存储资源支撑。

可靠性保障

完善的多副本和纠删码数据保护机制,提供硬件级、节点级、AZ级故障保护及切换能力。同时支持手动、自动进行数据均衡策略,满足不同业务场景的需求。

支持各类存储高级特性

支持QoS、快照、卷拷贝/卷迁移、自动精简配置、负载均衡等。

图片

基于分布式全闪存的国产信创数据库&数仓一体机测试性能

 国产信创数据库共享存储集群的特点 

图片

柔性去“O” 客户业务切换无忧

国产信创数据库提供了与Oracle对等的全面解决方案:包括高可用、高可用+负载均衡(共享存储集群)、实时数据同步、同城双中心、两地三中心等。

国产信创数据库实现了与Oracle的彻底、全面兼容,变更数据库时应用可少改甚至无须修改:兼容性不仅仅只是一层语法解析器,还涉及体系结构、并发机制、接口、功能、运维、性能问题等。

 

关于柔性去“O” 

  • 通过国产信创数据库的实时数据同步工具进行柔性去“O”,将替换Oracle的风险降到最低。因具备高度的Oracle兼容性,客户只需维护一套应用可以同时访问Oracle和国产信创数据库;

  • 通过高效可靠的异构数据库实时同步工具,对源端的Oracle主库无侵害,性能影响最小;可通过解析Oracle数据库的REDO日志和归档日志实现Oracle到国产信创数据库库的实时同步;

  • 提供实时在线对比工具,让客户能够看到数据同步的有效性。

图片

高性能、低成本的国产信创数据库&数仓一体机,使客户业务切换无忧:高度整合的一体化产品,通过软件和硬件的紧密耦合和深度调优,打造数据库&数据仓库整体解决方案,实现了一站式交付、一键式部署、智能化运维。

 国产信创数据库&数仓一体机产品优势

先进的分布式+全闪存架构

分布式+全闪存架构同时具备低延迟、高扩展、低能耗等特征,通过NVMeoF协议,一体机使用一套低成本的IP网络(低成本的RoCE v2无损以太网)即可实现计算及高速存储访问,充分释放数据库&数仓性能,大幅提升业务效率。

生命周期完整的自主可控数据库&数仓一体机

本产品研制率先提出了通过大数据集成、存储、分析等自主可控软件与中高端硬件设备的深度定制整合,较好解决了数据库/数仓/大数据一体机生态不完整、核心技术不可控等问题,填补了市场空白。

先进的数据库的细粒度动态协同计算扩展方法

本产品研制通过创新的SQL算子级的细粒度协同计算框架和方法,实现以较低成本,使数据随着SQL算子共同扩展,有效缓解了并行计算横向扩展困难的问题,并改善了闲置计算资源的利用率,以较低成本获取更多计算资源。

创新的行-列存储引擎的深度一体化融合方案

本产品研制所设计的行-列存引擎深度一体化融合,可有效满足分析型存储模式的高频写入和事务存储模型下的复杂分析查询场景性能要求,简化数据库/数仓/大数据一体机硬件配备要求的同时,提供更好的系统性能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/419511.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

市场热点袭来,直接加仓可靠吗?九方智投洪帮主助投资者明确几大要点

消费电子近期再度走强,多企业均出现涨停。消费电子出现乐观局面,有投资者认为是因为目前市场需求旺盛,产业链正在积极拉货,持续加单,各类手机新机也在积极备货,消费电子库存低。面对市场情绪高涨&#xff0…

LabVIEW最佳传输系统设计

LabVIEW最佳传输系统设计 介绍了基于LabVIEW软件开发的最佳基带传输系统和最佳带通传输系统的设计。通过软件仿真实现了脉冲成形滤波器和匹配滤波器的设计,证明了系统在消除码间干扰和抗噪声方面的优异性能。此设计不仅激发了学生的学习兴趣,还有助于提…

AI智能分析网关V4车辆违停算法在园区场景中的应用及特点

随着城市化进程的加速,车辆违停问题愈发严重,给城市交通带来了极大的困扰。为了解决这一问题,AI技术逐渐被应用于车辆违停的检测中。AI检测算法在车辆违停方面的应用,主要是通过计算机视觉技术,对道路上的车辆进行实时…

nodejs配置环境变量后不生效(‘node‘ 不是内部或外部命令,也不是可运行的程序或批处理文件)

一、在我们安装Node.js后,有时候会遇到node命令不管用的情况,关键是在安装时候已经添加配置了环境变量,向下面这样 但是还是不管用,这是因为环境变量配置不正确,权重不够,或者是命令冲突导致,解…

人工智能驱动的自拍时代:短视频美颜SDK技术的发展趋势

在短视频自拍的过程中,美颜技术的应用已经成为了许多人的必备工具,其中短视频美颜SDK技术的发展更是推动了自拍时代的进步。 1.人工智能技术的崛起 传统的美颜功能主要是通过简单的图像处理和滤镜效果来实现,但是这种方法往往会导致照片失真…

【Java】UWB高精度工业定位系统项目源代码

目录 UWB技术原理 优势 1. 高精度: 2. 抗干扰能力强: 3. 定位范围广: 4. 实时性强: 应用前景 定位系统源码功能介绍 实时定位: 轨迹回放: 区域管理: 巡检管理: 数据可视化分析&…

【ArcPy】批量读取文件夹excel中XY并转为点shp

示例展示 代码 只读取excel中含有XY字段的文件,并将矢量命名为excel文件名称。 import os import pandas as pd import arcpy folder_path r"C:\Users\admin\Desktop\excelfile" extension"xlsx" files [file for file in os.listdir(folder…

Prometheus(二):NodeExporter和Grafana的安装和使用

目录 1 Node Exporter安装1.1 简介1.2 安装1.3 Prometheus收集node_exporter数据 2 安装Grafana2.1 安装2.2 使用1、创建数据源2、选择模板3、模板导入 2.3 grafana创建用户1、创建用户2、验证 总结 1 Node Exporter安装 1.1 简介 node exporter是Prometheus的收集数据的组件…

使用 WordPress SureMembers 创建 Patreon 等粉丝网站

各行各业的创意专业人士和爱好者越来越多地转向在线平台分享他们的作品、建立忠实的粉丝并创造收入。 无论您是新晋艺术家还是知名影响者,拥有粉丝订阅网站都可以帮助您将热情货币化,同时培养紧密的支持者社区。 根据Statista的一份报告,到…

商城系统_大型商城系统源码_免费开源商城_OctShop

随着互联网对各行各业的渗透,以及人们网络购物的习惯已经形成,很多商家或企业都开始搭建与开发自己的商城系统平台。商城系统是一个以互联网技术为基础,依托电子商务的电商系统平台。一般大型的的商城系统都会有前台各种客户端,如…

【手机端测试】adb基础命令

一、什么是adb adb(Android Debug Bridge)是android sdk的一个工具 adb是用来连接安卓手机和PC端的桥梁,要有adb作为二者之间的维系,才能让用户在电脑上对手机进行全面的操作。 Android的初衷是用adb这样的一个工具来协助开发人…

PoC免写攻略

在网络安全领域,PoC(Proof of Concept)起着重要的作用,并且在安全研究、漏洞发现和漏洞利用等方面具有重要的地位。攻击方视角下,常常需要围绕 PoC 做的大量的工作。常常需要从手动测试开始编写 PoC,再到实…

【数仓】Hadoop软件安装及使用(集群配置)

一、环境准备 1、准备3台虚拟机 Hadoop131:192.168.56.131Hadoop132:192.168.56.132Hadoop133:192.168.56.133 本例系统版本 CentOS-7.8,已安装jdk1.8 2、hosts配置,关闭防火墙 vi /etc/hosts添加如下内容&#x…

【软考高项】【计算专题】- 5 - 进度类 - 横道图/甘特图

一、知识点 1、基本定义 甘特图(Gantt chart )又称为横道图、条状图(Bar chart),通过条状图来显示项目各活动的进 度情况。以提出者亨利劳伦斯甘特( Henry Laurence Gantt)先生的名字命名。 目前许多文档工具都可以画甘特图。 (1)我的举例 …

Linux进程 | 环境变量 | 程序地址空间

基本概念 课本概念:程序的一个执行实例,正在执行的程序等内核观点:担当分配系统资源(CPU时间,内存)的实体。 描述进程-PCB 进程信息被放在一个叫做进程控制块的数据结构中,可以理解为进程属性的…

鸿蒙Harmony应用开发—ArkTS声明式开发(按键事件)

按键事件指组件与键盘、遥控器等按键设备交互时触发的事件,适用于所有可获焦组件,例如Button。对于Text,Image等默认不可获焦的组件,可以设置focusable属性为true后使用按键事件。 说明: 从API Version 7开始支持。后续…

ImportError: cannot import name ‘_update_worker_pids’ from ‘torch._C’

问题描述: 在复现超分辨率算法RNAN(EDSR、RCAN同样的环境)的时候报错,torch要求是0.4.0版本的。 解决方案: 解决方法1(已安装anaconda) 1. 打开命令行(这个自行查找) …

2024亚马逊全球开店注册前需要准备什么?

在2023年出海四小龙SHEIN、Temu、速卖通AliExpress、TikTok Shop快速增长扩张,成为了中国跨境卖家“逃离亚马逊”的新选择。但是,跨境电商看亚马逊。当前,亚马逊仍然是跨境电商行业的绝对老大,占有将近70%成以上的业务份额。 作为…

MySQL(基础篇)——多表查询

一.多表关系 一对多(多对一) 多对多一对一 1.一对多(多对一) a.案例:部门与员工的关系 b.关系:一个部门对应多个员工,一个员工对应一个部门 c.实现:在多的一方建立外键,指向一的一方的主键 2.多对多 a.案…

记录SSM项目集成Spring Security 4.X版本 之 加密验证和记住我功能

目录 前言 一、用户登录密码加密认证 二、记住我功能 前言 本次笔记的记录是接SSM项目集成Spring Security 4.X版本 之 加入DWZ,J-UI框架实现登录和主页菜单显示-CSDN博客https://blog.csdn.net/u011529483/article/details/136255768?spm1001.2014.3001.5502 文章之后补…