数据虚拟化、Data Fabric(数据编织)的兴起,对数据管理有何帮助?

数字化时代,虚拟化(Virtualization)并不是一个很陌生的词汇,它是现代数据中心资源管理的核心技术之一,是对 IT 资源(如服务器、存储设备、网络设备等)的抽象,通过屏蔽 IT 资源的物理性质和边界,能够有效地将其虚拟化为多个逻辑资源,从而实现 IT 资源的共享、分配、管理和高效利用。

数据虚拟化(Data Virtualization)便是对数据资源的抽象,通过屏蔽数据资源的存储位置和访问方式,能够将不同数据源、不同格式的数据资源,即企业的多源异构全域数据进行逻辑上的整合集成,并通过统一的访问界面和访问方式,抹除不同基础设施、技术架构之间的差异,让企业快速地实现对数据资源的提取和使用。

值得一提的是,与传统的 ETL 驱动的数据集成方案不同,数据虚拟化没有“复制和搬运”数据这个过程,因此基于数据虚拟化的数据集成方案通常实施成本比较低,实施周期比较短,尤其是在数据源越来越分散,“数据孤岛”广泛存在,企业“找数、看数、用数”的需求越来越高频的场景下,能够大幅降低企业存储、管理、应用数据的投入和运维成本,也能够让业务人员更专注于业务创新,而非技术细节,极大加速数据价值实现。

正是因为数据虚拟化的这些特点,Gartner 认为数据虚拟化是一种“生产力平台”技术,技术风险比较低,投资收益回报比较大。同时,数据虚拟化也是近年兴起的全新数据管理架构理念—— Data Fabric(数据编织)的重要技术组成部分,通过数据虚拟化,Data Fabric 可以构建跨源、跨云的统一数据访问层,并在这层之上构建统一的数据语义层或逻辑数据视图,实现数据的动态集成和敏捷服务。

作为国内 Data Fabric(数据编织)架构理念的实践者与引领者,Aloudata 大应科技通过自主研发的数据虚拟化技术,构建了国内首个 Data Fabric 理念的逻辑数据平台——Aloudata AIR,隐藏了数据环境和 ETL 链路的复杂性,轻松实现数据仓库、数据湖、OLAP 引擎和其他各类数据的多源异构数据集成和联邦查询,能够帮助企业无需复制和搬运数据、无需关注数据任务运维、无需担心查询性能,实现全域数据的逻辑整合。

同时,Aloudata AIR 支持全局数据资产目录和统一数据服务,为下游用户与应用提供了统一的数据发现和访问入口,解决了“数据孤岛”造成的全域数据查找难、跨源查询难和集中安全治理等问题;支持人工指定物化加速和 AI 增强的自适应物化加速,基于用户查询行为,实现自动化物化链路编排和智能查询下推,让用户无需担心虚拟化带来的大数据量查询性能问题,实现全域数据更低成本、更实时地流通和消费。

Data Fabric(数据编织)认为,只有自服务才有可能将生产力解放出来,以满足业务旺盛的数智化运营的需求。

通过 Aloudata AIR 逻辑数据平台,帮助业务人员减少了对 ETL 工程师的单向依赖,不需要再关心数据实际存放位置,也不必再搭建复杂的 ETL 数据管道,直接通过 SQL 等多种方式定义逻辑数据集就能够自助对全域数据进行准备和分析,从而改变了数据生产与数据消费的协同关系,实现 Data Fabric 的“自助服务,而非专家服务”的价值主张,显著提升业务用数效率,释放数据价值。

具体来看,Aloudata AIR 逻辑数据平台主要由数据连接层、数据虚拟化层、数据消费层构成:

  • 数据连接层:在这一层,用户可以轻松地将企业全域数据逻辑连接起来,无论物理位置和数据格式如何,均可快速访问,且无需复制数据,让数据随手可得。
  • 数据虚拟化层:完成数据连接之后,在这一层用户可以通过自动化的链路编排和 AI 增强的自适应查询加速保障功能,实现跨数据源的数据整合,对数据进行处理加工,满足业务分析需求。
  • 数据消费层:进入这一层,平台提供了如 JDBC 等各种标准化接口,对接下游指标平台、BI 工具及其他数据应用工具,用户可以在自己熟悉和喜欢的工具上进行数据分析和应用,实现数据普惠化。

在极度复杂的数据环境应用中,Aloudata AIR 逻辑数据平台展现出强大的能力,如帮助某券商连接了 100 多个数据库,虚拟映射了 2 万多张表,实现交付效率提升至少 10 倍,研发链路管理工作量减少 30%,数据存储和计算成本节约 50%。

同时,鉴于出色的表现,Aloudata AIR 在招商银行的敏捷数据准备与分析场景中的实践成果入选 2023 中国信通院大数据“星河”标杆案例。关于更多 Aloudata AIR 逻辑数据平台及最佳实践详情,访问 Aloudata 官网快速了解。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/723828.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

2024年城市规划与创新管理国际会议(UPIM 2024)

2024年城市规划与创新管理国际会议(UPIM 2024) 2024 International Conference on Urban Planning and Innovation Management 【重要信息】 大会地点:苏州 大会官网:http://www.icupim.com 投稿邮箱:icupimsub-conf.c…

打击帮信罪掩隐罪的全渠道交易反欺诈解决方案

结合多年对抗黑灰产的实践经验,芯盾时代利用自主研发的智能风控决策平台(IRD)、账户风险监测系统(ARM)、终端威胁态势感知(MTD)、智能终端密码模块(PMIT)、设备指纹等产品…

没有 ADetailer,ComfyUI 画图脸崩了怎么办?

我们都知道 SD 的 WebUI 中的面部修复神器是 ADetailer,不过它是 WebUI 的专属插件,在 ComfyUI 中是搜索不到这个插件的,但是并不代表 ComfyUI 就不能使用面部修复功能了,ComfyUI 中也是可以找到平替的。 今天我们就来讲讲在 Com…

爆赞!24年GitHub首本Python开发实战背记手册,标星果然百万名不虚传

Python (发音:[ paiθ(ə) n; (US) paiθɔn ] n. 蟒蛇,巨蛇 ),是一种面向对象的解释性的计算机程序设计语言,也是一种功能强大而完善的通用型语言,已经具有十多年的发展历史,成熟且稳定。Python 具有脚本语言中最丰富…

COGNEX康耐视 INsight Micro系列视觉系统安装手测

COGNEX康耐视 INsight Micro系列视觉系统安装手测

全新剧场app的独特功能

全新剧场App通过引入一系列独特功能,旨在提升用户体验、增加用户粘性并拓宽市场范围。以下是对这些功能的详细分析: 1、虚拟剧场导览: 功能概述:利用增强现实技术,为用户提供虚拟剧场导览体验。用户可以在App中启动这…

从“野人饭”走红,探索品牌户外化营销趋势丨小红书内容分析

wildeat,户外是人的天性的回归 近来,“wildeat(户外野吃)”的风潮在小红书逐渐兴起。越来越多的人选择到户外吃一顿,做一次“野人”,主打一个只要氛围到了,就地开饭,不愁吃什么&…

数据结构--顺序表(图文)

顺序表的概念和特点 顺序表是一种线性数据结构,它由一组数据元素构成,这些元素具有相同的特性,并按照一定的顺序排列。在顺序表中,数据元素通常存储在连续的内存空间中,这使得通过索引可以直接访问到表中的任意元素。…

scratch3编程02-使用克隆来编写小游戏

目录 1,游戏效果 2,游戏代码块 1)玩家 2)障碍物 ​ 3)箭头 ​ 4)关卡图片 3,scratch文件 1,游戏效果 使用克隆 在这个游戏中: 程序开始:只要点击“…

开放式耳机哪个牌子好?2024五大闭眼入开放式耳机推荐!

想要购买开放式耳机,但面对很多品牌和型号,是否感到无从下手?别担心,作为耳机发烧友和测评专家,我为大家带来了几款热门开放式耳机的横向对比。从各个方面进行详细对比,还有我自己觉得还不错的五款开放式耳…

行列式和矩阵的区别

目录 一、行列式 1. 行列式的定义 2. (全)排列 3. 逆序数 二、矩阵 1. 矩阵的定义 三、行列式和矩阵的区别 四、参考书目 一、行列式 1. 行列式的定义 2. (全)排列 3. 逆序数 二、矩阵 1. 矩阵的定义 三、行列式和矩阵的区别 四、参考书目 同济大学数学系. 工程数学…

【代码随想录】【算法训练营】【第43天】 [518]零钱兑换II [377]组合总和IV [卡码57]爬楼梯

前言 思路及算法思维,指路 代码随想录。 题目来自 LeetCode。 部分题目来自卡码网。 day 43,极其困难的周三~ 题目详情 [518] 零钱兑换II 题目描述 518 零钱兑换II 解题思路 前提:假设每一种面额的硬币有无限个,求组合数…

大模型技术如何构建金融领域的创新生态?

前言 近年来,人工智能技术不断迭代与突破,助力各行各业加速迈向智能化,其中在金融领域的运用逐渐加深,为银行、保险、基金、券商等金融机构实现数智化转型提供引擎动能。而大模型时代的到来,则为金融智能的发展引入了…

vue3-openlayers 点击多边形弹框,高亮多边形,自定义属性传递,鼠标悬浮多边形上动态修改鼠标样式

本篇介绍一下使用vue3-openlayers点击多边形弹框,高亮多边形,自定义属性传递,鼠标悬浮多边形上动态修改鼠标样式 1 需求 加载天地图,polygon传递自定义属性标悬浮在polygon上,根据自定义属性,动态修改鼠标…

【深度学习】sdwebui A1111 加速方案对比,xformers vs Flash Attention 2

文章目录 资料支撑资料结论sdwebui A1111 速度对比测试sdxlxformers 用contorlnet sdxlsdpa(--opt-sdp-no-mem-attention) 用contorlnet sdxlsdpa(--opt-sdp-attention) 用contorlnet sdxl不用xformers或者sdpa ,用contorlnet sdxl不用xformers或者sdpa …

35 Debian如何配置Postfix+Dovecot实现邮件加密

作者:网络傅老师 特别提示:未经作者允许,不得转载任何内容。违者必究! Debian如何配置Postfix+Dovecot实现邮件加密 《傅老师Debian知识库系列之35》——原创 ==前言== 傅老师Debian知识库特点: 1、拆解Debian实用技能; 2、所有操作在VMware虚拟机实测完成; 3、致力于…

Neo4j 创建关系

Neo4j 创建关系 在 Noe4j 中,关系是我们用来连接图的两个节点的元素。 这些关系具有数据的方向、类型和形式模式。 本章教你如何 建立关系在现有节点之间创建关系使用标签和属性创建关系 建立关系 我们可以使用 CREATE 子句创建关系。 我们将在方括号[]中指定关系…

工业自动化中OBC充电机测试负载箱的应用

在工业自动化中,OBC充电机是电动汽车和混合动力汽车的重要组成部分。它的主要功能是为电动汽车的电池组提供电能,保证车辆的正常运行。为了保证OBC充电机的性能和安全性,通常需要对其进行严格的测试。在这个过程中,负载箱是一种非…

PySide(PyQt)的特殊按钮(互锁、自锁、独占模式)

界面图: Qt Designer中创建窗口,放置一个QGroupBox,命名为btnStation,这就是自定义的按钮站,按钮站里放置6个按钮。自锁按钮相当于电器中的自锁功能的按钮,每按一次状态反转并保持不变。独占按钮也是自锁功能的按钮,不同的是当独占按钮为ON时,其余所有按钮均被置为OFF…

点亮LED灯(TMS570LS31HDK)

一、安装Code Composer studio(CCS) 1.ccs下载地址 2.ccs安装 学习文档 二、安装Hal Code Generator 下载地址 三、创建新的CCS项目(TMDS570LS31HDK) 详细步骤学习博客(推荐这里学习) 以下是大致步骤…