从“数据孤岛”、Data Fabric(数据编织)谈逻辑数据平台

提到逻辑数据平台,其核心在于“逻辑”,与之相对的便是“物理”。在过去,为了更好地利用和管理数据,我们通常会选择搭建数据仓库和数据湖,将所有数据物理集中起来。但随着数据量、用数需求和用数人员的持续激增,数据架构的复杂度和组织架构的复杂度对物理集中的方式带来诸多挑战。

比如,如何确保企业中的每个人都能及时获取到正确的数据,以支持他们的业务决策。再比如,企业在搭建了湖仓之后,还需要将业务数据从业务数据库迁移到湖仓之中,但由于各种性能问题,就需要将数据进一步迁移到不同类型的数据集市,这就产生了多次不必要的数据复制、计算和存储,给企业形成巨大的成本压力。

同时,由于合规和组织结构的复杂性,企业实际上并不能将所有数据集中到单一的湖仓之中,“数据孤岛”广泛存在

也就是在这种背景下,逻辑数据平台开始兴起。

所谓逻辑数据平台,是一种通过数据虚拟化的技术手段,将企业多源异构数据进行逻辑层面的统一整合,形成物理分散但逻辑统一的虚拟数仓,它允许用户在不搬迁原始数据的前提下,实现多源异构数据的集成整合,并通过逻辑视图提供统一的数据服务,以及统一的数据访问控制,实现高效、轻松、灵活地访问、查询和操作数据,以便更好地支持业务决策。

逻辑数据平台兴起的背后,离不开 Data Fabric(数据编织)这一全新的数据管理理念的支撑。Gartner 将其列为“2021 年十大数据和分析技术趋势”之一,其核心理念在于通过数据虚拟化的技术手段,实现数据逻辑上的集中管理。

在 Aloudata 看来,Data Fabric(数据编织)的关键在于优化跨源异构数据的发现与访问,实现数据的灵活且业务可理解的交付,在于连接数据而非集中数据,强调自助服务而非专家服务,以及主动智能而非被动人工操作。

Data Fabric(数据编织)架构通过集成数据管理功能,并运用 AI 能力进行语义探索、分析和推荐,将被动的数据治理策略转变为主动的数据治理策略。这样的转变不仅加快了数据价值实现的速度,还提高了业务适应性、数据洞察的敏捷性,有效消除了数据孤岛,降低了成本和风险,增强了业务协作和数据安全。

作为国内 Data Fabric(数据编织)架构理念的实践者和引领者,Aloudata 基于在 EB 级别数据管理领域的深厚经验,开创性地提出“NoETL”这一创新思想,与 Data Fabric(数据编织)的核心理念与技术实现高度一致,旨在消除传统的基于人工 ETL 的数据管理瓶颈,实现数据管理高度自动化,更加高效地完成数据交付和使用。

在此基础上,Aloudata 打造了 Aloudata AIR 逻辑数据平台,通过自研的数据虚拟化技术,以及查询下推和查询加速功能,帮助用户轻松实现全域数据的逻辑连接、快速访问和查询,并能够根据业务分析需求,进行跨数据源的数据整合,以及灵活开展数据分析和应用工作。

  • 多源异构的数据融合:支持 50 种不同的数据连接方式,包括传统数据库、数据湖、数据仓库、各类 API 服务和应用,以及非同步数据和用户本地数据。这使得连接全域各类数据并进行快速分析变得异常简单。
  • 逻辑化数据整合:不需要关注底层技术细节,可以通过 SQL 语言去表达和定义需求,或通过拖拽式界面来实现数据准备;支持跨源、多级逻辑视图定义,大大简化了各种复杂场景下的数据整合工作。
  • 自适应数据加速:内置的 MPP 引擎可用于提高某些高性能场景的数据源查询性能。此外,自适应物化加速和智能下推功能,确保在大规模数据量下依然能实现秒级的交互式响应速度。
  • 集中数据治理与控制:管理人员可以在 Aloudata AIR 中集中设置安全和合规的访问策略,包括细致的访问控制和对敏感数据的动态脱敏处理,确保数据的安全性。
  • 统一的数据资产目录:提供统一的数据资产目录,它不仅有技术语言描述,还包括符合业务语言的描述。用户可以使用自然语言轻松找到所需数据,甚至系统会根据用户角色和需求主动推荐相关数据。
  • 标准开放的数据服务:找到所需数据后,可以通过标准化的数据服务将这些数据连接到各种工具上,无论是用于可视化分析的工具,还是更高级的数据科学或 AI 工具,都可以在自己熟悉和喜爱的环境中进行工作。

目前,Aloudata AIR 逻辑数据平台已在多个极高复杂度的数据生产和消费环境中落地应用,帮助招商银行构建了统一的敏捷数据使用平台,使业务团队不再四处寻找所需数据,在一个地方即可统一查找和理解数据,并通过逻辑视图定义和自动化编排,更轻松地处理和准备数据,目前每月由业务团队自助生成的数据已占总数据的 70% 以上,ETL 压力显著降低。同时,动态集成和自动化编排减少了不必要的数据复制、计算和存储,至少节约了 50% 以上的存算成本。

如果您最近正关注“逻辑数据平台”,或者计划考虑通过统一数据服务平面屏蔽底层引擎的差异性,提升业务用数效率,不妨先了解下 Aloudata AIR 逻辑数据平台,或许能为您带来新的思路。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/707626.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

掌握midjourney系列:8 个角色设计关键词

Midjourney V6的角色引用功能非常强大,可以让多张图片生成的角色风格保持一致。在实现同一角色的多张场景图片之前,我们需要先设计好基础角色。 以下是我总结的Midjourney中人物设计套路的常用提示,很高兴与大家分享。 1、角色设定表&#…

南京威雅学校:初中转轨国际化教育,她们打开了成长的另一种可能

“上了大学就轻松了。” 又是一年高考季,每每回想起十八岁前那些没日没夜埋头学习的日子,已经为人父母的你是不是也忍不住想要孩子气地吐槽一句,“骗人”——人不会在一场考试后瞬间长大,试卷里也没有人生的全部答案。 三年前&a…

Java-多线程

概念 进程:程序的基本执行实体 线程:操作系统能够进行运算调度的最小单位,被包含在进程之中,是进程的实际运作单位 并发:同一时刻,多个指令在单个CPU上交替执行。 并行:同一时刻,多…

博物馆藏品管理的重要性

博物馆是人们了解历史文化、传承文明的重要场所。而博物馆的藏品管理是博物馆的核心工作之一,对于展现博物馆的魅力、吸引观众的眼球有着至关重要的影响。并且博物馆藏品管理是一项复杂且专业的工作,它涉及到多个方面,包括但不限于藏品的收集…

前沿重器[49] | 聊聊搜索系统2:常见架构

前沿重器 栏目主要给大家分享各种大厂、顶会的论文和分享,从中抽取关键精华的部分和大家分享,和大家一起把握前沿技术。具体介绍:仓颉专项:飞机大炮我都会,利器心法我还有。(算起来,专项启动已经…

Unity 踩坑记录 用自定义类 创建的List不显示在 inspector面板

在 自定义类上面添加 【Serializable 】 扩展: 1:Serializable 序列化的是可序列化的类或结构。并且只能序列化非抽象非泛型的自定义的类 2:SerializeField是强制对私有字段序列化

单例模式、工厂模式 c++关键字 static

static 关键字的作用: 主要作用在于 控制变量或函数的作用域、生命周期以及它们如何被不同部分的程序访问,从而帮助程序员管理内存、避免命名冲突,并实现特定的设计模式(如单例模式)。 1. 静态局部变量:当…

工具推荐-文件捆绑工具

前提 在之前有突发奇想过,有没有那种我发给别人一个pdf文件,别人点击后看到的是pdf文件的内容,我这边也看到了上线的提示。于是就去研究pdf能加入哪些特殊的功能。看了一段时间后发现pdf的一些不一样的功能 像是打开pdf后弹出一个框 或者是…

什么是端口转发?路由器如何正确的设置端口转发和范围转发?(外网访问必备设置)

文章目录 📖 介绍 📖🏡 演示环境 🏡📒 端口转发 📒🚀 端口转发的应用场景💡 路由器如何设置端口转发(示例)💡 端口范围转发(示例)🎯 范围转发的应用场景🛠️ 设置范围转发📝 范围转发实操示例🎈 注意事项 🎈⚓️ 相关链接 ⚓️📖 介绍 📖 …

wmv转换mp4怎么操作?3个格式转换方法分享

wmv转换mp4怎么操作?将WMV转换为MP4格式,可以方便我们在多种设备和平台上流畅播放视频。MP4格式具有广泛的兼容性和优化过的编码,使其在各种媒体播放器、智能手机、平板电脑以及电视上都能得到良好的支持。此外,MP4格式的视频文件…

手机直播不用麦克风可以吗?一文看懂无线麦克风哪个好

市面上对于无线麦克风的需求有增无减,原因是直播、短视频行业火爆,许多人都开始加入这一行业,不过对于麦克风这类产品的疑问也越来越多。例如:无线麦克风怎么选?实不实用?手机直播不用麦克风可以吗&#xf…

安卓启动流程

还是以高通为例子。这次整理并不是很完善,下来会参考一些文档再整理。。。 高通平台启动过程_高通平台启动流程-CSDN博客 https://www.cnblogs.com/schips/p/how_qualcomm_soc_boot.html 1. 初始启动阶段(Boot ROM) 处理器复位:…

OpenCV图像变换

一 图像的缩放 resize(src,dst,dsize,fx,fy,interpolation) fx:x轴的缩放因子 fy:y轴的缩放因子 interpolation 插值算法 INTER_NEAREST,临近插值,速度快,效果差 INTER_LINEAR,双线性插值,原图中的4个点 INTER_CUBIC…

【原创】springboot+mysql社区住户综合管理系统设计与实现

个人主页:程序猿小小杨 个人简介:从事开发多年,Java、Php、Python、前端开发均有涉猎 博客内容:Java项目实战、项目演示、技术分享 文末有作者名片,希望和大家一起共同进步,你只管努力,剩下的交…

Java接口实现与类继承

学习初期发现接口实现与类继承很像,随着学习深入发现它们之间的联系与区别,整理如下: 经实验发现,实现接口的类中含有接口中的所有属性和方法,继承父类的子类中也含有父类中所有的属性和方法,可以说接口实…

【SpringBoot + Vue 尚庭公寓实战】公寓杂费接口实现(八)

【SpringBoot Vue 尚庭公寓实战】公寓杂费接口实现(八) 文章目录 【SpringBoot Vue 尚庭公寓实战】公寓杂费接口实现(八)1、公寓杂费业务介绍2、公寓杂费逻辑模型介绍3、接口实现3.1、保存或更新杂费值3.2、保存或更新杂费名称3…

Python学习之旅:你的大学计算机专业宝藏路线图

在信息时代的浪潮中,Python以其强大的功能和极简的语法成为了无数程序员心中的白月光。作为大学计算机专业的学生,掌握Python不仅能够为未来的职业生涯铺路,更能让您在学术研究和实际应用中如鱼得水。今天,我将与大家分享一套实用…

南京观海微电子-----PCB设计怎样降低EMI

开关模式电源是AC-DC或DC-DC电源的通用术语,这些电源使用具有快速开关动作的电路进行电压转换/转换(降压或升压)。随着每天开发出更多的设备(潜在的EMI受害者),克服EMI成为工程师面临的主要挑战,并且实现电磁兼容性(EMC)与使设备正常运行同等…

使用高级SQL向量查询增强您的 RAG 应用程序

通过使用 MyScale 和 LangChain 创建 AI 助手来克服 RAG 的限制,以提高数据检索过程的准确性和效率。 让我们讨论一下如何使用 [MyScale]创建 AI 助手来克服这些 RAG 限制,从而提高数据检索过程的准确性和效率。我们将抓取 Hacker News 的最新故事&#…

鸿蒙轻内核A核源码分析系列七 进程管理 (2)

本文先熟悉下进程管理的文件kernel\base\core\los_process.c中的内部接口,读读代码,做些记录。 1、LiteOS-A内核进程全局变量 ⑴是进程池,存放各个进程控制块LosProcessCB的信息。⑵处开始的g_freeProcess是空闲进程链表,挂载各…