【2023云栖】大模型驱动DataWorks数据开发治理平台智能化升级

随着大模型掀起AI技术革新浪潮,大数据也进入了与AI深度结合的创新时期。2023年云栖大会上,阿里云DataWorks产品负责人田奇铣发布了DataWorks Copilot、DataWorks AI增强分析、DataWorks湖仓融合数据管理等众多新产品能力,让DataWorks这款已经发展了14年的大数据开发治理平台产品,从一站式向智能化不断升级演进。

Data+AI双轮驱动

进入AIGC时代,AI for Data和Data for AI成为当下的热词。AI for Data,这个比较好理解,通过大模型驱动的AI智能助手,可以提升数据平台工具的效率。DataWorks为企业搭建了一站式、全链路的工具链,在这个过程中,也源源不断地为企业构建数据资产,比如数据模型、元数据、数据血缘、数据指标等,在大模型时代,这些也可以称之为企业专属的领域知识,借助大模型强大的语义理解、推理、上下文学习、记忆能力,通过大模型的Prompt Engineering,DataWorks一站式平台可以为AI智能助手提供更接近的、更及时的、更全面的上下文信息,从而可以让AI获得更好的效果和性能,这是Data for AI。有了良好的数据基础,今天我们发布的众多新品就是借助AI大模型的能力,通过Data + AI双轮驱动,为数据开发和分析提供了新的范式,进一步提升企业获得数据价值的效率。

在这里插入图片描述

云栖发布:DataWorks Copilot 智能SQL编程助手提升30%数据开发分析效率

DataWorks Copilot是基于NL2SQL大模型打造的SQL编程助手,我们使用基于公开的数据集训练和微调的NL2SQL大模型,结合Prompt Engineering,提供了丰富的自然语言生成SQL的操作。

  • SQL生成

输入想要查询分析的自然语言描述,例如“统计最近7天的商品销售排行”,DataWorks Copilot将自动生成对应的SQL语句。

  • SQL续写

在SQL IDE中编写SQL代码时,DataWorks Copilot能够提供智能代码提示建议,提升SQL编程效率。

  • SQL纠错

当SQL运行报错时,DataWorks Copilot可提供一键纠错服务,帮助ETL工程师和分析师快速修复SQL错误。

  • SQL注释

以前写代码注释是个负担,我们自己不想写注释,却又希望别人的代码有注释。DataWorks Copilot可以批量为建表语句生成字段Comment信息,也可以为SQL语句添加逐行注释,提升SQL的可读性。

  • SQL解释

对于部分业务人员或者分析师,经常拿到是数仓工程师给到一段比较复杂的取数脚本,使用到的一些高级SQL语法和函数不懂什么意思但又想改一改取数逻辑,以前就要到处查资料或者请教别人。DataWorks Copilot可以直接对SQL代码进行解释,帮助我们的业务人员更快理解SQL逻辑、用途,提高取数分析和SQL学习的效率。

DataWorks Copilot 智能SQL编程助手,在我们内部已经使用了一段时间了,根据我们的一些观测,可以为ETL开发和数据分析提效30%以上。

GUI LUI DataWorks Copilot 辅助 ETL 数仓开发

40多年前出现了图形用户界面(GUI),大模型强大的自然语言理解能力,带来了全新的自然语言用户界面(LUI),这也是一种全新的人机交互方式,一个软件产品,能否提供LUI,这也是大模型应用从AI智能助手迈向AI原生应用的标志能力之一。DataWorks也在思考和探索,如何将复杂的产品操作逻辑隐藏在背后,借助大模型,对用户提供简单直接、更符合人性的自然语言用户界面。

我们做了一些产品实践。举几个应用场景,在实际工作中,找表是件头疼的问题,业务人员为了计算一个指标要找数仓的同学问该用哪张表,数仓同学天天应付这类咨询,也很烦躁。DataWorks Copilot则可以提供通过自然语言快捷找表,让找表这件事情不用东问西问,从而提升企业的数据消费效率。在ETL开发过程中,有些操作是比较复杂或者繁琐的,比如调度配置、参数配置、数据质量规则配置,过去往往需要到不同的产品页面来回跳转和手工配置,现在DataWorks Copilot提供了对话式的自然语言用户界面,在一个统一对话窗口中,通过自然语言交互就可以完成很多跨产品工具的操作,比如说一句“给某某表配置一个什么质量规则”就可以完成数据质量检测的规则配置。未来,我们将持续丰富自然语言交互界面的覆盖范围。

点击链接查看视频:https://cloud.video.taobao.com/play/u/null/p/1/e/6/t/1/437757941217.mp4

DataWorks Copilot产品演示

DataWorks Copilot提供了两种模型服务,第一种是基于公开数据集训练和微调的NL2SQL大模型,当前在阿里云DataWorks官网可以直接申请参与邀测。如果有的企业对我们的模型效果有更高的期待,或者希望Copilot能够回答更贴近企业内部业务,我们可以提供企业专属的模型微调服务,结合阿里云人工智能平台PAI以及大模型专家服务,可以为企业量身定制专属代码大模型以及私有化大模型部署服务。

云栖发布:DataWorks AI增强数据分析

企业在数据生产建设上投入这么多资源,最终希望是洞察数据中的业务价值,指导企业的经营、决策。传统的统计分析方法常常先假设一种统计模型,然后根据数据样本来估计模型参数,从而了解数据的特征,但实际中往往有很多数据并不符合假设的统计模型。探索性数据分析强调让数据自身“说话”,先对数据特征、统计量进行探索,然后再选取合适的模型进一步分析,这是一种更加贴合实际情况的分析方法。在AI时代,数据洞察也不断向智能化演进,AI增强分析利用AI技术,可以加速或者自动化数据探索与洞察,帮助分析师从手工数据探索中解放出来。AI技术还能更好地发现数据中隐藏的规律和趋势,帮助分析师进一步突破自身固有认知的局限。

DataWorks联合DataV数据可视化产品,深度结合AI技术,推出了AI增强分析产品。目前提供了四项核心能力:

  • 自动数据探查

自动探查数据集,无需专业技术背景即可快速了解数据特征、统计分布。

  • AI自动图表生成

基于自动数据探查的信息,自动生成数据图表卡片,结合AI技术,自动识别不同数据字段组合之间的相关性并生成图表,不需要你手动写很多SQL进行分析,可以帮助你快速获得灵感,保存见解。

  • AI智能数据查询

结合大模型技术,通过自然语言生成 SQL 查询数据,并自动为查询结果自动推荐和生成数据图表卡片。

  • 一键构建和分享数据报告

可以像制作PPT一样,将上面生成的数据图表卡片一键生成数据长图报告,支持导出为图片或者一键分享。

DataWorks AI增强分析,让数据自己“说话”,将数据洞察过程尽可能的自动化、无代码化,通过AI还能自动发现数据中的潜在趋势,讲好数据故事,表达数据观点。这款产品目前在公测当中,大家开通DataWorks后进入数据分析产品即可申请公测体验。

点击链接查看视频:https://cloud.video.taobao.com/play/u/null/p/1/e/6/t/1/438309479548.mp4

DataWorks 增强分析产品演示

云栖发布:DataWorks湖仓融合数据管理

随着市场的不断变化,企业业务也不断的发展,企业面临的竞争和不确定性也越来越大,数据需求从简单的查询、统计到BI到数据科学到推荐预测到AI应用,整体上从简单的固定查询统计到复杂多变灵活的智能化分析,相应企业数据架构也发生了变化,从数据库到数据仓库到数据湖,再到湖仓融合,整个演进过程是在追求更高的数据效率和更好更快的满足企业的各种灵活多变的数据需求。湖仓融合数据架构既兼顾数据仓库的规范性和企业级能力,又兼顾数据湖的灵活性和生态开放性,成为越来越多企业所关注的数据架构。

在这里插入图片描述

DataWorks当前全面支持湖仓融合的数据管理,在存储层,离线数据仓库MaxCompute和实时数据仓库Hologres以及数据湖存储OSS/OSS-HDFS,它们之间已经在存储层做了无缝的打通,不需要复制移动数据就可以进行数据的联邦查询。在这之上,DataWorks提供了统一的湖仓融合数据管理用户界面。

  • 实时数据秒级入湖

在数据集成上,DataWorks本身支持50多种异构数据源的离线、实时同步入仓。今年新增实时数据入湖的能力,实现数据秒级实时入湖,并且支持在数据同步过程中自动进行库表字段的更新,同时在这个过程中也能够进行元数据的自动发现和注册,借助DLF可以在DataWorks数据地图里进行湖仓统一的元数据管理。

  • 湖仓融合ETL开发调度

面向湖仓融合架构中多种计算引擎,如MaxCompute、Hologres、Spark、Hive、Presto等,提供了统一的ETL任务开发、任务编排调度和运维服务,实现统一的数据开发流水线,解决企业因数据架构不统一造成的数据生产链路割裂、不稳定等难以管理的问题。

  • 湖仓融合数据治理

DataWorks新增支持了湖仓融合数据治理。不仅能支持湖仓统一的元数据管理、数据建模和数据质量管理,而且DataWorks的主动式、自动化数据治理工具“DataWorks数据治理中心”也全面支持了EMR+OSS数据湖。

DataWorks数据治理中心,将成熟的数仓治理能力全面扩展到了EMR+OSS数据湖。为了简化湖仓架构下的数据治理难度,让数据治理不再是运动式的,而是能够真正可持续、可跟进、可落地,DataWorks数据治理中心,新增了“数据治理计划”功能,来协助用户完成主动式的数据治理规划和诊断。

数据治理计划内置了面向数据管理者的计算存储的成本治理、任务的稳定性治理等数据治理场景的模板,支持企业设置一个数据治理目标,提供多个维度的数据治理健康度的评估模型,帮助大家去评估数据治理的成效。

数据治理计划面向数据治理的执行者,提供60余项覆盖5个维度的治理规则库,结合设置的数据治理目标方向,数据治理产品可以自动推荐圈选和目标相关的数据治理问题,并且提供相应的治理手段和方法,帮助数据治理的执行者可以及时的发现问题解决问题。同时数据治理中心提供事前的问题拦截,在数据开发阶段可以事前发现很多的问题,比如代码规范问题,表明任务名命名规范问题,可以进行提前的拦截,这些事前拦截的插件和事后问题发现的插件都是允许支持企业自己定义。

数据治理应用:成本优化-无效任务自动化下线

随着企业业务的不断变化,企业人员变动,不可避免地会出现越来越多的无效数据任务,每天都在消耗着大量的计算成本和存储成本。传统的手动治理,需要依赖数据工程师人工分析判断,进行复杂的影响分析,还存在与相关被影响人员的沟通协同成本,极容易因不小心失误影响了线上任务造成故障,从而导致数据工程师因害怕出问题而对无效任务不敢治理,不愿治理。

DataWorks数据治理中心,提供了一项称之为“优雅下线”的产品功能,可对无效任务进行批量的流程化、自动化的下线治理。首先会自动进行任务下线的影响分析,然后将任务下线分解为延迟调度、暂停调度、下线任务、备份产出表、删除产出表五个步骤,每个步骤还提供一个静默期并自动通知相关责任人或者受影响人。整个过程类似于一种“灰度下线”机制,一旦出问题可以快速恢复,并将影响范围降到最低。

在这里插入图片描述

在阿里内部数据团队,原先治理下线一组涉及到30个责任人的1000个任务,从拉群拉会沟通,分析下线影响,制定下线计划,各自分别执行下线操作到结果跟进,要花费3-5个月时间。有了DataWorks数据治理中心的优雅下线功能,2天完成治理动作,1周完成影响观察,15天即可正式结项。DataWorks数据治理中心的优雅下线已经帮助阿里内部数仓团队成功下线了数万个无效任务,节省在大量的存储计算成本。

DataWorks数据治理中心已经在DataWorks企业版提供服务,近期也会推出企业版的试用活动,大家可以关注产品的官网信息。

在这里插入图片描述

从2009年诞生在阿里巴巴集团内部开始,DataWorks一直是一站式平台的倡导者与坚定执行者,包含从数据集成、数据开发的工具链、数据治理的工具链,以及到数据消费侧的分析及服务的产品,我们通过一站式平台不断为企业构建、沉淀企业的数据资产。在AI时代,DataWorks将14年积累的产品能力不断与大模型进行融合创新,为企业一站式智能化的数据平台产品,提升企业数据流转效率,加速企业数据价值获取。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/167651.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

文档明明在桌面上却不显示?5个方法轻松解决!

“我之前保存文档的时候明明选择保存在桌面,上次看的时候文件还在,但是今天打开电脑后发现我保存在桌面的文档不见了,这是为什么呢?还有机会找回我的文件吗?” 在日常使用电脑时,有些用户为了方便&#xff…

SAP权限设计简介

介绍 小技巧 -ERP 权限控制 繁中求简 , 闲聊一下 SAP 复杂权限设计的基本思想。 特别是适合大集团业务的 ERP 系统 , 应该提供一个非常完善的权限控制机制 , 甚至允许将权限控制字段细到字段级别,如果权限控制都做不到这点,估计产品销售就够呛&#x…

来聊聊阿里1688 /拼多多API接口接入| 让需求回到产品端

昨儿办公室讨论起了1688。 对,就是阿里搞批发的那个网站。 在上面,你可以买到各种各样价格低廉的产品,比如,办公用具、女孩子的皮筋、小孩子的玩具等等。 在小批量上,它和拼多多定价类似,但二者的赛道却不同…

物流实时数仓:采集通道搭建

系列文章目录 物流实时数仓:环境搭建 文章目录 系列文章目录前言一、环境准备1.前置环境2.hbase安装1.上传并解压2.配置环境变量3.拷贝jar包4.编写配置文件5.分发配置文件 3.Redis安装1.安装需要的编译环境2.上传并解压文件3.编译安装4.后台访问 4.ClickHouse安装5…

抽象类和接口

抽象类和接口 文章目录 抽象类和接口抽象类抽象类概念抽象类语法抽象类特性抽象类的作用 接口接口的概念语法规则接口使用接口特性接口类型是一种引用类型,但是不能直接new接口的对象接口中每一个方法都是public的抽象方法.接口中的方法是不能在接口中实现的&#x…

(亲测有效)VMware Windows虚拟机扩容

场景: VMware安装了一个windows系统,现在windows系统剩余空间不足,需要扩容。 解决步骤: 关闭虚拟机,状态如下: 2、点击编辑虚拟机设置-》扩展 3、输入最大磁盘大小-》点击扩展 4、等待成功后&#xff0c…

Python爬虫实战-批量爬取豆瓣电影排行信息

大家好,我是python222小锋老师。 近日锋哥又卷了一波Python实战课程-批量爬取豆瓣电影排行信息,主要是巩固下Python爬虫基础 视频版教程: Python爬虫实战-批量爬取豆瓣电影排行信息 视频教程_哔哩哔哩_bilibiliPython爬虫实战-批量爬取豆瓣…

光伏拉晶厂RFID智能化生产工序管理

一、项目背景 随着全球能源短缺和气候变暖的挑战日益突显,清洁能源已成为国内能源发展的主要目标之一,作为清洁能源的重要组成部分,光伏行业在过去几十年中取得了巨大的发展,成为我国的战略性新兴产业之一。在智能制造的大环境下…

Git 提交竟然还能这么用?

大家好,我是鱼皮。Git 是主流的代码版本控制系统,是团队协作开发中必不可少的工具。 之前已经给大家分享过 Git / GitHub 的学习指南,感兴趣的同学可以先看视频了解:https://www.bilibili.com/video/BV1KZ4y1e7cG。 这篇文章&am…

企业微信机器人定时发送图文信息,后续无需人工操作

企业微信群机器人是企业微信的内置功能,可以理解为是一个群提醒通知工具,接收数据并自动发送信息到企业微信群中。 数环通实现打通定时器和企业微信机器人的对接,定时执行自动化流程,无需人工干预,实现工作流程自动化&…

Thales安全解决方案:国家网络安全的关键

随着信息技术的飞速发展,网络安全问题日益凸显。在这个背景下,Thales安全解决方案正成为提高国家网络安全的关键。本文将探讨Thales安全解决方案如何为国家网络安全保驾护航。 一、Thales安全解决方案概述 Thales安全解决方案是一种全方位的网络安全防护…

《微信小程序开发从入门到实战》学习十八

3.3 开发创建投票页面 3.3.5 数据的双向传递 通过上一小节的代码和预览效果可以看到使用时间函数可以将视图层传递到逻辑层。 视图层数据由小程序管理,逻辑层通常保存在data对象,必须由开发者自己管理。 微信开发工具的AppData的面板可以实时查看到页…

使用 uWSGI 部署 Django 应用详解

概要 部署 Django 应用到生产环境是一个至关重要的步骤,其中选择合适的 WSGI 服务器对于确保应用的稳定性和性能至关重要。uWSGI 是一个流行的选择,它不仅高效、轻量,还非常灵活。本文将详细介绍如何使用 uWSGI 来部署 Django 应用&#xff…

【Linux】C文件系统详解(四)——磁盘的物理和抽象结构

文章目录 磁盘结构磁盘物理结构磁盘的具体物理结构磁盘结构的逻辑抽象 文件系统BootBlockSuperBlockGroupDescriptorTableinode tableDataBlocksinodeBitmapblockBitmaplinux中的inode 和文件名如何理解文件的增删查改删 补充细节1.如果文件误删了,我们该怎么办?2.inode确定分…

电脑监控软件都有哪些,哪款好用丨全网盘点

电脑监控软件是一种用于监视和控制计算机的软件工具,可以帮助企业和个人了解计算机的使用情况,保护数据安全,提高工作效率等。 电脑监控软件都有哪些: 1、域之盾软件 这是一款功能强大的电脑监控软件,可以实时监控电脑…

python绘图常见问题及解决方法总结

文章目录 1. 多个图片绘制到一起时出现title和xstick重合 1. 多个图片绘制到一起时出现title和xstick重合 fig, axes plt.subplots(6, 2, figsize(20, 40)) # Adjust the layout padding plt.subplots_adjust(hspace0.5, wspace0.4) # Plotting scatter plots for Tiu and ws_…

详解使用asyncio实现playwright并发操作(复制源码即可运行)

asyncio实现并发 我们可以使用asyncio来解决palywright中并发的问题,asyncio即Asynchronous I/O是python一个用来处理并发(concurrent)事件的包,是很多python异步架构的基础,多用于处理高并发网络请求方面的问题。给大家举一个经典的应用场景…

开源vs闭源大模型如何塑造技术的未来?开源模型的优劣势未来发展方向

开源vs闭源大模型如何塑造技术的未来?开源模型的优劣势&未来发展方向 写在最前面一、开源与闭源:定义与历史背景开源和闭源的定义开源大模型:社区驱动的创新 二、开源和闭源的优劣势比较开源大模型(瓶颈)数据&…

yolov8使用opencv2实时检测,两种物品,左上角显示信息

效果为: 左上角显示 帧率:FPS 序列号:SN 两种物品的检测数量和总数 可以应用于工业检测 import cv2 from ultralytics import YOLO from cv2 import getTickCount, getTickFrequency # 加载 YOLOv8 模型 model YOLO("weights/yolov8s.…

微信小程序云开发 微信支付功能 逻辑+踩坑

前置条件 首先开通微信支付商户号 然后小程序后台里关联商户号 然后在开发者工具里申请api权限 云开发》设置》其他设置》微信支付配置 申请一下权限和绑定 显示已通过即可。 逻辑 首先用户点击支付按钮,就会触发unlock() 在unlock函数中创建新订单&#xff…