ChatGPT落地场景探索-数据库与大模型

目录

openGauss介绍

openGauss介绍        

数据库与大模型

openGauss介绍

大模型与数据库

大模型为数据库带来的机遇

大模型解决数据库问题的挑战

数据库为大模型带来的价值

大模型+大模型的发展趋势

趋势产品:Chat2DB

简介

特性

生产应用:基于AI+数据驱动的慢查询索引推荐

模型训练

模型部署


openGauss介绍

openGauss介绍        

        本人有幸被CSDN、InfoQ邀请参加2023年“可信数据库发展大会”。本年度的分享聚焦“自主、创新、引领”,7月4号是主会场分享。本次大会由中国通信研究院牵头、中国通信标准化协会、大数据技术标准推进委员会、InfoQ极传媒牵头,清华大学、华为、阿里云、腾旭云、浪潮等等国内顶尖学术研究院企业共同参与分享的顶级学术盛宴。参与了大会也深切的感受到了国内顶级学府、研究院对于理论基础研究的深度和广度,以及国内顶级企业应用研究的成果,总之受益匪浅。

        下面是李国良教授关于数据库与大模型的分享,因为涉及到AIGC所以我当时就截图了,希望可以分享给更多的同学,大家一起知识共享。也感受一下国内顶级院校的独到知识熏陶。

清华大学计算机科学与技术系教授。主要研究方向为数据库,群体计算,数据挖掘、分析与检索。在数据库、数据挖掘、信息检索领域顶级会议和期刊上发表论文50余篇。获得了IEEE TCDE Early Career Award(IEEE 数据工程领域杰出新人奖)。

数据库与大模型

openGauss介绍

        openGauss是一个开源关系型数据库管理系统,随Mulan PSL v2一起发布。内核基于华为多年数据库领域经验打造,持续提供针对企业级场景的有竞争力的特性。下面是openGauss的官网。

openGauss,主打就是一个高性能、高可用、高安全、高智能,比我们平时说的软件的三高还多一个,最最主要的我觉得还是自主研发。教授也提到,Gauss已经获得海外很多企业的关注和使用。

大模型与数据库

        教授带来的大模型与数据的分享涵盖一下四个方面,PPT里都有描述我就不做文字翻译了,大家可以清晰的看到。

大模型为数据库带来的机遇

        LLM(大模型)为数据库带来的机遇有五点:索引推荐、物化视图推荐、智能负载管理、参数调优、基数优化。

大模型解决数据库问题的挑战

数据库为大模型带来的价值

大模型+大模型的发展趋势

趋势产品:Chat2DB

Chat2DB/README_CN.md at main · chat2db/Chat2DB · GitHub

简介

        Chat2DB 是一款有开源免费的多数据库客户端工具,支持windows、mac本地安装,也支持服务器端部署,web网页访问。和传统的数据库客户端软件Navicat、DBeaver 相比Chat2DB集成了AIGC的能力,能够将自然语言转换为SQL,也可以将SQL转换为自然语言,可以给出研发人员SQL的优化建议,极大的提升人员的效率,是AI时代数据库研发人员的利器,未来即使不懂SQL的运营业务也可以使用快速查询业务数据、生成报表能力。

特性

  1. AI智能助手,支持自然语言转SQL、SQL转自然语言、SQL优化建议
  2. SQL查询、AI查询和数据报表完美集成的一体化解决方案设计与实现
  3. 支持团队协作,研发无需知道线上数据库密码,解决企业数据库账号安全问题
  4. 强大的数据管理能力,支持数据表、视图、存储过程、函数、触发器、索引、序列、用户、角色、授权等管理
  5. 强大的扩展能力,目前已经支持MySQL、PostgreSQL、Oracle、SQLServer、ClickHouse、OceanBase、H2、SQLite等等,未来会支持更多的数据库
  6. 前端使用 Electron 开发,提供 Windows、Mac、Linux 客户端、网页版本一体化的解决方案
  7. 支持环境隔离、线上、日常数据权限分离

生产应用:基于AI+数据驱动的慢查询索引推荐

        前段时间美团也发表一篇文章,描述的是基于AI做的DB索引推荐,但是不是给予GPT是基于自己的算法所做的,思路也是比较好的,并且效果也挺好,在代价方法推荐索引的基础上,AI模型有额外12.16%的推荐索引被用户所采纳 。并且做了相关测试:这些额外补充的索引对于查询的改善情况如上图所示:上半部分展示了优化的查询执行次数,下半部分展示了查询在使用推荐的索引之后的执行时间以及减少的执行时间,这些索引总计约优化了52亿次的查询执行,减少了4632小时的执行时间。下面是文章地址,我这里就简单提一下关注的同学可以通过文章末尾的参考资料详细阅读原理。

        基于AI+数据驱动的索引推荐的整体架构如下图所示,主要分为两个部分:模型训练和模型部署。

模型训练

  1. 慢查询和被验证有效的推荐索引作为训练数据。我们生成每条查询的单列、两列和三列候选索引。
  2. 通过特征工程来为每个候选索引构建特征向量,使用索引数据来为特征向量打标签。
  3. 单列、两列和三列特征向量将分别用于训练单列、两列和三列索引推荐模型。

模型部署

  1. 针对需要推荐索引的慢查询,同样生成候选索引并构建特征向量。
  2. 我们使用分类模型来预测特征向量的标签,即预测出候选索引中的有效索引。
  3. 我们在采样库上创建模型预测出的有效索引,并通过实际执行查询来观察建立索引前后查询性能是否得到改善。只有当查询性能真正得到改善时,我们才会将索引推荐给用户。

参考资料:

基于AI+数据驱动的慢查询索引推荐 - 美团技术团队

Chat2DB/README_CN.md at main · chat2db/Chat2DB · GitHub

openGauss

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/36441.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

SpringBoot项目模块间通信的两种方式

说明:在微服务架构开发中,一个请求是通过模块之间的互相通信来完成的,如下面这个场景: 创建两个子模块:订单模块(端口8081)、用户模块(端口8082),两个模块之…

设计模式--------行为型模式

行为型模式 行为型模式用于描述程序在运行时复杂的流程控制,即描述多个类或对象之间怎样相互协作共同完成单个对象都无法单独完成的任务,它涉及算法与对象间职责的分配。 行为型模式分为类行为模式和对象行为模式,前者采用继承机制来在类间…

VSCODE VUE3 element-ui plaus 环境搭建

目录 一、VUE 1、安装VUE 2、创建项目 二、Element Plus 1、在项目目录中安装 Element Plus,执行 2、引入element 三、vscode 中运行 1、打开项目文件夹 2、点击debug,运行 1)、首次lanch chrome时 2)、lanch node.js …

MyCat2介绍以及部署和读写分离/分库分表(MyCat2.0)

一,MyCat入门 1.什么是mycat 官网:http://www.mycat.org.cn/​ mycat是数据库中间件 它可以干什么? 读写分离数据分片:垂直拆分,水平拆分多数据源整合 2.数据库中间件 ​ 中间件:是一类连接软件组件和…

十五、flex弹性元素的样式

目录&#xff1a; 1. 基本布局 2. 弹性元素的属性&#xff1a;flex-grow 3. 弹性元素的属性&#xff1a;flex-shrink 4. 弹性元素的属性&#xff1a;flex-basis 5. flex 统一设置这3个属性&#xff08;常用&#xff09; 6. order 一、基本布局 <style>*{margin: 0;paddin…

Arcgis之Python的Arcpy的点线面对象的创建处理和通过pandas读取txt中的经纬度坐标创建几何对象

前言 本节将介绍点线面对象的创建和处理。创建点对象有三个类&#xff0c;分别是Point、Multipoint、PointGeometry&#xff0c;创建线对象的类为Polyline&#xff0c;创建面对象的类为Polygon。 一、点对象的创建——Point 点对象经常与光标配合使用。点要素将返回单个点对…

抖音seo矩阵系统源码|需求文档编译说明(技术)

1.抖音seo矩阵系统文档开发流程 抖音SEO矩阵指的是一系列通过搜索引擎优化&#xff08;SEO&#xff09;技术和策略来提升抖音账号在搜索结果中排名的方法和工具。在抖音上&#xff0c;用户可以通过搜索关键词来查找与其相关的视频和账号。因此&#xff0c;抖音SEO矩阵的主要目…

Java阶段四Day11

Java阶段四Day11 文章目录 Java阶段四Day11Spring AOPElasticsearch1. 关于各种数据库的使用2. 关系型数据库中的索引3. 安装与启动elasticsearch4. 访问elasticsearch5. 使用elasticsearch分词6. elasticsearch文档的相关概念7. 使用elasticsearch添加数据7.1. 添加文档7.2. 查…

QT登录界面

1.效果图 2.代码 #include "widget.h" #include "ui_widget.h" #include <QApplication> #include <QWidget> #include <QtWidgets>Widget::Widget(QWidget *parent): QMainWindow(parent), ui(new Ui::Widget) {ui->setupUi(this);…

【CSS】浮动

&#x1f4dd;个人主页&#xff1a;爱吃炫迈 &#x1f48c;系列专栏&#xff1a;HTMLCSS &#x1f9d1;‍&#x1f4bb;座右铭&#xff1a;道阻且长&#xff0c;行则将至&#x1f497; 文章目录 浮动浮动的规则浮动的案例浮动的清除 浮动 float属性可以指定一个元素应沿其容器的…

deeplabv3+源码之慢慢解析 第二章datasets文件夹(1)voc.py--voc_cmap函数和download_extract函数

系列文章目录&#xff08;更新中&#xff09; 第一章deeplabv3源码之慢慢解析 根目录(1)main.py–get_argparser函数 第一章deeplabv3源码之慢慢解析 根目录(2)main.py–get_dataset函数 第一章deeplabv3源码之慢慢解析 根目录(3)main.py–validate函数 第一章deeplabv3源码之…

亚马逊云科技推出的一项完全托管的生成式AI服务——Amazon Bedrock

在全球生成式AI浪潮兴起之际&#xff0c;以“智联世界&#xff0c;生成未来”为主题的2023世界人工智能大会&#xff08;WAIC 2023&#xff09;于7月6日在上海世博中心拉开帷幕。大会首日&#xff0c;亚马逊云科技携生成式AI产品Amazon Bedrock亮相大会现场&#xff0c;亚马逊云…

Linux发行版Gentoo被发现有漏洞,在SQL注入方面存在安全风险

近日有消息表明&#xff0c;Gentoo Linux发行版中存在漏洞CVE-2023-28424&#xff0c;并且极有可能被黑客利用该漏洞进行SQL注入攻击。 据悉&#xff0c;研究人员从 GentooLinux的Soko搜索组件中找到了这个漏洞&#xff0c;并且该漏洞的CVSS风险评分为 9.1&#xff0c;属于特别…

使用Pytorch加载预训练模型及修改网络结构

Pytorch有自带的训练好的AlexNet、VGG、ResNet等网络架构。详见官网 1.加载预训练模型 import torch import torchvision import torch.nn as nn import torch.optim as optim import torch.nn.functional as F import torchvision.transforms as transforms import torchvis…

【QQ好友列表-设置HeaderView Objective-C语言】

一、咱们一起来看 刚才咱们是不是给大家说到 创建好模型了 是不是单元格,我们需要自定义单元格了 自定义单元格的步骤: 我相信大家现在脑子里,应该有那个代码的思路了吧 1)首先,是不是要新建一个类型啊 这个类型应该建在哪个里面 是不是应该建在我们的View里面 View…

linux常见指令下

接下来我们就聊聊linux的后面十条指令。 一:echo 作用是往显示器输出内容&#xff0c;和printf类型&#xff0c;但是该指令最核心的是与之相关的一些概念 概念1.输出重定向&#xff1a; echo不仅可以向显示打印内容&#xff0c;还可以向文件输出内容&#xff0c;本应该输出到…

图片视频抹除算法总结Inpaint

基本是从图片抹水印和视频抹水印两个方向 Video Inpainting&#xff1a;https://paperswithcode.com/task/video-inpaintingImage Inpainting&#xff1a;https://paperswithcode.com/task/image-inpainting 请根据目录查看 图片 Partial Conv 部分卷积层 源自于Image In…

人工智能时代如何加强网络安全

人工智能正在为软件开发人员赋予以前被认为难以想象的新能力。新的生成式人工智能可以提供复杂、功能齐全的应用程序、调试代码或使用简单的自然语言提示添加内嵌注释。 它已准备好以指数方式推进低代码自动化。但与此同时&#xff0c;新一代人工智能可能会为不良行为者提供帮…

vue中控制element表格列的显示与隐藏

背景 根据‘执行进度计算方式’的单选框里面的选项不同&#xff0c;展示不同的column 按最小制剂单位统计: 按含量统计: 实现方式 就是拿到选项框里面的值&#xff0c;再根据里面的值来判断哪些column显示和隐藏&#xff1b;关于显示和隐藏可以设置变量&#xff1b; <…

比对Excel数据

以a个为准绳比对b表数据&#xff0c;添加比对结果列输出。 (本笔记适合初通 Python 的 coder 翻阅) 【学习的细节是欢悦的历程】 Python 官网&#xff1a;https://www.python.org/ Free&#xff1a;大咖免费“圣经”教程《 python 完全自学教程》&#xff0c;不仅仅是基础那么…