EMNLP 2023精选：Text-to-SQL任务的前沿进展（下篇）——Findings论文解读

导语

本文记录了今年的自然语言处理国际顶级会议EMNLP 2023中接收的所有与Text-to-SQL相关（通过搜索标题关键词查找得到，可能不全）的论文，共计12篇，包含5篇正会论文和7篇Findings论文，以下是对这些论文的略读，某几篇也有详细的笔记（见链接）。

由于篇数过多，分为两篇博客记录，本篇为第二篇，主要记录Findings论文：

序号类型标题
1MainBenchmarking and Improving Text-to-SQL Generation under Ambiguity
2MainEvaluating Cross-Domain Text-to-SQL Models and Benchmarks
3MainExploring Chain of Thought Style Prompting for Text-to-SQL
4MainInteractive Text-to-SQL Generation via Editable Step-by-Step Explanations
5MainNon-Programmers Can Label Programs Indirectly via Active Examples: A Case Study with Text-to-SQL
6FindingsBattle of the Large Language Models: Dolly vs LLaMA vs Vicuna vs Guanaco vs Bard vs ChatGPT - A Text-to-SQL Parsing Comparison
7FindingsEnhancing Few-shot Text-to-SQL Capabilities of Large Language Models: A Study on Prompt Design Strategies
8FindingsError Detection for Text-to-SQL Semantic Parsing
9FindingsReFSQL: A Retrieval-Augmentation Framework for Text-to-SQL Generation
10FindingsSelective Demonstrations for Cross-domain Text-to-SQL
11FindingsSemantic Decomposition of Question and SQL for Text-to-SQL Parsing
12FindingsSQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data

Findings

Battle of the Large Language Models: Dolly vs LLaMA vs Vicuna vs Guanaco vs Bard vs ChatGPT - A Text-to-SQL Parsing Comparison

  • 链接：https://arxiv.org/abs/2310.10190
  • 摘要：ChatGPT的成功引发了一场AI竞赛，研究人员致力于开发新的大型语言模型（LLMs），以匹敌或超越商业模型的语言理解和生成能力。近期，许多声称其性能接近GPT-3.5或GPT-4的模型通过各种指令调优方法出现了。作为文本到SQL解析的从业者，我们感谢他们对开源研究的宝贵贡献。然而，重要的是要带着审查意识去看待这些声明，并确定这些模型的实际有效性。因此，我们将六个流行的大型语言模型相互对比，系统评估它们在九个基准数据集上的文本到SQL解析能力，涵盖了五种不同的提示策略，包括零样本和少样本场景。遗憾的是，开源模型的性能远远低于像GPT-3.5这样的封闭源模型所取得的成绩，这凸显了进一步工作的需要，以弥合这些模型之间的性能差距。

image.png

  • 要点：本文对比了六种大型语言模型（包括ChatGPT、Dolly、LLaMA、Vicuna、Guanaco和Bard）在文本到SQL解析任务上的性能。尽管模型在生成语法正确的SQL语句方面表现出色，但在生成语义上仍有挑战。特别是，开源模型的表现普遍低于闭源模型。论文还指出，这些语言模型对少次学习中使用的示例非常敏感。

Enhancing Few-shot Text-to-SQL Capabilities of Large Language Models: A Study on Prompt Design Strategies

  • 链接：https://arxiv.org/abs/2305.12586
  • 摘要：上下文学习（ICL）作为一种新的方法应用于各种自然语言处理任务，利用大型语言模型（LLMs）基于补充了少量示例或特定任务指令的上下文来进行预测。在这篇论文中，我们旨在将这种方法扩展到使用结构化知识源的问答任务，并通过探索使用LLMs的各种提示设计策略来改进文本到SQL系统。我们对不同的示例选择方法和提示LLMs的最佳指令格式进行了系统性的研究。我们的方法涉及利用示例SQL查询的语法结构来检索示例，并证明了在示例选择中追求多样性和相似性会带来性能的提升。此外，我们展示了LLMs从与数据库相关的知识增强中受益。我们最有效的策略在Spider数据集上比最先进的系统高出2.5个百分点（执行准确率），比最佳微调系统高出5.1个百分点。这些结果凸显了我们的方法在适应文本到SQL任务中的有效性，并且我们对促成我们策略成功的因素进行了分析。

image.png

  • 要点：本文主要探索了ICL中的Few-shot示例的选取原则，作者提出应该使用SQL的表征进行kNN选择而不是问题的表征，通过一系列实验证明了该方法的优越性。
  • 笔记：LLM少样本示例的上下文学习在Text-to-SQL任务中的探索

Error Detection for Text-to-SQL Semantic Parsing

  • 链接：https://arxiv.org/abs/2305.13683
  • 摘要：尽管近年来文本到SQL语义解析取得了显著进展，但现有解析器的性能仍远非完美。与此同时，基于现代深度学习的文本到SQL解析器经常过于自信，因此在实际使用时对其可信度产生了怀疑。为此，我们提出建立一个独立于解析器的文本到SQL语义解析错误检测模型。所提出的模型基于预训练的代码语言模型，并通过图神经网络学习的结构特征进行增强。我们在跨领域环境中收集的真实解析错误上训练我们的模型。使用具有不同解码机制的三个强大的文本到SQL解析器进行的实验表明，我们的方法超越了依赖解析器的不确定性指标，并能有效地提高文本到SQL语义解析器的性能和可用性，无论它们的架构如何。

image.png

  • 要点：本文基于CodeBERT训练了一个独立于解析器的SQL语义检查器，可以用于Text-to-SQL系统交互式触发检测和输出beam的重排序。

ReFSQL: A Retrieval-Augmentation Framework for Text-to-SQL Generation

  • 链接：https://openreview.net/pdf/39418589877bfe8b6dae6abbd727bcdb81a46d15.pdf
  • 摘要：文本到SQL是将自然语言问题转换为SQL查询的任务。现有方法直接将自然语言与SQL语言对齐，并训练一个基于编码器-解码器的模型来适应所有问题。然而，它们低估了SQL的固有结构特征，以及特定结构知识与一般知识之间的差距。这导致生成的SQL中出现结构错误。为了解决上述挑战，我们提出了一个检索增强框架，即ReFSQL。它包含两个部分：结构增强检索器和生成器。结构增强检索器旨在以无监督的方式识别具有可比特定知识的样本。随后，我们将检索到的样本的SQL纳入输入，使模型能够获得类似SQL语法的先验知识。为了进一步弥合特定知识与一般知识之间的差距，我们提出了一种马哈拉诺比斯对比学习方法，该方法有助于将样本转移到由检索样本构建的特定知识分布。在五个数据集上的实验结果验证了我们的方法在提高文本到SQL生成的准确性和鲁棒性方面的有效性。我们的框架在与许多其他主干模型（包括11B flan-T5）结合时取得了改进的性能，并在与采用微调方法的现有方法进行比较时，也取得了最先进的性能。

image.png

  • 要点：提出使用检索式增强Text-to-SQL生成，并利用对比学习帮助解码器更好的学习到检索样本构建的特定知识分布。

Selective Demonstrations for Cross-domain Text-to-SQL

  • 链接：https://arxiv.org/abs/2310.06302
  • 摘要：具有上下文学习能力的大型语言模型（LLMs）在跨领域文本到SQL任务中展示了令人印象深刻的泛化能力，而无需使用领域内注释。然而，已发现纳入领域内的示例演示能大大提高LLMs的性能。在本文中，我们深入研究了领域内示例中对改善贡献的关键因素，并探索我们是否可以在不依赖领域内注释的情况下利用这些优势。基于我们的发现，我们提出了一个示例选择框架ODIS，该框架利用领域外示例和合成生成的领域内示例来构建演示。通过从混合来源检索演示，ODIS利用了两者的优势，与依赖单一数据源的基线方法相比，展示了其有效性。此外，ODIS在两个跨领域文本到SQL数据集上均超过了最先进的方法，执行准确率分别提高了1.1和11.8个百分点。

image.png

  • 要点：本文介绍了ODIS框架，这是一种新颖的Text-to-SQL方法，它结合了领域外示例和合成生成的领域内示例，以提升大型语言模型在In-context Learning中的性能。
  • 笔记：从领域外到领域内：LLM在Text-to-SQL任务中的演进之路

Semantic Decomposition of Question and SQL for Text-to-SQL Parsing

  • 链接：https://arxiv.org/pdf/2310.13575v1.pdf
  • 摘要：文本到SQL语义解析面临着泛化到跨领域和复杂查询的挑战。最近的研究采用了问题分解策略来增强复杂SQL查询的解析。然而，这种策略遇到了两个主要障碍：（1）现有数据集缺乏问题分解；（2）由于SQL的语法复杂性，大多数复杂查询无法分解为可以轻松重组的子查询。为了应对这些挑战，我们提出了一种新的模块化查询计划语言（QPL），它系统地将SQL查询分解为简单和规则的子查询。我们利用SQL服务器查询优化计划的分析，开发了从SQL到QPL的转换器，并用QPL程序增强了Spider数据集。实验结果表明，QPL的模块化特性有利于现有的语义解析架构，并且训练文本到QPL解析器比文本到SQL解析更有效，用于语义上等价的查询。
    QPL方法还提供了两个额外的优势：（1）QPL程序可以被释义为简单的问题，这使我们能够创建一个（复杂问题，分解问题）的数据集。在这个数据集上训练，我们获得了一个对数据库模式敏感的数据检索问题分解器。（2）对于复杂查询，QPL对非专家来说更容易访问，导致语义解析器的输出更具可解释性。

image.png

  • 要点：本文提出了一种叫做Query Plan Language (QPL)的语言，用来将复杂SQL语句分解为更加简单的子语句。QPL可以将复杂问题转述为简单问题，提供了一种复杂问题分解方案。同时，QPL对于非专家处理复杂查询更易于接近，使语义解析器的输出更易于理解。
  • 笔记：QPL：一种新型的Text-to-SQL任务中间表示形式

SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data

  • 链接：https://arxiv.org/abs/2311.02883
  • 摘要：文本到SQL旨在自动化从自然语言文本生成数据库SQL查询的过程。在这项工作中，我们提出了“SQLPrompt”，专门用于提高大型语言模型（LLMs）的文本到SQL的少样本提示能力。我们的方法包括创新的提示设计、基于执行的一致性解码策略（在其他SQL提议中选择执行结果最一致的SQL），以及一种旨在通过在一致性选择期间使用不同的提示设计（“MixPrompt”）和基础模型（“MixLLMs”）多样化SQL提议来提高性能的方法。我们展示了SQLPrompt在少量标注数据的上下文学习中超过了以前的方法，以大幅度提升，缩小了与使用数千个标注数据进行微调的最新技术的差距。

image.png

  • 要点：本文提出了SQLPrompt，通过创新的Prompt设计、基于执行一致性的解码策略，以及混合不同格式的Prompt和不同LLMs输出的方式，提高了LLM在Few-shot In-context Learning下的能力。
  • 笔记：论文笔记：SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/385140.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

英语语法之句法（一）

英语语法之句法（一）

英语语法可能是很多人童年的噩梦，笔者就是其中之一，从小学学到高中，这么多年从来没有理解过英语语法，什么谓语，非谓语，副词，状语，等等概念混淆在一起，傻傻分不清。本来以…
阅读更多...
JavaScript 事件循环：Event Loop

JavaScript 事件循环：Event Loop

🧑‍🎓 个人主页：《爱蹦跶的大A阿》 🔥当前正在更新专栏：《VUE》 、《JavaScript保姆级教程》、《krpano》、《krpano中文文档》 ​ ​ ✨ 前言 事件循环 是 web 开发中的一个核心概念，它是 JavaScript…
阅读更多...
MyBatis篇----第二篇

MyBatis篇----第二篇

系列文章目录 文章目录 系列文章目录前言一、MyBatis 框架适用场合二、MyBatis 与 Hibernate 有哪些不同？三、#{}和${}的区别是什么？四、当实体类中的属性名和表中的字段名不一样 ，怎么办？前言 前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一…
阅读更多...
VScode上无法运行TSC命令，Typescript

VScode上无法运行TSC命令，Typescript

如何解决问题 第一步：使用 winx 快捷键，会出现如下弹窗，鼠标左键单击Windows PowerShell 即可打开shell 第二步：运行 set-ExecutionPolicy RemoteSigned 命令，在询问更改执行策略的时候选择敲Y或者A 第三步&#xff…
阅读更多...
博途PI控制器(完整SCL代码)

博途PI控制器(完整SCL代码)

博途PID算法和SCL代码在PID专栏有详细介绍，这里作为参考补充和完善给出稍微不同的写法。给大家作为一个参考。增量式PID详细代码和算法公式可以参看下面链接文章： 博途增量式PID https://rxxw-control.blog.csdn.net/article/details/124363197https://rxxw-control.blog.c…
阅读更多...
产品交付双轮驱动思维模型下的思考的研发工具

产品交付双轮驱动思维模型下的思考的研发工具

一、产品交付双轮驱动思维模型 之前读过这样双轮驱动思维模型，其思维模型如下图所示，双轮驱动思维模型是一个产品价值交付模型，总的理念是以“真北业务价值”为导向，以“产品快速交付”为动力，将“业务价值”与“产品…
阅读更多...
【51单片机】串口（江科大）

【51单片机】串口（江科大）

8.1串口通信 1.串口介绍 2.硬件电路 3.电平标准 电平标准是数据1和数据0的表达方式,是传输线缆中人为规定的电压与数据的对应关系,串口常用的电平标准有如下三种: 电平标准是数据1和数据O的表达方式,是传输线缆中人为规定的电 压与数据的对应关系,串口常用的电平标准有如下…
阅读更多...
GO语言笔记4-标识符、关键字与运算符

GO语言笔记4-标识符、关键字与运算符

标识符 什么是标识符 变量名、方法名等我们起的名字都是标识符 标识符定义规则 字母、数字、下划线组成不可以数字开头，严格区分大小写，不能带有空格，不可以是go的关键字不能单独使用 下划线，因为下划线在GO中是一个特殊标识符&…
阅读更多...
Excel一键导入导出-EasyPOI

Excel一键导入导出-EasyPOI

EasyPOI是一款优秀的开源Java库，专为简化和优化Excel文件的导入导出操作而设计。下面，我会介绍EasyPOI在项目中使用EasyPOI，实现Excel文件的高效操作。帮助读者全面了解和掌握这一工具。 EasyPOI简介 官网： http://www.wupaas.co…
阅读更多...
Android实现底部导航栏方法（Navigation篇）

Android实现底部导航栏方法（Navigation篇）

Navigation实现底部导航栏 前言导入和基本使用导入基础使用创建nav文件编辑Nav文件添加页面（代码版）添加页面（图解版） 创建导航动作 action创建action（代码版）创建action（图解版） 编…
阅读更多...
【数据结构】链表OJ面试题3《判断是否有环》(题库+解析)

【数据结构】链表OJ面试题3《判断是否有环》(题库+解析)

1.前言 前五题在这http://t.csdnimg.cn/UeggB 后三题在这http://t.csdnimg.cn/gbohQ 记录每天的刷题，继续坚持！ 2.OJ题目训练 9. 给定一个链表，判断链表中是否有环。 力扣（LeetCode）官网 - 全球极客挚爱的技术成…
阅读更多...
算法沉淀——链表（leetcode真题剖析）

算法沉淀——链表（leetcode真题剖析）

算法沉淀——链表 01.两数相加02.两两交换链表中的节点03.重排链表04.合并 K 个升序链表05.K个一组翻转链表 链表常用技巧 1、画图->直观形象、便于理解 2、引入虚拟"头节点" 3、要学会定义辅助节点（比如双向链表的节点插入） 4、快慢双指针…
阅读更多...
树状菜单（利用映射-bootstrap+jQuery实现折叠功能）

树状菜单（利用映射-bootstrap+jQuery实现折叠功能）

效果&#xff08;默认全部展开&#xff09;&#xff1a; <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8" /><meta name"viewport" content"widthdevice-width, initial-scale1.0" /><…
阅读更多...
一、Docker部署MySQL

一、Docker部署MySQL

Docker部署MySQL 一、安装Docker二、拉取MySQL镜像1.选择拉取版本2.拉取镜像 三、启动MySQL1.确定好挂载目录2.启动3.查看是否启动4.开启远程访问权限 一、安装Docker 安装教程&#xff1a;https://qingsi.blog.csdn.net/article/details/131270071 二、拉取MySQL镜像 1.选择…
阅读更多...
【C语言】实现双向链表

【C语言】实现双向链表

目录 &#xff08;一&#xff09;头文件 &#xff08;二&#xff09; 功能实现 &#xff08;1&#xff09;初始化 &#xff08;2&#xff09;打印链表 &#xff08;3&#xff09; 头插与头删 &#xff08;4&#xff09;尾插与尾删 &#xff08;5&#xff09;指定位置之后…
阅读更多...
html的格式化标签和图片(img)标签

html的格式化标签和图片(img)标签

格式化标签 加粗: strong标签和b标签倾斜: em标签和i标签删除线: del标签和s标签下划线: ins标签和u标签 <strong>stong 加粗</strong><b>b 加粗</b><em>倾斜</em><i>倾斜</i><del>删除线</del><s>删除线…
阅读更多...
nodejs学习计划--（十）会话控制及https补充

nodejs学习计划--（十）会话控制及https补充

一、会话控制 1.介绍 所谓会话控制就是 对会话进行控制 HTTP 是一种无状态的协议&#xff0c;它没有办法区分多次的请求是否来自于同一个客户端&#xff0c; 无法区分用户 而产品中又大量存在的这样的需求&#xff0c;所以我们需要通过 会话控制 来解决该问题 常见的会话控制…
阅读更多...
论文阅读：GamutMLP A Lightweight MLP for Color Loss Recovery

论文阅读：GamutMLP A Lightweight MLP for Color Loss Recovery

这篇文章是关于色彩恢复的一项工作&#xff0c;发表在 CVPR2023&#xff0c;其中之一的作者是 Michael S. Brown&#xff0c;这个老师是加拿大 York 大学的&#xff0c;也是 ISP 领域的大牛&#xff0c;现在好像也在三星研究院担任兼职&#xff0c;这个老师做了很多这种类似的工…
阅读更多...
苹果Mac键盘如何将 F1 到 F12 取消按Fn

苹果Mac键盘如何将 F1 到 F12 取消按Fn

苹果电脑安装了Win10操作系统之后&#xff0c;F1到F12用不了怎么办的解决方法。本文将介绍一些解决方法&#xff0c;帮助您解决无法使用F1到F12功能键的问题。 使用 Mac系统的人都知道&#xff0c;Mac系统默认是没有开启 F1-F12 的使用的&#xff0c;平时我们使用的系统都可以使…
阅读更多...
线性时间非比较类排序之基数排序

线性时间非比较类排序之基数排序

基数排序 基数排序是桶排序的扩展&#xff0c;因此又称“桶子法”&#xff0c;它是通过键值的部分信息&#xff0c;将要排序的元素分配至某些“桶”中&#xff0c;以达到排序的作用。 1. 算法思想 将各元素按位数切割成不同的数字&#xff0c;然后分别根据每个位数的比较结果…
阅读更多...
最新文章

Copyright @ 2022~2023