论文：Evaluating the Text-to-SQL Capabilities of Large Language Models

⭐⭐⭐⭐

arXiv:2204.00498

一、论文速读

本论文尝试了多种 prompt 结构，并且评估了他们在 Codex 和 GPT-3 上的表现。下面介绍这些 prompt 结构：

二、不同的 prompt 结构

2.1 Question 类型

这种 prompt 不提供数据库信息，只是以 SQL 注释的形式提供了一个 question。

2.2 API Docs 类型

这种风格遵循了 Codex 文档中 Text2SQL 示例的风格，并且以不符合 SQLite 标准的注释风格包含 DB schema。

2.3 Select X 类型

以 Select 3 为例：

以注释的形式，给出了对每个 table 执行 SELECT * FROM T LIMIT X 的结果以及 table headers。

2.4 Create Table 类型

包含了每个 table 的 CREATE TABLE 命令，里面包含了 column type 和 foreign key 的声明。

2.5 Create Table + Select X 类型

这是上述两种 prompt 格式的组合。

2.6 Few-shot 类型

这种就是包含了几个 NL question 和 result 的 pairs 作为 few-shot demonstrations。

三、实验结果

3.1 Zero-shot 的结果

下表展示了不同模型大小在 Spider 上的比较结果：

可以看到，Codex davinci 版本表现最好，所以 Codex 为 Text2SQL 任务提供了强大的基准。

下表展示了在 Codex davinci 上设置不同的 prompt style 的表现：

这可以明显感觉到，prompt style 对性能至关重要：Question 类型的只有 8.3% 的执行精度，而在 API Docs 类型中引入 schema info 后，这一性能提升了 59.9%。

此外，在 SELECT X 的 style 中，可以观察到在添加更多 rows 时，性能的变化可以忽略不计。但在 CREATE TABLE + SELECT X 中，最好的是 3 rows，随着添加更多 rows，性能显著会下降。

3.2 Few-shots 的结果

在 Codex 上使用 few-shots 类型的 prompts，基于 Create Table + Select X 风格，在 n 个 question-query pairs 附加到输入上。

下图是在 GeoQuery 和 Scholar 两个数据集上，将微调的 T5 作为 baseline 的比较结果（横轴是 demonstrations 的个数）：

Codex 在 few samples 中比 T5 显示出更好的适应性，并超越了 T5 baseline。

四、结论

论文指出，在代码上训练的 LLM 为 Text2SQL 任务提供了强大的 baseline，论文中还对 error cases 做了分析。

论文也指出，与传统的基于微调小模型的少样本学习相比，用这些 LLM 进行基于 prompt 的 few-shot learning 表现出竞争力。