这篇论文介绍了一种名为DIFFUSEQ的新型扩散模型，专门针对序列到序列（SEQ2SEQ）文本生成任务进行设计。尽管扩散模型在视觉和音频等连续信号领域取得了成功，但在自然语言处理特别是条件生成方面的适应仍然未被广泛探索。通过广泛的评估，该研究发现DIFFUSEQ在众多SEQ2SEQ任务上，表现出与六个已建立基线模型相当甚至更好的性能，特别是在一种基于预训练语言模型的先进模型上。

此外，DIFFUSEQ在生成过程中显示出较高的多样性，这在许多SEQ2SEQ任务中是一个重要的特点。论文还包括了理论分析，揭示了DIFFUSEQ与自回归和非自回归模型之间的联系。通过结合理论分析与实证证据，研究展示了扩散模型在复杂条件语言生成任务中的巨大潜力。

论文亮点

Our proposed DiffuSeq as a conditional language model is trained end-to-end in a classifier-free manner.
提出的DiffuSeq作为条件语言模型，以无分类器的方式进行端到端训练。
We establish a theoretical connection among AR, NAR and DiffuSeq models (refer to our original paper).
建立了理论 AR，NAR和DiffuseQ模型之间的连接（请参阅我们的原始论文）。
DiffuSeq is a powerful model for text generation, matching or even surpassing competitive AR, iterative NAR, and large-PLMs on quality and diversity.
DiffuSeq是一个强大的文本模型 一代、匹配甚至超越竞品AR、迭代NAR， 以及大型 PLM 的质量和多样性。
Our study addresses promising achievements by such a new sequence-to-sequence learning paradigm.
研究解决了这种新的序列学习范式的有希望的成就。

提供的数据集

论文：https://arxiv.org/abs/2210.08933
项目代码：https://github.com/Shark-NLP/DiffuSeq