论文地址：https://arxiv.org/pdf/2408.15801v1
引言：信息过载时代的文本摘要需求
在信息爆炸的时代，如何从海量文本中快速提取关键信息成为了一项至关重要的技能。自动文本摘要技术应运而生，主要分为抽取式和生成式两种方法。生成式方法虽然能够生成灵活且富有创意的摘要，但常常面临事实不准确和幻觉问题，尤其在处理长文本时，这些问题更为突出。
相比之下，抽取式摘要通过直接从源文本中选择相关句子来生成摘要，能够更好地保证语法和事实的准确性。然而，传统的抽取式摘要方法多依赖于预训练的编码器模型，在处理长文本时存在一定的局限性。
EYEGLAXS：基于大语言模型的抽取式摘要框架
为了应对上述挑战，我们提出了EYEGLAXS（Easy Yet Efficient larGe LAnguage model for eXtractive Summarization）框架。该框架利用了大语言模型（LLMs）的强大能力，特别是LLAMA2-7B和ChatGLM2-6B，用于长文本的抽取式摘要。
图1：EYEGLAXS的整体框架。雪花标志表示权重冻结，火炬标志表示权重可训练。
EYEGLAXS的主要特点：
-
采用先进的注意力机制和参数高效微调技术：
- Flash Attention 2：有效降低了长序列处理的计算和内存需求，使得在单个A10 GPU卡上能够处理长达12,000个token的序列。
- LoRA（低秩适应）：通过训练少量额外的参数，显著降低了存储和计算成本，同时保持了与完全微调相当的性能。
-
解决位置偏差问题：
- 采用了旋转位置编码（RoPE），能够有效编码序列中token的绝对和相对位置信息，并具有扩展到任何序列长度的灵活性。
-
模型选择与微调：
- 选择了具有可扩展位置编码机制的LLMs，如LLAMA2和ChatGLM2，并使用LoRA进行微调，以确保模型在处理长序列时的效率和性能。
实验结果：超越现有方法的性能
我们在PubMed和arXiv这两个广泛使用的科学论文数据集上进行了实验，结果表明，EYEGLAXS在多个指标上均优于现有的抽取式摘要方法。
主要实验结果：
-
PubMed数据集：
- EYEGLAXS的ChatGLM2-6B (12K)变体在ROUGE-1、ROUGE-2和ROUGE-L指标上分别达到了50.17、24.41和45.66，超过了其他所有抽取式模型。
- 相比之下，传统的LexRank方法在ROUGE-1上仅为39.19。
图2：PubMed数据集上的ROUGE结果。 -
arXiv数据集：
- EYEGLAXS的LLAMA2-7B (12K)变体在ROUGE-1、ROUGE-2和ROUGE-L指标上分别达到了48.96、21.07和43.30，同样表现出色。
图3：arXiv数据集上的ROUGE结果。
训练数据量对性能的影响：
- 实验表明，训练数据量与模型性能之间存在正相关关系。
- 在使用不同比例的PubMed 4K数据集进行训练时，LLAMA2-7B LoRA (4K)在所有数据量下均表现出色，而ChatGLM2-6B (4K)在数据量增加时性能提升更为明显。
结论与展望
EYEGLAXS框架展示了大语言模型在长文本抽取式摘要任务中的巨大潜力，突破了传统方法的局限。然而，使用大语言模型也面临着计算资源需求高和微调限制等挑战。
未来研究方向：
- 集成滑动注意力机制：进一步优化长序列处理效率。
- 结合图神经网络或强化学习：提升模型在复杂文本结构上的表现。
- 探索更多应用场景：验证模型在不同领域和文本类型上的通用性。
附录：模型训练时间
| 模型 | 训练上下文长度 | 训练时间 (arXiv) | 训练时间 (PubMed) |
|---|---|---|---|
| CHATGLM2-6b | 4K | 8h 08m | 8h 06m |
| CHATGLM2-6b | 12K | 52h 54m | 31h 14m |
| LLAMA2-7b | 4K | 8h 36m | 8h 33m |
| LLAMA2-7b | 12K | 51h 35m | 32h 29m |
表1：不同模型在arXiv和PubMed数据集上的训练时间。
通过EYEGLAXS，我们看到了大语言模型在文本摘要领域的广阔前景。未来，随着技术的不断进步，文本摘要技术将更加智能、高效，为信息处理带来更多可能性。
参考资料：
- Mehdi Debiane Sanof, Lo Hemamou Sanof. “Scaling Up Summarization: Leveraging Large Language Models for Long Text Extractive Summarization” (2023).
