论文标题

VTimeLLM: Empower LLM to Grasp Video Moments

VTimeLLM：赋能大语言模型理解视频片段

论文链接：

VTimeLLM: Empower LLM to Grasp Video Moments论文下载

论文作者

Bin Huang, Xin Wang, Hong Chen, Zihan Song, Wenwu Zhu (Tsinghua University)

内容简介

这篇论文提出了一种新型的视频语言模型 VTimeLLM，旨在提高大型语言模型（LLM）对视频中具体事件的细粒度理解和时间边界的感知能力。现有视频语言模型在描述视频时往往只能提供粗略的总结，无法准确捕捉特定事件的起止时间。

VTimeLLM 通过一种新颖的边界感知三阶段训练策略，显著提升了在时间相关视频理解任务中的表现，如时间视频定位和密集视频描述任务。此外，VTimeLLM 在视频对话基准测试中也表现出色，展示了其在跨模态理解和推理方面的优越能力。

关键点

1.问题背景：

现有的视频语言模型在理解视频内容时，无法准确捕捉特定事件的时间边界，导致在细粒度视频理解任务中表现不佳.

2.研究方法：

三阶段训练策略：

• 第一阶段：特征对齐：通过图像-文本对训练，将视觉特征与语言模型的语义空间对齐.
• 第二阶段：边界感知：设计单轮和多轮问答任务，利用大规模多事件视频-文本数据训练模型，增强其对时间边界的感知能力.
• 第三阶段：指令微调：创建高质量对话数据集进行指令微调，使模型更好地理解人类意图并进行精确的时间理解.

3.模型架构：

VTimeLLM 包括一个视觉编码器和一个视觉适配器，用于将视频信息转换为文本空间，以及一个定制的语言模型来理解文本和视频内容.

4.实验结果：

在时间视频定位和密集视频描述任务中，VTimeLLM 显著优于现有的视频语言模型.

在视频对话基准测试中，VTimeLLM 展示了其在跨模态理解和推理方面的优越能力，尤其是在细节描述方面取得了显著提升.

5.贡献：

提出了首个边界感知的视频语言模型 VTimeLLM.

提出了新颖的边界感知三阶段训练策略，有效提升了模型的时间理解能力.

通过广泛的实验验证了 VTimeLLM 在多种细粒度时间相关视频任务中的优越性能.

CV-LLM必读论文合集：

CV-LLM必读论文合集

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！

论文代码链接

GitHub - huangb23/VTimeLLM: [CVPR'2024 Highlight] Official PyTorch implementation of the paper "VTimeLLM: Empower LLM to Grasp Video Moments".