论文解读 | ECCV2024 AutoEval-Video：一个用于评估大型视觉-语言模型在开放式视频问答中的自动基准测试...

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

点击 阅读原文 观看作者讲解回放！

作者简介

陈修元，上海交通大学清源研究院硕士生

概述

总结来说，我们提出了一个新颖且具有挑战性的基准测试AutoEvalVideo，用于全面评估大型视觉-语言模型在开放式视频问答中的表现。AutoEvalVideo的全面性体现在两个方面：1) AutoEval-Video构建了跨越9个技能维度的开放式视频问题，涵盖了感知、理解和生成的能力；2) AutoEval-Video包含了新收集的视频，覆盖了超过40个不同的主题。为了高效评估对开放式问题的回应，我们采用了基于大型语言模型（LLM）的评估方法，但与仅仅提供参考答案不同，我们为每一个实例（视频-问题对）标注了独特的评估规则。为了最大化这些规则的鲁棒性，我们开发了一种新颖的对抗性标注机制。通过使用特定实例规则作为提示，GPT-4作为一个自动评估器，能够实现大约97.0%的稳定评估准确率，与人类评估者94.9% - 97.5%的准确率相当。此外，我们在AutoEval-Video上评估了十一个大型视觉-语言模型的性能。其中，GPT-4V（视觉）显著优于其他模型，达到了32.2%的准确率。然而，与人类72.8%的准确率相比，仍有相当大的提升空间。通过进行广泛的案例研究，我们揭示了GPT4V的几个缺点，例如时间理解和跨帧理解能力有限，以及回应不够切题等。

论文地址：https://arxiv.org/abs/2311.14906

代码链接：https://github.com/XiuyuanChen/AutoEval-Video

Research Background

本文首先探讨了大型模型从文本单模态到视频多模态的发展历程。通过以人与大模型对话的形式呈现的图像，清晰地展示了多模态模型的演变。从图中可以观察到，信息交流从单一的文本模态逐步扩展至图片模态，最终发展到可以进行视频交互。

目前，大多数研究工作集中在图片和文本这两个模态上。然而，随着抖音、B站和YouTube等短视频平台的兴起，仅依靠图片模态传递的信息开始显得相对有限。这促使了对视频内容深入理解的模型的发展，使得这些模型能够与人类就视频内容进行文字交互，并提供相应的回应。

为了评估视频理解模型对视频内容的理解程度，可以通过视频问答形式来进行，这也成为了评测这类模型能力的主要方法。

在该任务中，出现了诸如 MSRVTTQA、TGIFQA 等众多视频数据集。然而，这些数据集存在一些不足。首先，它们提出的问题的任务维度具有局限性。其次，这些数据集的问答任务大多采用多选题形式，有些数据集的问题与视频甚至采用了预设的模板和剧本。

多选题形式因答案固定，便于使用如准确率这样的定量指标来评估模型表现，从而避免了对开放式回答的评测。然而，这种形式对于生成式视频理解模型的输出格式不太友好。在多选题场景下，非生成式模型可以把任务视为分类任务，即在所有候选答案中输出概率分布并选择最符合的选项。这种做法在一定程度上简化了视频问答任务。例如，在包含 ABCD 四个选项的单选题中，随机选择的答对概率为四分之一。

理想情况下，模型应该能够像与人类交谈的机器人一样回答问题。因此，从适用性角度出发，应将任务框架从多选题转变为单选题或简答题格式，要求模型以简明的话语回答问题，而非从多个候选答案中选择。这是当前视频评测机制存在的主要问题之一。

另一个问题在于，如 DeepMind 的 Perception Test 数据集，其在标注数据时采用的视频和问题具有预设的脚本或模板。具体操作是先划分任务维度，再根据任务维度制定问题模板和视频剧本，有目的地构造数据。然而，这种方法并不适宜，因为在全面评测视频理解能力时，问题的提出方式和视频内容应该是多样化的，而非格式化和受限的。

Motivation

正如前面所讨论的，现有研究工作中存在的主要问题可以分为三类：任务维度划分过于简单、采用多选题的任务形式、以及问题和视频的模板化。然而，其中最关键的问题是如何有效地评测开放式回答。

在对视频内容的简答题进行评分时，评卷老师拥有一份参考答案，但学生提交的答案往往千差万别，这使得量化评分变得复杂。在此情境中，评分通常依赖于详尽的评分准则，其中明确列出了关键的得分点和分数分配方式。

受到这种评分模式的启发，本文希望构建一套基于详细评分规则的评测体系，并让大型语言模型（LLM）扮演评判的角色。这样的评测体系将允许对模型生成的开放式答案进行更精确和公正的评估。通过设定明确的评分准则和得分点，LLM将能够评估答案的质量，从而提高评分的一致性和可靠性。

AutoEval-Video

在AutoEval-Video的标志性工作中，作者首先根据对推理能力的要求划分出九个评测维度。这些任务维度进一步被分类为三种类型：感知、认知和生成。

感知类任务主要考察模型对视频中基本信息的识别和提取能力；认知类任务在感知的基础上要求模型进行更深层次的推理和思考，包括时间空间推理、因果推理等；生成类任务期望模型能够根据给定的视频内容和指令生成描述性文本或广告词等。

为了实现这些任务维度的有效评测，本工作会训练专门的人员，使他们能够根据这些维度平衡地提出问题，并从YouTube等平台寻找合适的视频素材进行标注。

AutoEval-Video的评测流程和数据样例如图所示。流程本身相当简洁：每条数据包括一个视频、一个相关问题，以及一个对应的评判规则。模型需要根据视频内容回答问题，其提供的答案随后将与评判规则一同输入到大型语言模型（LLM）中进行评估。在这个实验中，使用的是目前最先进的LLM，即GPT-4，它作为评判机制，能够基于提供的输入给出判断依据和结论。

AutoEval-Video的视频素材来源于YouTube，标注人员根据自身的想象力并遵循特定的任务要求来构造问题。展示的数据包括文字标注、视频长度及内容主题的分布等统计特征。

种类繁多的网络视频使得AutoEval-Video的主题分布显得尤为多样化。这些视频主要包括运动记录、Vlog、生活记录等内容。此外，还涵盖了交通记录视频、游戏实况、直播等多种类型，为模型提供了丰富的场景和背景，以便进行更全面和深入的视频内容理解和分析。

Piplines of Rules Annotation

本项目采用的规则标准流程较之前的工作拥有更细化的规则设置。在GPT工具中，评分系统通常基于统一的情节，即给定一段描述，GPT根据自身模型回答并提供参考答案，评分则从语句通顺性或语法错误等角度进行主观量化，评分范围为0到5分。而AutoEval-Video则将规则细化到每个样本点，具体地，每个样本都会单独构造规则，包括视频描述、问题本身及裁分点，以及对GPT返回格式的具体约束。

为确保GPT根据这些规则给出的判断既公平又客观，本文引入了对抗性标注机制。具体操作如AutoEval-Video所述，规则制定团队负责维护和更新规则，并引入另一标注团队作为“攻击团队”，该团队会根据旧规则编写可能引发GPT误判的答案。所谓“误判”是指答案在规则设定的场景下GPT判断结论与人类判断结果不一致的情况，这类答案被称为“有效攻击答案”。通过攻击答案的提出，激励规则得以不断更新。整个过程在攻击和规则更新中循环进行，最终形成一套完备、客观公平且具有说服力的规则体系。

此外，作者还设立了奖励机制，以激励两队人员在标注过程中保持积极主动性，并维护标注工作的对抗性竞争性，确保标注过程的质量和效率。

Experiment on AutoEval-Video

下面呈现的是该平台上对几个状态最先进模型（Sota模型）的评测结果，其中包括了相应的case study。

在实验结果的展示中，左边的表格展示了几个Sota模型在AutoEval-Video上的评测结果，显示出GPT-4V在视频理解方面的性能远超其他模型。然而，与人类的表现相比，GPT-4V仍然有较大的提升空间。

右边的表格则展示了在三种不同配置下的消融实验结果：统一提示、使用初始规则进行判断，以及在对抗性迭代后使用更新规则进行判断。在这三种配置下，GPT-4V的判断准确率几乎可以与普通人的判断能力相媲美，而判断结果的Ground Truth是通过人类标记者的投票产生的。

这些实验结果展示了AutoEval-Video在自动视频评测领域的潜力，表明通过精细化的规则和适当的配置，LLM的判断能力可以接近甚至达到人类水平。

Case Study

除了量化实验结果之外，作者还对包括GPT-4V在内的多模态模型进行了深入的案例研究。结果表明，尽管GPT-4V在多模态处理方面具有先进的能力，但在处理多帧连续信息、理解时序特征以及物体运动等方面的表现仍有待改进。特别是，该模型在处理视频内容时，其输出往往显得冗长且不够简练。

在评估其他多模态模型时，作者发现它们普遍存在几个关键问题：首先是幻觉问题，其次是输出语序的混乱。幻觉问题的具体表现在于模型有时会为其错误的答案编造自我解释，从而创造出视频中实际不存在的视觉信息。这导致模型的输出与视频内容不符，损害了结果的可靠性和准确性。而对于输出中出现乱码以及语序混乱的问题，作者认为是被评测模型本身所用到的LLM语言能力不足所导致的。