AI多模态论文解读：LLaVA-CoT：让视觉语言模型逐步推理

本文作者：AIGCmagic社区猫先生

一、简介

LLaVA-CoT引入了四个不同的阶段（摘要、标题、推理和结论），使模型能够独立进行系统化的多阶段推理，显著提高了在推理密集型任务上的准确性。

编译了LLaVA-CoT-100k数据集，整合了来自各种视觉问答来源的样本，并提供了结构化的推理注释，为训练提供了丰富的数据支持。

提出一种新的推理时阶段级束搜索方法，能够在每个阶段生成多个候选结果并选择最佳结果继续生成过程，实现了有效的推理时扩展。

通过监督微调，LLaVA-CoT不仅在广泛的推理基准上超越了其基础模型，还超过了更大且闭源的模型，如Gemini-1.5-pro、GPT-4o-mini和Llama-3.2-90B-Vision-Instruct。

图1. LLaVA-CoT和其他模型在六个多模态推理基准测试中的性能。尽管LLaVA-CoT是从Llama-3.2-11B-Vision-Instruct模型中微调而来的（该模型的平均分数最低），但它胜过了许多更大的开源模型，甚至一些闭源模型

二、引言

大语言模型在推理能力上取得了显著进步，特别是在推理时间扩展方面，如OpenAI的o1所示。然而，当前的视觉语言模型（VLMs）往往难以进行系统和结构化的推理，尤其是在处理复杂的视觉问答任务时。

本文要解决的问题是如何提升视觉语言模型（VLMs）在处理复杂视觉问答任务时的系统性结构化推理能力。

现有的VLMs在推理过程中缺乏系统性和结构性，导致在复杂推理任务中频繁出现错误和幻觉输出；如何有效地进行推理时间扩展，以应对更复杂的任务和场景。

图2. 基线模型与LLaVA-CoT的比较。如图所示，基线模型Llama-3.2-11B-Vision-Instruct在推理过程中出现了明显的缺陷，多次出现错误。相比之下，LLaVA-CoT首先概述问题，从图像中解释相关信息，然后逐步进行推理过程，并最终得出一个得到充分支持的结论

三、方法概述

LLaVA-CoT（Let Vision Language Models Reason Step-by-Step），一种旨在通过多阶段推理来增强视觉语言模型（VLM）系统性和结构性推理能力的新模型。

（1）结构化推理阶段：LLaVA-CoT将答案生成过程分解为四个结构化推理阶段：总结、标题、推理和结论。每个阶段都有其独特的作用：

总结阶段：模型提供问题的高层次总结，概述将要解决的问题的主要方面。
标题阶段：如果存在图像，模型提供与问题相关的视觉元素的简洁概述，帮助理解多模态输入。
推理阶段：基于初始总结，模型进行结构化和逻辑推理，得出初步答案。
结论阶段：模型综合前面的推理，生成最终答案。

（2）数据准备和模型训练：为了训练LLaVA-CoT模型，作者构建了一个包含99k图像问答对的新数据集LLaVA-CoT-100k。该数据集通过使用GPT-4o生成详细的推理过程，并使用监督微调进行训练。具体步骤如下：

使用GPT-4o生成问题和图像的总结、标题、推理和结论。
过滤生成的数据以确保质量。
选择Llama-3.2-11B-Vision-Instruct作为基础模型，并在LLaVA-CoT-100k数据集上进行全参数微调。

图3. 生成LLaVA-CoT-100k数据集过程的流程。引导GPT-4o在各个阶段生成响应，并过滤其输出以确保质量

（3）推理时间扩展：为了进一步在推理过程中增强模型的推理能力，作者提出了一种新的阶段级束搜索方法。该方法在每个推理阶段生成多个候选结果，并选择最佳结果以继续生成过程。具体步骤如下：

在每个推理阶段随机采样N个响应。
随机选择2个响应，让模型决定哪个更好，并保留较好的响应。
重复上述步骤N-1次，保留最佳响应。
重复上述过程，直到所有阶段都处理完毕。

图4. 推理方法的示意图。最佳N次搜索生成N个完整响应，并从中选择最佳一个；句子级波束搜索为每个句子生成多个候选选项，并从中选择最佳一个。相比之下，我们的阶段级波束搜索为每个推理阶段（例如，摘要、标题、推理和结论）生成候选项，并在每个阶段选择最佳选项。最佳N次搜索在粗略层面上操作，而句子级波束搜索过于细致，我们的方法实现了最优平衡并取得了最佳性能