MDPO: Conditional Preference Optimization for Multimodal Large Language Models

相关链接：arxiv
关键字：多模态、大型语言模型、偏好优化、条件偏好优化、幻觉减少

摘要

直接偏好优化（DPO）已被证明是大型语言模型（LLM）对齐的有效方法。近期的研究尝试将DPO应用于多模态场景，但发现难以实现一致的改进。通过比较实验，我们确定了多模态偏好优化中的无条件偏好问题，即模型在优化过程中忽略了图像条件。为了解决这个问题，我们提出了MDPO，这是一个多模态DPO目标，它通过同时优化图像偏好来防止过度优先考虑仅基于语言的偏好。此外，我们引入了一个奖励锚点，强制奖励对于选定的响应为正，从而避免了它们的似然度降低——这是相对偏好优化的一个内在问题。在不同大小的两个多模态LLM和三个广泛使用的基准测试上的实验表明，MDPO有效地解决了多模态偏好优化中的无条件偏好问题，并显著提高了模型性能，特别是在减少幻觉方面。

核心方法

MDPO（多模态直接偏好优化）提出了一种针对多模态场景的改进的偏好优化方法。核心方法包括以下几个关键点：

1. 条件偏好优化：通过引入新的偏好对来强调图像与响应之间的关系，解决模型在偏好数据中忽略视觉信息的问题。

2. 奖励锚点：通过正则化奖励为正，保持选定响应的似然度，避免在相对偏好优化中选定响应的似然度降低。

3. 多模态偏好数据：MDPO在优化过程中同时考虑视觉和语言特征，以确保模型能够基于图像和问题文本的条件学习响应偏好。

4. 实验验证：通过在不同规模的多模态LLM上进行实验，验证MDPO在减少幻觉和提高模型性能方面的有效性。

5. 性能提升：MDPO通过条件偏好优化和奖励锚点，显著提高了模型对图像的理解能力，并减少了模型响应中的语言偏差。

实验说明

实验使用了两个不同大小的多模态LLM（Bunny-v1.0-3B和LLaVA-v1.5-7B），并在三个广泛使用的基准测试（MMHalBench、Object HalBench和AMBER）上进行了评估。实验结果表明MDPO在多模态场景中的表现优于标准DPO，特别是在减少幻觉方面。

以下是实验结果的Markdown表格展示：

实验结果数据来源于论文中的实验部分，展示了MDPO在不同基准测试上的性能提升。数据要求反映了模型在减少幻觉和提高响应质量方面的表现。

结论

MDPO是一种针对多模态场景的偏好优化方法，它通过条件偏好优化和奖励锚点，有效地提高了多模态LLM的性能，并显著减少了幻觉。实验结果表明，MDPO在不同模型规模和数据规模上均能实现性能提升，证明了其在多模态偏好优化中的有效性和潜力。

整个论文的梳理保持了连贯性，并采用了技术性语言来描述方法和结果。对于深度学习的专业术语，如“大型语言模型（LLM）”和“直接偏好优化（DPO）”，保留了原文中的英文表述。