note

• 这个工作收集了多模态游戏、机器人和医疗等领域的数据集，包括Minecraft视频数据、虚拟家庭环境数据和医疗图像数据。利用LLMs和VLMs作为智能体，特别是在游戏、机器人技术和医疗保健等领域
• 这篇论文提出了一种新的Agent AI框架，通过结合大型基础模型、多模态理解和人类反馈，实现了在多模态环境中的有效感知和行动。研究表明，Agent AI系统在多模态任务中展现出巨大的潜力，特别是在游戏、机器人和医疗等领域。未来的研究可以进一步探索如何通过持续学习和自我改进来提高Agent AI系统的性能和适应性。
• 分别针对多智能体游戏和智能体视觉语言任务提出了两个基准，发布两个新的数据集——“CuisineWorld”和“VideoAnalytica”的benchmark

一、研究背景

李飞飞团队

标题：AGENT AI: SURVEYING THE HORIZONS OF MULTIMODAL INTERACTION
作者：Zane Durante, Qiuyuan Huang, Naoki Wake, Ran Gong, Jae Sung Park, Bidipta Sarkar, Rohan Taori, Yusuke Noda, Demetri Terzopoulos, Yejin Choi, Katsushi Ikeuchi, Hoi Vo, Li Fei-Fei, Jianfeng Gao
单位：Stanford University; Microsoft Research, Redmond; University of California, Los Angeles; University of Washington; Microsoft Gaming
链接：https://arxiv.org/abs/2401.03568v2

• 研究问题：这篇文章要解决的问题是如何通过多模态人工智能（Agent AI）系统来感知和行动，特别是在物理和虚拟环境中。具体来说，研究了如何通过结合生成式AI和多个独立数据源来实现现实无关的训练，从而提高Agent AI在多模态理解方面的能力。
• 研究难点：
  • 如何在未见过的环境中进行有效的场景理解和生成；
  • 如何减少大型基础模型的幻觉和生成错误输出；
  • 如何通过外部知识、多感官输入和人类反馈来改进Agent AI系统。
• 相关工作：该问题的研究相关工作包括：大型语言模型（LLMs）和视觉语言模型（VLMs）在多模态任务中的应用；基于强化学习和模仿学习的交互式学习；以及跨模态和跨现实的Agent AI系统。

二、研究方法

1. 研究概览

这篇论文提出了一种新的Agent AI框架，用于解决多模态感知和行动的问题。具体来说，

• 无限Agent：首先，提出了一种无限Agent，它能够从通用基础模型（如GPT-X、DALL-E）中学习记忆信息，并将其转移到新领域或场景中，以实现场景理解、生成和交互编辑。
• Agent AI与大型基础模型：其次，探讨了Agent AI与大型基础模型的结合，特别是如何利用这些模型来生成条件化的人类动作，以响应语言和环境因素。讨论了大型基础模型在机器人操作和导航中的应用。
• 幻觉、偏见和包容性：此外，研究了大型基础模型在生成文本时可能出现的幻觉问题，并提出了减少幻觉的方法，如检索增强生成和外部知识检索。还讨论了Agent AI系统的偏见和包容性问题，并提出了相应的缓解措施。
  数据隐私和使用：探讨了Agent AI系统在处理、存储和潜在检索用户数据时的关键方面，包括数据收集、使用、存储和删除，以及数据可移植性和隐私政策。
• 解释性和可解释性：提出了通过解耦和泛化来提高Agent AI系统的解释性和可解释性的方法。具体来说，使用无限记忆Agent从专家数据中学习策略，并通过模仿学习来克服现有方法的缺点。
• 推理增强：讨论了通过数据丰富、算法增强和人类参与来增强Agent AI系统的推理能力的方法。
• 监管：提出了开发下一代AI赋能管道的方法，以促进人机协作系统的发展，并通过提示工程来约束LLMs/VLMs的操作。如下图所示，分为任务规划、演示（可以人工介入）、任务执行。

2. 智能体识别与图像相关的文本

使用智能体识别与图像相关的文本（从候选的文本池子中筛选和图像最相关的文本），在这个过程中整合了外部信息：

3. 智能体范式

智能体AI训练的新范式和框架。我们希望通过我们提出的框架实现几个目标：

• 利用现有的预训练模型和预训练策略，有效地引导我们的智能体，使其对重要模态（如文本或视觉输入）有有效的理解。
• 支持充分的长期任务规划能力。
• 整合一个框架，允许编码和检索学习到的知识。
• 允许环境反馈被用来有效地训练智能体采取哪些行动。

可以微调强化智能体在某些工具调用的能力，典型的智能体范式有五个部分：1）具有任务规划的环境感知，2）代理学习，3）记忆，4）一般代理动作预测和 5）认知：

LLM or VLM：

导航领域的应用：一个著名的例子是LM-Nav系统（Shah等人，2023a），它以新颖的方式整合了GPT-3和CLIP。它有效地使用由语言模型生成的文本地标，将它们锚定在机器人获取的图像中进行导航。这种方法展示了文本和视觉数据的无缝融合，显著增强了机器人导航的能力，同时保持了广泛的适用性。

三、Agent的应用

相关分类：“Generalist Agent Areas”

1. Primary Subject Topics：

   • Multimodal Agent AI：涉及多模态代理人工智能的主要主题。
   • General Agent AI：涉及通用代理人工智能的主要主题。

2. Secondary Subject Topics：

   • Embodied Agents：体现代理，指的是那些在物理世界或虚拟环境中具有身体表现的代理。
   • Action Agents：行动代理，指需要在模拟物理环境或现实世界中执行物理行动的代理。
   • Language-based Agents：基于语言的代理，指那些依赖于语言处理和生成的代理。
   • Vision & Language Agents：视觉与语言代理，涉及视觉和语言结合的代理。
   • Knowledge and Inference Agents：知识和推理代理，指那些能够进行知识推理的代理。
   • Agents for Gaming：游戏领域的代理，指在游戏环境中应用的代理。
   • Robotics：机器人技术领域的代理，指在机器人技术中应用的代理。
   • Healthcare：医疗保健领域的代理，指在医疗保健环境中应用的代理。

3. Extend Subject Topics：

   • Visual Navigation：视觉导航，涉及代理如何使用视觉信息进行导航。
   • Simulation Environments：模拟环境，指代理在模拟环境中的学习和应用。
   • Rearrangement：重新排列，可能涉及代理在环境中对物体进行重新排列的任务。
   • Agentic Foundation Models：代理基础模型，指构成代理智能基础的模型。
   • VR/AR/MR：虚拟现实/增强现实/混合现实，涉及这些技术中的代理应用。
   • Embodied Vision & Language：体现视觉与语言，指代理如何结合视觉和语言能力。

1. 游戏领域

比如NPC行为由agent发起、基于agent的游戏分析、游戏场景的合成。通过在Minecraft数据上进行预训练。如图7所示，给定一个输入动作智能体、视频的关键帧和相应的文本，可以采用标准编码器-解码器将智能体动作和图像转换为动作文本标记和图像补丁标记，然后使用智能体-视觉-语言解码器将其转换为动作预测句子。整体架构如图7所示。我们使用几个Minecraft演示来评估我们的方法。Minecraft视频数据由5分钟的片段组成，我们用于预训练的数据包含78K个视频，我们使用了5K个视频（占预训练数据的6%）进行第一轮预训练。我们在16个NVIDIA v100 GPU上训练了一个2.5亿参数的模型一天，并在图10和图11中可视化了我们的模型输出。图10显示了我们的相对小型智能体架构可以为在训练期间未见过的Minecraft场景产生合理的输出。图11显示了模型的预测与真实玩家动作的比较，表明我们的小型智能体模型具有潜在的低级理解能力。

上面是基于上下文的MindAgent框架：

• 规划和工具调用：规划、工具调用，生成游戏信息，将游戏相关的非结构化信息转为文本
• LLM：多智能体的调度“神经中枢”
• 记忆区：上下相关信息
• 动作抽取模块：抽取出动作指令，给NPC、游戏玩家等角色

2. 机器人领域

视觉运动控制。视觉运动控制指的是将视觉感知和运动动作整合到机器人系统中，以有效执行任务。这种整合至关重要，因为它使机器人能够解释来自环境的视觉数据，并相应地调整其运动动作以准确与环境交互。例如，在装配线上，配备视觉运动控制的机器人可以感知物体的位置和方向，并准确调整其操纵器与这些物体交互。这种能力对于确保机器人操作的精度和有效性至关重要，无论是在工业自动化还是协助老年人日常家务的各种应用中。此外，视觉运动控制在动态环境中适应变化时也是必不可少的，其中环境状态可能迅速变化，需要根据视觉反馈实时调整运动动作。

该管道由两个模块组成：任务规划和参数化。在任务规划中，系统输入语言指令和工作环境描述。这些指令以及一组预定义的机器人动作和输出规范被编译成一个综合提示，提供给ChatGPT，然后生成一系列分解任务及其文本描述（图13；左侧面板）。值得注意的是，我们采用了少样本方法，即ChatGPT没有在这项任务上进行训练，这在应用性方面提供了优势，因为它消除了硬件依赖的数据收集和模型训练的需要。此外，输出中的文本描述使用户能够检查并根据需要调整结果，这是安全和稳健操作的关键功能。图14显示了在VirtualHome（Puig等人，2018）上进行的代理模拟的定性结果。结果展示了合理的任务计划及其在调整输出方面的灵活性，表明了我们方法的广泛适用性。

3. 多模态智能体

视觉和语言理解的整合对于发展复杂的多模态AI智能体至关重要。这包括图像字幕、视觉问题回答、视频语言生成和视频理解等任务。多模态agent，如cogagent。

KAT模型（Knowledge Augmented Transformer）是一种结合了隐式知识和显式知识的多模态 Transformer 模型。它旨在处理需要超出图像内容之外知识的复杂视觉问题，特别是在视觉问答（Visual Question Answering）和视觉语言检索（Vision-Language Retrieval）任务中。

• KAT模型采用编码器-解码器结构，允许模型在生成答案时同时进行隐式和显式知识的推理。
• 端到端训练：KAT模型通过端到端训练，将从显式知识库检索到的知识条目和从GPT-3检索到的隐式知识整合在一起，以生成答案。

4. 用于NLP的智能体

确定了三个具体方向，以提高语言基础智能体的能力：

• 工具使用和知识库查询。这个方向强调将外部知识库、网络搜索或其他有用工具整合到AI智能体的推理过程中的重要性。通过利用来自各种来源的结构化和非结构化数据，智能体可以增强它们的理解并提供更准确和上下文感知的响应。此外，它培养了智能体在面对不熟悉的场景或查询时主动寻找信息的能力。示例包括Toolformer（Schick等人，2023）和Retrieve What You Need（Wang等人，2023g）。
• 改进智能体推理和规划。增强智能体的推理和规划能力对于有效的人类-智能体协作至关重要。这涉及开发能够理解复杂指令、推断用户意图和预测潜在未来场景的模型。这可以通过要求智能体反思过去的行为和失败来实现，如ReAct（Yao等人，2023a），或者通过将智能体的思维过程结构化为一种搜索（Yao等人，2023b）。通过模拟不同的结果并评估各种行动的后果，智能体可以做出更明智的上下文感知决策。
• 整合系统和人类反馈。AI智能体通常在两种主要环境中运行：提供关于它们行动有效性的明确信号的环境（系统反馈）和它们与可以提供口头批评的人类合作的环境（人类反馈）。这个方向强调了需要自适应学习机制，允许智能体根据多样化的反馈来源完善它们的策略并纠正错误，如AutoGen（Wu等人，2023）。能够不断从不同的反馈源学习和适应，确保智能体保持有用并对用户需求保持一致。

（1）通用LLM智能体

识别和理解智能体内容和自然语言是交互式AI和自然语言处理数十年来的基本挑战。随着深度学习的最新进展，人们越来越有兴趣联合研究这两个领域，以深入理解代理规划或人类反馈用于知识推理和自然语言生成。这些是许多人类-机器交互智能体的关键组成部分，如“AutoGen”（Wu等人，2023）和“Retrieve What You Need”（Wang等人，2023g）

（2）遵循指令的LLM智能体

创建能够有效遵循人类指令的LLM智能体已成为一个重要的研究领域。最初的模型使用人类反馈来训练代理奖励模型，以模拟人类偏好，通过一种称为强化学习与人类反馈（RLHF）的过程（Ouyang等人，2022）。这个过程产生了InstructGPT和ChatGPT等模型。为了在不需要人类标签的情况下更有效地训练遵循指令的LLM智能体，研究人员开发了一种更有效的指令调整方法，直接在指令/响应对上训练LLM智能体，这些对要么由人类生成，如Dolly 2.0 6，要么由LLMs如Alpaca（Taori等人，2023）自动生成。我们在图28中展示了Alpaca的整体训练流程。

四、智能体AI的持续自我改进

1. 基于人类的交互数据

使用基于人类的交互数据的核心思想是利用大量的智能体-人类交互来训练和改进智能体的未来迭代。有几种策略用于从人类-智能体交互中改进智能体。

• 额外的训练数据：使用人类-智能体交互作为未来智能体迭代的训练数据可能是最简单的用法。这通常需要过滤策略来区分成功的智能体示例和不成功的交互示例。过滤可以基于规则（例如，达到某个期望的最终目标状态）、基于模型（例如，将成功与不成功的交互分类）或在事后检查和/或修改交互示例后手动选择。
• 人类偏好学习：在与用户交互期间，智能体系统可以向用户提供几种不同的模型输出，并允许用户选择最符合他们偏好的输出。这通常由像ChatGPT和GPT-4这样的LLMs使用，用户可以从几个选项中选择一个最符合他们偏好的输出。
• 安全训练（红队）：在智能体AI的背景下，红队指的是有专门的对手团队（无论是人类还是计算机）寻求利用和暴露智能体AI系统中的弱点和漏洞。尽管本质上是对抗性的，红队通常用作了解如何改进AI安全措施和减少有害输出发生的手段。核心原则是发现一致的方法来诱导不需要的智能体输出，以便模型可以在明确纠正这种行为的数据上进行训练。

2. 基础模型生成的数据

随着学术界和工业界产生的强大的基础模型制品的出现，已经开发了各种方法，使用各种提示和数据配对技术从这些制品中提取和生成有意义的训练数据。

• LLM指令调整：从LLM生成指令遵循训练数据的方法允许根据较大专有LLM的输出对较小的开源模型进行微调（Wang等人，2022b）。例如，Alpaca（Taori等人，2023）和Vicuna（Zheng等人，2023）是基于开源LLaMA家族（Touvron等人，2023）的LLMs，它们已经在ChatGPT和人类参与者的各种输出上进行了调整。这种指令调整方法可以被视为一种知识蒸馏的形式，其中较大的LLM作为教师模型对学生模型进行教学。重要的是，尽管LLM指令调整已被证明可以将教师模型的写作风格和一些指令遵循能力转移到学生模型上，但在教师和学生模型的事实性和能力之间仍然存在显著差距（Gudibande等人，2023）。
• 视觉-语言对：最近的工作通过自动为视觉内容生成字幕和其他文本，寻求增加视觉-语言模型可用的预训练数据的多样性。例如，LLaVA（Liu等人，2023c）使用了150,000个主要由LLM生成的文本和视觉输入的指令遵循行为示例。其他研究表明，使用VLMs重新标注图像可以改善训练数据和随后的图像生成模型的质量（Segalis等人，2023）。在视频理解领域，使用VLMs和LLMs重新标注视频已被证明可以改善在重新标注视频上训练的VLMs的性能和质量（Wang等人，2023f；Zhao等人，2022）。

六、相关实验

• 数据收集：收集了多模态游戏、机器人和医疗等领域的数据集，包括Minecraft视频数据、虚拟家庭环境数据和医疗图像数据。
• 实验设计：设计了多个实验来评估Agent AI系统在不同任务中的表现。例如，在Minecraft游戏中，使用GPT-4V进行高层次动作描述和低级动作预测；在机器人导航中，使用视觉语言导航（VLN）技术进行跨模态匹配和自我监督模仿学习。
• 样本选择：在Minecraft游戏中，选择了78K个训练视频和5K个验证视频；在机器人导航中，使用了多个公开数据集进行评估。
• 参数配置：在Agent AI系统的训练中，使用了不同的优化算法和学习率调度策略，以确保模型的有效收敛和性能提升。

结果与分析：

• 多模态游戏：在Minecraft游戏中，GPT-4V能够生成合理的高层次动作描述，并在低级动作预测中表现出一定的准确性。具体来说，模型能够在未见过的场景中进行合理的动作规划和执行。
• 机器人导航：在视觉语言导航（VLN）任务中，提出的强化交叉模态匹配（RCM）方法在多个基准数据集上取得了显著的性能提升，特别是在SPL指标上提高了10%。
• 医疗图像分析：在医疗图像分析中，GPT-4V能够识别和描述医疗图像中的关键信息和临床活动，但在处理更具诊断性的查询时表现出一定的局限性。

七、智能体数据集和排行榜

为了加速这一领域的研究，我们提出了两个基准，分别用于多智能体游戏和智能视觉语言任务。我们将发布两个新数据集 - “CuisineWorld”和“VideoAnalytica” - 和一组基线模型，鼓励参与者探索新的模型、系统，并在我们的排行榜测试集上提交他们的结果。

1. “CuisineWorld”多智能体游戏数据集

CuisineWorld是一个类似于Overcooked!的基于文本的游戏，为AI驱动的智能体提供了一个合作和协同游戏的平台。该数据集将测试多智能体系统的协作效率，提供洞察LLMs和其他系统如何在动态场景中协同工作的能力。特别是，数据集将重点关注智能体理解目标的程度，以及智能体之间如何协调。该数据集支持两种模式：集中式调度器模式和分散模式。参与者可以选择游戏模式，并向我们的排行榜提交。

（1）基准

对于我们的比赛，我们将发布一个基准，即CuisineWorld基准，其中包括一个文本界面，包括可扩展的任务定义文件，以及多智能体交互和人机交互的接口。我们引入了游戏交互任务，目标是生成相关、适当的多智能体协作策略，以最大化协作效率。我们使用提出的评估指标CoS评估协作效率。

“CuisineWorld”数据集由微软、加州大学洛杉矶分校和斯坦福大学收集。比赛的目标是探索不同现有和新型基础LLM和交互技术在这一基准上的表现，并为多智能体游戏基础设施任务建立强大的基线。

CuisineWorld数据集包括：
一系列定义良好的多智能体协作任务。
一个API系统，以促进智能体之间的交互。
一个自动评估系统。

（2）任务

我们提供了一个名为Microsoft MindAgent的数据集和相关基准，并相应地发布了一个名为“CuisineWorld”的数据集给研究社区。

我们将提供基准，以评估和排名提交的“MindAgent”算法。我们还将提供使用流行的基础设施生成的基线结果。

（3）指标和评判

多智能体协作效率的质量由新的“cos”自动度量标准（来自MindAgent（Gong等人，2023a））确定。我们指标的最终评分是作为多智能体系统在所有任务上评估的协作效率度量标准的平均值计算的。人类评估员将被要求对单个响应进行评分，并提供对用户与智能体交互的参与度、广度和整体质量的主观判断。

（4）评估

自动化评估。我们计划在发布日期（TBA）发布排行榜，注册参与者将被要求提交与“CuisineWorld”数据集相关的任务的结果（我们公开发布的排行榜数据集）。结果提交将在结束日期（TBA）关闭。每个团队都需要在测试集上提交他们生成的结果，以自动评估“cos”度量标准。

排行榜上的人类评估。排行榜参与者需要提供由评估脚本本地生成的提交文件。我们将使用evalAI系统检查提交文件，并为顶级挑战者可选地重新运行代码。因此，团队还必须提交他们的代码以及一个Readme文件，说明如何运行他们的代码。人类评估将由组织团队执行。

获胜者公告。我们将宣布获胜者，并在我们的排行榜上发布提交的最终评分。

2. 音视频-语言预训练数据集

我们介绍了VideoAnalytica：一项新的基准测试，用于分析视频演示理解。VideoAnalytica专注于利用视频演示作为辅助，以更好地理解嵌入在长篇教学视频中的复杂、高级推理。目标是评估视频语言模型的认知推理能力，推动它们超越简单的识别任务和基本理解，朝着更复杂和微妙的视频理解发展。至关重要的是，VideoAnalytica强调整合多种模态，如音频、视频和语言，以及模型应用特定领域知识的能力，以情境化和解释视频中呈现的信息。具体来说，VideoAnalytica涉及两个主要任务：

• 视频文本检索：这项任务涉及从教学视频中准确检索相关文本。挑战在于区分相关信息和无关信息，因此需要对视频内容有深入的理解，并分析演示以检索正确的查询。为了进一步增加这些任务的复杂性，我们在数据集中引入了由大型语言模型生成的硬负例。我们对生成的负例进行了人类验证，并删除了使任务无效和不公平的实例（例如，负例是有效的）。
• 视频辅助信息性问答：这项任务要求模型基于从视频中提取的信息回答问题。重点是需要分析性推理和对视频演示的透彻理解的复杂问题。

为了促进音频-视频-语言代理分析视频理解的发展，我们为VideoAnalytica的两个任务引入了基准排行榜。

• 排行榜参与者需要提交他们的解决方案进行评估。评估将基于模型在两项任务上的表现，结果将显示在排行榜上。参与者需要提交他们的代码，并附有详细说明他们的方法和方法论。
• 伦理考虑：排行榜侧重于理解和解释视频内容，这可能潜在地用于监控或其他侵犯隐私的应用。因此，考虑技术的伦理影响和潜在滥用至关重要。我们鼓励参与者在提交中考虑这些方面，并促进AI的道德使用。

六、论文总结

• 多模态理解：论文提出了多模态代理AI（MAA）系统，能够在给定环境中基于多模态感官输入生成有效行动。
• 基础模型集成：探讨了如何将大型基础模型（如LLMs和VLMs）与代理AI框架集成，以增强其在物理或虚拟世界中的理解和生成能力。
• 无限代理模型：开发了能够从通用基础模型转移记忆信息的无限代理模型，使其能够在新颖领域或场景中进行场景理解、生成和交互编辑。
• 知识引导的协作生成：展示了知识引导的协作和交互场景生成方法，表明基于知识的LLM代理可以改善2D和3D场景理解、生成和编辑。
• 新兴能力：提出了一种混合现实与知识推理交互机制，促进了人类与代理在复杂现实世界环境中的协作任务解决。
• 统一的代理多模态变换器模型：提出了一种统一的端到端训练范式，用于训练多模态代理AI，简化了模型定制和优化过程。
• 多种应用领域的探索：详细讨论了代理AI在游戏、机器人、医疗等领域的应用，展示了其在不同场景下的潜力。
• 数据集和排行榜：发布了两个新的数据集（“CuisineWorld”和“VideoAnalytica”）和一个基准模型，鼓励参与者探索新模型、系统和提交结果。

七、QA环节

问题1：论文中提出的无限AI代理是如何实现从通用基础模型转移记忆信息的？

无限AI agent通过从通用基础模型（如GPT-X、DALL-E）转移记忆信息到新颖领域或场景，实现物理或虚拟世界中的场景理解、生成和交互编辑。具体来说，无限AI代理利用预训练的基础模型的强大知识库，通过迁移学习的方式，快速适应新领域的任务需求。这种方法使得代理能够在没有大量标注数据的情况下，仍然能够有效地处理和理解新领域的数据，从而实现高效的场景生成和交互编辑。

问题2：论文中提到的混合现实与知识推理交互机制是如何促进复杂真实世界环境中与人类协作任务解决的？

混合现实与知识推理交互机制通过结合人类的知识和AI的推理能力，促进复杂真实世界环境中与人类的协作任务解决。具体来说，该机制包括以下几个步骤：首先，AI代理通过多模态输入（如视觉、语言）收集环境信息；然后，利用预训练的基础模型对这些信息进行初步处理和分析；接着，AI代理将这些信息与人类提供的指导或反馈相结合，进行进一步的推理和规划；最后，AI代理根据推理结果执行相应的任务，并在执行过程中不断学习和调整策略，以适应用户的需求和环境的变化。这种机制使得AI代理能够在复杂环境中更好地理解和应对人类的任务需求，提高协作任务的解决效率。

问题3：论文中如何探讨大型基础模型在多模态理解中的局限性及其解决方案？

论文通过以下几个方面探讨大型基础模型在多模态理解中的局限性及其解决方案：

• 幻觉问题：大型基础模型在文本生成中常见的幻觉问题，可能导致生成的文本与实际情况不符。论文提出了使用检索增强生成和其他方法来减少幻觉，例如通过引入外部知识库来验证生成内容的真实性。
• 偏见和包容性：训练数据的偏见会导致模型的输出存在歧视性或不公平性。论文讨论了训练数据的偏见和包容性问题，并提出了多种缓解偏见的方法，如使用多样化和包容性的训练数据、检测和纠正模型中的偏见、制定和执行伦理准则等。
• 数据隐私和使用：AI代理处理用户数据时涉及隐私和安全问题。论文强调了数据收集、使用和目的、存储和安全性、数据删除和保留、数据可移植性和隐私政策等方面的重要性，并提出了相应的解决方案。通过这些方法，论文旨在提高大型基础模型在多模态理解中的准确性和可靠性，减少其局限性和潜在的风险。

Reference

[1] 多模态交互智能体(Agent)全面综述：定义、范式、学习、系统、分类、应用、评估
[2] AGENT AI: SURVEYING THE HORIZONS OF MULTIMODAL INTERACTI