1 INTRODUCTION
视觉语言导航(VLN)[12-14]作为体现智能领域的一个重要研究方向,融合了人工智能、自然语言处理、计算机视觉和机器人技术。其目的是通过理解自然语言指令和解释视觉信息,使代理能够在虚拟和真实环境中导航[15-17]。这种方法不仅为更自然、更高效的人机交互铺平了道路,而且符合人类对人工智能未来发展的期望。如图1所示,VLN代理通常将视觉信息和语言指令作为输入进行处理,输出包括导航动作和对象识别,从而促进在复杂环境中的有效导航[18,19]。VLN的进步得到了计算机视觉和自然语言处理领域的进步的支持,特别是在对象分类[20]、对象检测[21]、语义分割[22]和大规模预训练的语言模型[23,24],为VLN开发提供了坚实的基础,并增强了代理在复杂环境中发挥作用的能力。
尽管技术取得了重大进步,但通过VLN实现内含智能仍然面临挑战。其中包括有效整合多模式信息,解决训练数据有限和泛化能力不足的问题。本文旨在深入探讨VLN在化身智能领域的研究现状和未来前景,全面分析VLN的基本原理、研究成果、核心机制和发展轨迹。它介绍了相关的数据集,并通过分析不同模型的架构、优势、局限性和评估指标来量化导航性能,总结了研究进展并展望了未来的发展方向。
2 PRELIMINARIES
VLN所需的关键技术主要包括计算机视觉、自然语言处理、机器人导航和视觉语言学习。
在计算机视觉领域,深度学习[40]的应用彻底改变了图像处理方式,从手动特征提取(如SIFT和HOG)转变为CNN引入的自