每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

生成式 AI、超大型语言模型、视觉模型和多模态模型的突破，为开放领域知识、推理和生成能力奠定了基础，能够支持开放式任务辅助场景。这不仅包括生成相关指令和内容，还为构建能与人类在现实世界中合作的 AI 系统提供了起点。这类应用包括混合现实任务助手、交互机器人、智能制造工厂、自动驾驶车辆等。

为了与人类无缝合作，AI 系统必须能够在多模态流中持续感知和推理其周围环境。这一要求不仅限于目标检测和追踪。为了实现有效的团队合作，所有参与者都必须了解物体的潜在功能、它们之间的关系、空间限制，以及这些因素随时间的变化。

这些系统不仅需要对物理世界进行推理，还需要理解人类行为。推理中应包括对实时协作行为的认知状态和社会规范的判断，并且还需涵盖对身体姿势、声音和动作的低级判断。

借助混合现实和 AI 技术（如大型语言和视觉模型）的组合，微软研究院推出了 SIGMA。这款互动程序可使用 HoloLens 2 指导用户完成流程任务。任务可以由大型语言模型（如 GPT-4）或任务库中手动定义的阶段动态生成。当用户在互动过程中提出开放式问题时，SIGMA 可以利用其强大的语言模型提供答案。此外，SIGMA 可以利用 Detic 和 SEEM 等视觉模型，在用户视野中定位并突出显示与任务相关的物体。

SIGMA 选择了几种设计方式来实现其研究目标。一个例子是客户端-服务器架构。HoloLens 2 设备运行轻量级客户端应用程序，将多个多模态数据流传输到更强大的桌面服务器。这些数据流包括 RGB（红、绿、蓝）、深度、音频、头部、手部和视线追踪信息。桌面服务器将数据和指令传送给客户端应用程序，以便在设备上显示内容，并执行应用程序的基本功能。通过这种设计，研究人员能够超越头戴设备当前的计算限制，并为将该程序扩展到其他混合现实设备打开了可能性。

SIGMA 的基础是名为 Platform for Situated Intelligence（psi）的开源架构，该架构支持多模态综合性 AI 系统的开发和研究。psi 框架提供高性能流媒体和日志基础设施，并允许快速原型制作。数据重放基础设施使数据驱动的应用级开发和调试成为可能。Platform for Situated Intelligence Studio 提供了丰富的可视化、调试、优化和维护支持。

虽然 SIGMA 目前的功能还不够完善，但它为未来混合现实与人工智能融合的研究奠定了基础。许多研究主题，特别是感知，可以使用收集的数据集进行探索，这些问题包括计算机视觉和语音识别。

SIGMA 是微软对该领域持续投入的一个例子，也是该公司探索新型人工智能和混合现实技术的代表。Dynamics 365 Guides 是微软为一线员工提供的另一款企业级混合现实解决方案。客户可以在 Copilot in Dynamics 365 Guides 中使用私有预览功能，获得逐步操作指导和工作流程相关信息。AI 和混合现实相结合，让这成为可能。Dynamics 365 Guides 为一线员工提供了强大的工具，可以在复杂操作中受益。

通过公开该系统，研究人员希望能帮助其他研究者解决构建全栈交互应用的基础工程任务负担，以便他们能够专注于本领域的新兴研究。

SIGMA: An open-source mixed-reality system for research on physical task assistance - Microsoft Research