视觉语言导航是涉及视觉信息和语言信息的复杂多模态任务,导航智能体遵循语言指令引导,在视觉环境中移动,以到达指定目的地。视觉语言导航可以帮助机器人实现许多有价值的应用,如“室内家务”、“自动物流”及“消防救援”等。现有基于Transformer的视觉语言导航方法显著地提升可见环境的性能表现,但仍然存在不可见环境泛化表现不佳的问题。本文聚焦于提升导航智能体在不可见环境的泛化能力,对视觉语言导航方法展开研究,主要从策略网络架构和奖励设计机制两个角度对导航智能体模型进行改进,具体研究内容主要有以下几点:1.基于因果注意力的视觉语言对齐针对数据偏差误导模型学习虚假相关性、削弱泛化能力的问题,提出基于因果注意力的视觉语言对齐方法。该方法包括1)视觉语言对齐子网络。通过因果注意力Transformer单元,挖掘环境全景视觉和自然语言指令与导航动作之间的因果关系,推理符合因果效应的导航动作,提升模型的泛化能力。2)门控更新子网络。通过门控机制筛选关键时刻信息,为导航决策提供历史信息。该方法在公开数据集R2R和仿真平台Mattport3D上测试验证,与现有的基线模型相比,可见环境的准确率SR提升2.15%,不可见环境的准确率提升2.07%。2.基于自监督辅助任务的内在奖励生成针对视觉语言导航任务中环境反馈奖励模糊、无法为视觉语言对齐提供有效的监督信息的问题,提出基于自监督辅助任务的内在奖励生成方法。通过构造三种适用于Transformer为策略网络的自监督辅助任务,促进模型自发地归纳环境语义信息和导航决策机理,生成不依赖外部监督标签的内在奖励,为智能体提供额外训练信号,提升模型的学习速率和泛化能力。相较于现有基线模型,该方法在公开数据集R2R上可见环境和不可见环境的准确率SR分别提升5.58%和1.28%。3.室内视觉语言导航系统针对现实场景对于视觉语言导航的应用需求,设计系统总体架构和相关功能模块,结合Vue、Flask、Pymysql等开发框架,构建室内视觉语言导航系统。并调用本文提出的两种视觉语言导航方法实现导航功能。