随着社会老龄化发展,在家庭中以陪护老人为主的服务型机器人逐渐被广泛关注。这类机器人可以在一定程度上帮助老人完成类似取物、安保、定时送药等日常需求。针对这些任务,机器人应能在室内长期运行,自然地和人交互,理解人的语义命令并自主执行。这些功能需要机器人具备多层次环境感知能力,以获取所需的度量信息和语义信息。由于视觉方式获取的信息量丰富且价格低廉,本文主要研究基于视觉的服务机器人三维环境感知问题,具体包括以下四方面研究:机器人在室内长期运行时,需要通过重定位确定在地图中的全局位姿。为解决视角或光照变化时传统视觉特征匹配算法精度下降问题,提出基于图像相似度的卷积神经网络视觉重定位算法。通过对输入图像进行多次裁剪,筛选出与训练集图像相似度高的图像进行位姿回归。使用卷积神经网络全连接层特征向量度量裁剪图像与训练集图像的相似度,并筛选出高相似度的图像进行位姿回归。此外,针对该算法精度不足的问题,提出一种融合特征法和卷积神经网络的视觉重定位算法。使用视觉词袋模型在训练集中筛选最相似的图像并计算位姿,根据内点数量选择相应算法。该算法同时提升了机器人重定位的精度和鲁棒性。人们通常使用物体来描述空间环境以及表达语义任务,因此,借鉴这种环境感知方式,研究机器人对环境中物体的三维检测问题,提高机器人的认知能力。首先,探索了利用深度学习的检测算法,提出一种基于多通道卷积神经网络的三维物体检测算法,将彩色图像、深度图和俯视图通过三个通道的卷积神经网络结合在一起,提高了神经网络的感知能力。其次,研究基于多视角融合的三维物体检测算法,解决了机器人连续观测数据融合问题。该算法利用机器人实时视觉SLAM得到关键帧和位姿,融合多个视角进行增量式三维物体检测,提高物体检测精度。提出一个物体融合准则自动维护构建的物体数据库,并基于先验大小和体积比进行物体滤波,去除物体数据库中的异常尺寸和交叉物体。最终,实现了算法在服务机器人上的连续运行,可在大范围室内场景中进行物体检测和数据融合。机器人与人交互并自主作业时需要理解人们的语义信息,而当前的地图通常为几何的度量地图,缺少用于交互的语义。为解决这个问题,建立了一种基于三维物体的语义与度量融合层次化地图,用于机器人的视觉语义导航。该地图包括了物体语义地图和二维栅格地图,通过物体语义将人们的语言命令映射到栅格地图中,进而实现机器人的自主导航。将三维点云地图栅格化并投影到地面,生成栅格地图。然后,将三维物体地图与栅格地图融合,生成一种基于三维物体的层次化地图,包含了物体语义和几何度量信息,用于机器人的语义导航。该层次化地图可作为服务机器人面向语义任务的人机接口,使人、服务机器人和环境三者之间的直接交互成为可能。机器人使用度量地图导航时存在累计误差,而人在环境中运动时往往通过视觉获得导航信息,模仿这种认知模式,研究机器人的视觉语义感知问题。建立一种基于迁移学习的视觉语义感知模型,仅使用视觉信息实现机器人在室内多房间和走廊环境中的语义导航任务。采用视觉迁移学习方法,建立语义区域、转向区域和机器人位姿三种感知模型,分别用于确定机器人所处的语义区域、识别转弯区域位置和机器人相对环境的位姿信息,提供了导航的关键语义信息,降低了导航对地图精度依赖,并进行了实验验证。本文以室内环境下服务机器人执行作业为背景,为提高机器人对环境的感知能力,并以自然的方式与人进行交互,研究了服务机器人鲁棒视觉重定位、三维物体检测、层次化地图构建及视觉语义感知问题。实现了通过视觉方式将服务机器人、环境和人三者之间建立联系,提供了一种面向任务的人机交互模式,增强服务机器人执行语义任务的能力。