增强现实技术能够在真实环境中准确定位,将计算机产生的虚拟信息,叠加在用户所看到的真实世界景象上,实现对真实世界的信息扩展。增强现实技术有三个特点:虚实结合、实时交互、三维注册,已被广泛应用于多个领域。本文在增强现实场景下构建虚拟人物助手,为人们的日常室内生活提供帮助。增强现实技术的沉浸式三维显示效果使虚拟人物更加逼真生动。结合语音识别技术,让人通过语音与虚拟人物助手交互。通过HoloLens对周围环境的感知,实现室内导航,为虚拟人物提供运动路径。论文主要完成了以下工作:(1)研究了增强现实场景下的人机交互技术。分析了三维显示技术中光照模型及渲染过程,在着色器中实现多种特殊显示效果。基于HoloLens平台,开发了视线凝视、手势识别两种交互方式。开发了基于Azure云服务的中文语音识别与中文语义分析模块,扩展了HoloLens中文语音交互功能。(2)开发了增强现实环境下的室内导航功能。采用图片标识识别技术建立了环境全局坐标系,建立了其与HoloLens坐标系的关系。开发了基于HoloLens的三维环境实时建模模块。将环境模型体素化,判定并划分可行走区域,生成凸多边形导航网格。在导航网格上运用A*搜索算法,经过路径平滑后,最终生成可行路线。(3)研究了虚拟人物的建模与驱动技术,提出一种虚拟人物助手实现框架及关键技术。使用Kinect扫描人体并建立人体外观模型,通过修复、重新贴图提高了模型的准确性。建立了人体外观模型与骨骼连杆之间的匹配关系,完成外观与骨骼的绑定,研究了虚拟人物模型驱动与运动生成技术,实现了模型的拟人化运动。(4)提出了室内生活增强现实辅助系统框架,结合中文语音识别、室内导航与虚拟人物助手,搭建软硬件平台,开发了室内增强现实辅助系统。