目前执行繁琐单调服务任务(例如扫地机器人)的机器人技术已比较成熟,但是执行服务任务的智能化水平还有待提高。当机器人执行智能化的服务任务时,需要机器人对服务对象的环境行为进行理解后提供相应的服务,比如当服务对象旁边有书时,可以推断服务对象正在看书并提供倒水的舒适服务;当服务对象周边环境复杂时,机器人还需要依据环境空间的信息(例如存在障碍物或危险物品)为服务对象提供应急服务(通知服务对象停止活动或移开障碍物)。因此机器人在提供智能化服务任务时,简单的行为识别无法满足要求,必须对服务对象所处的环境进行环境空间语义理解。所以,研究室内环境下人体环境空间语义理解是完成智能化服务任务的关键。本课题对室内环境下服务对象的行为进行识别,并获取环境信息,构建包含服务对象行为和环境信息的人体环境语义逻辑空间,实现机器人自主推理服务任务。首先基于三维卷积神经网络实现人体行为的简单识别,并通过特征融合和三维卷积结构的改造,优化行为识别的效果。然后针对服务对象所处环境,通过视觉关系检测模型获取视觉关系,综合行为识别结果,构建基于知识图谱的人体环境语义逻辑空间,实现服务机器人对室内环境下人体环境空间的建模,依据人体环境语义逻辑空间实现任务推理。(1)基于三维卷积神经网络实现简单快速的行为识别,并通过网络结构优化与特征融合方法,提高行为识别的准确率。考虑到服务机器人的计算能力有限,选用结构较为简单、实时性能较好C3D网络作为特征提取网络进行行为识别。将通过C3D网络提取到的人体行为时空特征用于行为识别,实现人体行为的简单快速识别;然后基于Faster R-CNN对原始图像数据中人体的检测结果,提取只包含待识别对象的分割图像,再进行特征提取,随后将两次提取的时空特征用于行为识别,优化行为识别的结果。(2)优化三维卷积神经网络,提升实时性能。提出将三维卷积转化为伪三维卷积,伪三维卷积由一次二维卷积和一次一维卷积组成,降低三维卷积操作的计算量和卷积核参数数量。利用伪三维卷积操作替换网络模型中的部分三维卷积操作,达到了减少网络模型参数和计算成本的目的,进一步优化行为识别的效果,实时性能大大提升。(3)构建人体环境语义逻辑空间,深度理解服务对象的环境行为。针对服务机器人智能化的服务要求,深度理解服务对象的环境行为。基于现有视觉关系检测模型,获取服务对象所处环境的视觉关系,并结合行为识别结果,利用知识图谱构建人体环境语义逻辑空间,使用知识图谱的关系搜索和规则推理得到服务对象在人体环境空间下的深度行为,实现服务对象行为和环境的深度理解,实现服务机器人自主推理主动服务任务。本文提出的方法充分考虑了复杂环境对服务对象行为产生的影响,对室内环境下人体环境空间进行语义建模,对机器人更好的提供智能化服务任务具有重要意义。实验结果表明,本文所使用的行为识别算法具有良好的识别准确率和实时性能,本文所提出的人体环境语义逻辑空间可以通过行为识别和环境信息获取完成建模并用于自主服务推理,验证了本文方法的可行性和有效性。