随着服务机器人在家庭情景中担任重要的角色，自然的人机交互成为影响用户满意度和人机共存舒适度的关键因素之一。如何在人机交互的过程中注重用户情感的识别、并在理解用户情感状态的基础上，让机器人在复杂多变的家庭环境中提供与情感相匹配的舒适度良好的服务，受到研究学者的广泛关注。由于人类情感的表达是一个复杂连续的过程，目前针对人类情感的识别重点逐渐从离散情感识别过渡到连续情感识别，同时单一模态的连续情感识别存在识别精度低、鲁棒性差的缺点，为了进一步提升情感识别的准确性，增强识别系统的鲁棒性，需要探索各模态之间的互补性，从而提升最终的情感识别质量。本文主要基于表情和语音在决策层融合的基础上对多模态情感识别展开研究，并针对复杂家庭场景下服务机器人的不确定性服务推理进行了探索和实验。本文主要研究工作由以下几部分构成:
　　(1)针对连续面部表情情感数据集稀少和异常视频帧的问题，提出了一种基于Gabor变换的面部表情识别方法。首先对原始表情视频进行分帧，然后利用所设计的卷积神经网络对表情视频帧进行人脸检测并使数据归一化。接着利用Gabor变换对处理后的视频帧进行情感特征的提取。最后借助深度学习算法实现面部表情的情感识别。
　　(2)为了提升语音连续情感识别的准确度，本文研究了基于迁移学习的语音情感识别方法，实现用户情感状态的识别。首先利用梅尔频率倒谱系数将一维语音信号转换为二维信号并完成情感特征的提取。然后对所提取的特征进行适当的裁剪。最后本文参考残差网络设计了适用于连续语音情感识别的迁移学习网络，实现连续语音情感识别。
　　(3)研究多模态融合情感识别。由于单模态的连续情感识别准确率提升有限，本文考虑到各模态之间的互补性，以表情和语音这两种信号作为多模态融合的研究对象，并分析比较多元线性回归和卡尔曼滤波两种决策层融合算法。最后在开放数据库上验证多模态融合的情感识别算法，实验结果体现出使用本文所提出的多模态融合方法优于单模态情感识别准确率。
　　(4)研究基于情感反馈的机器人服务任务不确定性推理方法。针对服务机器人的推理结果受到家庭情景中各种不确定性因素影响的问题，本文通过分析家庭情境中各因素对服务推理结果的影响，将多实体贝叶斯网络用于机器人任务推理，利用其概率图的特点，构建了包含不确定性信息的家庭情景模型，同时为了使所提供的服务更加人性化，将用户的情感状态加入到模型中，并结合联结树推理算法在复杂多变的家庭环境中实现服务机器人的不确定性服务任务推理。