随着智能机器人技术的不断发展,应用领域的不断扩大,人机交互任务也日趋复杂。利用情感识别模型,赋予机器人类人的情感认知能力,可以实现高效、自然、和谐的智能人机交互。情感识别模型性能涉及运算量、识别率等多个指标,在建模过程中,如特征工程、模型分析与模型融合等,都涉及多通道信息的融合问题。因此,开展基于加权融合策略的情感识别建模方法研究,以提高模型的识别率,具有重要的理论意义和工程价值。本文以情感识别模型作为研究对象,提高模型识别率作为研究目标,开展基于加权融合策略的情感识别建模方法研究。考虑人体情感信息类型和情感特征的多样性,根据模型对正确率和运算量的要求,针对建模过程中的特征级融合、模型级融合、决策级融合以及权重确定方法等关键技术进行深入的研究,本文的主要工作如下。1)基于面部图像特征级融合的表情识别。凭借面部结构与心理学方面的研究结果与经验,选择与面部表情密切相关的眼睛、眉毛、嘴巴及周边部位的特征点,利用其二维坐标得到几何特征。凭借以深度学习为突破点的纯数据驱动的特征学习算法,构建一个多层的卷积神经网络,让机器自主地从样本数据中逐层地学习,得到表征样本更加本质的深度特征。根据表情识别模型的特点,引入特征级融合,线性串联两种特征构成表情图像的多特征,达到信息上的互补,从而提高模型识别率。2)基于面部图像模型级融合的表情识别。分析面部结构,选择能够体现面部的主要形态且不会因为模型的不同而改变其相对位置的特征点,凭借面部肌肉运动范围大小将面部分区,并根据分区将特征点分为互不相交的特征组。利用单组特征的识别率,引入基于反馈的原理,设计权重确定方法,并引入刚性原理,分析面部不同分区的刚性,将其作为检验权重正确性的依据。在此基础上引入模型级融合,根据分类模型特点设计加权核函数,实现特征的非线性加权融合,增加强相关特征对分类结果的影响并减少弱相关特征对分类结果的影响,从而提高模型识别率。3)基于多种生理信号决策级融合的情感识别。由于多种人体生理活动与情感状态相关,同时对应的人体表征信号多样,选择可用于情感识别的4种生理信号,包括脑电信号、心电信号、呼吸信号以及皮肤电信号,根据信号种类的不同分别建立特征提取模型。针对生理信号对情感状态的表现力强弱各异,根据生理信号对情感状态的识别率,引入基于反馈的原理,设计权重确定方法。根据情感识别模型的特点,在决策级引入加权融合和最大值规则,充分发挥生理信号的优势,从而提高模型识别率。4)基于多模态信息特征级和决策级融合的情感识别。分析人体结构与情感信号,选择视觉信号和生理信号构成多模态情感信息。其中,视觉信号为面部表情的彩色图像序列,生理信号包括脑电信号、心电信号、呼吸信号以及皮肤电信号4种信号。引入特征级融合,串联视觉信号特征和生理信号特征得到4种多模态特征,利用多模态特征对情感状态的识别率,引入基于反馈的原理,设计权重确定方法。根据情感识别模型的特点,在决策级引入加权融合和最大值规则,充分发挥多模态情感信息的优势,从而提高模型识别率。