基于特征融合的微表情识别技术研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:gouhs
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
微表情是一种自发的、不受人为控制的特殊面部肌肉运动,可以“泄露”出一个人内心的真实情感,在国家安防以及心理咨询等领域等存在广泛的应用价值。与普通宏观表情可以直接被人眼识别不同,即使经过培训的专业人员在识别微表情时也难以达到满意的结果。为了提高微表情的识别率以及节省人工成本,自动识别微表情逐渐成为研究的主要方向。目前对微表情的研究大都只提取其单一的特征,这导致提取到的微表情信息不全,影响最终的识别率。针对此问题,本文融合不同微表情特征进行识别,主要做了以下工作:(1)提出了一种基于特征选取与核典型相关分析的微表情识别方法。将提取的LBP-TOP和HOG-TOP特征利用特征递归消除法去除冗余信息,接着将两种特征子集利用核典型相关分析的方法融合得到新的KCCA-HL微表情特征。在SMIC微表情数据库上通过改变两组特征的参数进行实验,与未融合前的单特征相比,融合后的新特征可以得到更高的识别率。(2)利用深度学习自动提取微表情特征,设计了一种浅层的双时空多尺度神经网络。利用三维卷积神经网络与卷积的长短期记忆网络同时提取微表情序列特征,并在框架中加入Dropout算法防止过拟合,最后将提取的两路特征经过Concatenate层相融合。微表情序列在输入网络前做相应的预处理,包括数据库样本扩充,归一化帧数,将微表情图像序列转换成纹理序列。在SMIC以及CASMEⅡ微表情数据上进行实验,结果显示融合后的特征可以获得更好的性能。(3)在工作(2)提出框架的基础上,搭建了微表情预测系统,该系统功能包括对数据库中的微表情序列进行情绪预测;显示预测图像序列在卷积过程中的变化;显示模型训练时的损失函数曲线。
其他文献
传感技术作为物联网技术创新中的重要组成部分,是当今人类拓展自身感知能力的重要手段,也是信息化时代通信和计算机传输与处理信息的基础。基于光纤技术设计的传感器,具有灵敏度高、测量范围广、稳定性高和抗电磁干扰能力强等优点。这些优势使得光纤传感器在特定场合下具有不可替代的作用,如在交通运输、石油勘测、食品安全和航空航天等领域。伴随物联网和数字中国建设脚步的不断加快,提高光纤传感器的机械强度和多参数测量能力
科技的发展使人们对图像分辨率有了更高的要求,高分辨率图像比低分辨率图像包含更多的信息并具有更好的视觉感受。因此,通过超分辨率重建技术改善图像分辨率是计算机视觉领域一项重要的研究课题。近年来,深度学习技术的发展使得图像超分辨率重建方法的性能相较于传统方法有了极大提高,然而目前很多基于深度学习的超分辨率重建网络都以前馈的方式学习图像特征,忽略了反馈机制。反馈机制可以使网络学习到高分辨率和低分辨率图像之
基于麦克风阵列的波达方向(Direction of Arrival,DOA)估计是研究阵列信号处理领域的一个重要分支,它在军事领域和民用领域有着广泛的应用,如军事雷达定位、车载电话和视频会议系统等。近年来,由于机器学习算法和深度学习在各个领域表现出的优异成绩,将机器学习和深度学习应用于声源定位已经成为了研究的主流方向。相比传统的声源定位算法,基于这类算法的声源定位方法有着更好的鲁棒性和精确性,针对
农业是我国国民的经济基础,农作物病害的识别和防治则是农业生产活动中必不可少的一部分,可以直接影响到农业的经济效益,因此农作物病害的识别手段和精准程度对于农业发展具有重要意义。传统农作物病害识别方法主要以人工检测为主,存在效率低下、不能实现自动化识别等问题,而基于图像特征工程的方法又存在工作量大、在不同的复杂环境及病害多样性下很难精准识别等问题。本文旨在寻找更好的农作物病害识别方法,以解决上述问题。
降雨在生态系统的水循环和能量交互中占有很高的比重。降雨的极端天气及气候事件(洪涝、干旱)对人类生产生活带来诸多不便。西北太平洋区域的台风携带大量的强降雨,强降雨及降雨引发的洪水、泥石流和滑坡等灾害对沿海城市造成严重的损失,精确的观测和预报降雨对防灾减灾有着重大的意义。国内外多个在轨运行的卫星,为降雨的预报和降雨区域的监测提供了精确的数据。本文使用风云四号(FY4-A)静止卫星传感器观测的亮温云图进
集合-变分混合同化方法被认为是资料同化的重要发展趋势。为有效引入“流依赖”的背景误差协方差,同时解决因集合预报计算量大而造成业务应用难的问题,本研究尝试通过在集合-变分混合同化系统中引入优选的历史预报样本和时间滞后样本,作为常规集合预报样本的替代,从而为集合-变分混合同化方法的实际应用提供一种解决方案。本文首先探究了优选历史样本的合理性,同时进行了一系列基于不同样本组合方案的单点试验研究,评估了在
在高空气温探测中,探空温度传感器的测量精度会受到许多环境因素的影响,其中引起测量误差的主要因素是太阳辐射。在高空低风速环境条件下,由于太阳辐射的影响,探空温度传感器的测量值会高于大气真实温度,由此产生的误差称为辐射误差。为降低太阳辐射误差,本文设计了一款压电振子探空温度传感器,利用压电陶瓷弯曲振动,加强传感器辐射热的扩散。利用计算流体动力学方法对压电振子传感器探头进行仿真,数值求解传感器在不同气流
群时延作为描述系统相频特性线性度的重要技术指标,在当今无线通信系统中受到了广泛关注。作为高速电路传输速度的影响因素,群时延的研究对于解决传感器网络信号同步问题具有重要意义。在基于快速变化信号的传感器网络中,由于不同信道的信号经过传感器产生时延不同,波动过大的群时延严重影响了信号数据融合速度,信号处理受到严重干扰。而负群时延电路可以有效解决传感器网络信号不同步现象,改善传感器网络信号传输质量,但是国
随着工业自动化水平的不断提高,现代控制系统的复杂程度快速增加,这也导致系统发生故障的可能性增大,一旦故障发生,将会降低系统的性能、导致系统的不稳定,甚至造成严重的财产损失和人员伤亡。因此,对系统实施故障诊断与容错控制,对提高系统的可靠性和安全性有着重要的意义。同时,受系统非线性和随机干扰的影响,随机系统中的变量大都为非高斯变量,传统的以期望和方差为优化指标的控制方法已不再适用于非高斯随机系统。为此
降水是地球水资源循环的重要环节,对于研究全球气候变化和监测自然灾害有重要意义。西藏地区位于青藏高原,针对其降水强度等级估计面临地面观测站点稀少,基于云团物理特征的传统方法易受高亮地表及复杂下垫面的影响。使用高分辨率的风云四号A星(Feng Yun-4A,FY-4A)作为主要数据源,通过深度学习算法研究适用于西藏高原地区的降水云团识别及降水强度等级估计算法,准确地估计三十分钟内的降水强度等级。提出一