基于面部表情和生理信号的情绪识别方法研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:zyu03
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
情绪影响着人类生活的方方面面,随着计算机水平和电子设备的发展,基于人机交互的情绪识别成为了非常重要的一项研究。面部表情是情绪最直白、最形象的表达,因此情绪识别始于面部表情,然而,也因为其直白,所以也会存在假表情的情况,因此面部表情并不是客观的信号。另一方面,生理信号则较为客观,基于生理信号的情绪识别也逐渐成为情绪识别的重点研究方向。可是现有的基于生理信号的情绪识别中生理信号的采集方式大多是靠可穿戴设备或者电极等接触式的方式,这种方式不免对受试者的情绪产生影响,而通过非接触式的基于生理信号的情绪识别大多分类结果不佳。基于此,本文提出基于雷达传感器和视频传感器的非接触式情绪识别系统,从雷达传感器获取生理信号,从视频传感器获取面部表情信号,通过对两种信号的单传感器分类结果的比对判决和特征融合分类,实现了情绪的高准确率识别。本文的主要工作有:1、介绍了人脸提取方法,研究了传统的面部表情图片纹理特征提取方法中的LBP算子,提出了基于深度学习堆叠模型的面部表情分类方法,结果表明本文提出的方法比传统方法准确率提升了12.9%;2、介绍了基于生物雷达的非接触式生理信号提取的雷达工作原理。还介绍了所提取的生理信号特征。其中,研究了传统特征,并提出了基于自适应噪声的完备经验模态分解算法(CEEMDAN)和希尔伯特变换的时变特征提取;3、提出了基于面部表情和生理信号的非接触式情绪分类系统。对于生理信号,首先进行特征提取,接着采用基于随机森林的依据特征重要度的方法对生理信号特征进行特征选择之后进行情绪分类;对于面部表情信号,进行特征提取并分类。然后将生理信号的分类结果与面部表情信号的分类结果进行对比,并采用随机森林对二者的特征进行双传感器特征融合分类;4、设计情绪识别实验,采集受试者在高兴、悲伤、恐惧和平静状态下的非接触式生理信号和面部表情信号。分别对两类信号单独处理以后,得到基于面部表情信号的视频传感器结果准确率为42.2%;基于生理信号传统特征的雷达传感器准确率为67.7%。当雷达传感器中加入时变特征以后准确率提升为70.5%;在对特征进行基于随机森林的特征重要度筛选以后,准确率为72.1%。最后,对两个传感器进行情绪分类结果进行比对,当两个传感器的情绪分类结果相同时(在本实验结果中相同的比例是37.3%),该结果作为最终情绪结果,其准确率为96.0%;当情绪分类结果不相同时(在本实验结果中不同的比例是62.7%),通过随机森林的双传感器特征融合分类处理得到情绪分类准确率为74.2%。最终计算得到整体数据准确率为82.3%。
其他文献
电动汽车作为一种新型清洁能源技术的交通工具已经走入了人们的生活,拥有着日益增长的保有量,并将在人类的可持续发展中担任重要的角色。与此同时,为电动汽车提供能源续航的共享充电桩设备以及与之匹配的、方便用户实时使用的终端应用设计,特别手机APP界面设计更需要进一步的开发和完善。近年来,大部分电动汽车共享充电桩APP能够满足用户的基本需要,但是,界面设计还往往存在色系杂乱、逻辑不明、对于用户需求的调查以及
自动印花工艺中的印刷偏差检测是布匹印花性能的重要技术保障,它是伺服控制系统印花位置调整的重要参考。通过人工分辨印刷偏差的检测方法无法适应控制和调整的速度及质量要求,基于视频处理的布匹印刷偏差检测技术可以很好的解决这一问题。在实际布匹印花工艺中,通常在印花区域前设置十字线标记来定位印花区域的开始,每道工序的偏差通过其后的多个圆形标记及其中的数字偏移给出。本文在此背景下利用大视场相机对十字线定位,小视
随着国际形势越来越严峻,局部战争频发,战场环境越来越复杂,弹药的智能化、信息化是重要的发展趋势。伴随装甲车辆的大量运用与升级,反装甲的任务越来越重要,作为反装甲武器的重要手段,末敏弹的发展备受关注。红外探测技术作为末敏弹探测目标的重要方式之一,具有隐蔽性好,工作时间长等优点,并且也逐步由红外成像技术代替点源探测的方式,因此本文以末敏弹的红外图像为基础,对其目标识别算法进行探讨研究。首先,本文以红外
近些年来,随着红外成像技术和数字图像处理技术的不断发展,红外小目标检测技术已经广泛地应用在军事、国防及民用等领域。当小目标处于复杂海天背景下时,图像的信噪比较低,目标容易淹没在背景杂波中,从而造成漏检、虚警。因此,如何准确高效地在复杂海天背景下的红外图像中检测出小目标,对于军事与民用领域具有非常重要的实际意义。本文围绕海天背景下小目标的检测,主要从以下几个方面进行研究:针对目前海面红外背景辐射的仿
光谱成像技术是光谱技术与成像技术的结合,通过测量探测目标的三维数据立方体得到二维空间信息和一维光谱信息。傅里叶变换光谱仪由于宽光谱、高分辨率的特性,被广泛地应用到环境监测、医学影像、地质勘探和军事侦察等领域。基于双折射偏振晶体的干涉成像光谱仪经过推扫的方式得到上千张干涉图像,需要进行高精度的快速图像配准以便提取出干涉数据。为了保证光谱复原的精度,后期的光谱复原算法成为了关键。本课题基于Savart
电弧焊接过程包含了大量复杂信息,还存在高温、弧光、飞溅、烟尘和电磁干扰等因素影响,焊接过程的状态决定了焊接后成形质量,因此焊接过程状态的监督是一项至关重要的任务。随着智能制造的发展,熔焊在线质量监测成为重要研究内容。本文研究了冷金属过渡(Cold Metal Transfer,CMT)焊接工艺过程,基于视觉和光谱信息设计了在线质量监测系统,实现了焊接状态的高效监测。具体研究内容如下:(1)熔池图像
目的 观察亚麻醉剂量艾司氯胺酮复合丙泊酚应用于无痛胃肠镜检查的效果。方法选择2021年2—3月行无痛胃肠镜检查的患者100例,男53例,女47例,年龄18~74岁,BMI 18~28 kg/m~2,ASAⅠ或Ⅱ级。采用随机数字表法将患者分为两组:亚麻醉剂量艾司氯胺酮复合丙泊酚组(E组)和单纯丙泊酚组(P组),每组50例。无痛胃肠镜检查时E组缓慢静脉注射艾司氯胺酮液0.25 mg/kg,后缓慢静注丙
电磁敏感性测试是武器装备上电子设备的电磁兼容(EMC)测试项目之一,随着战场电磁环境日趋复杂,电子设备敏感度要求越来越高,测试的工作量也越来越大。针对目前人工观察受试设备(EUT)存在主观性强,效率低及不可溯源等问题,本文对智能视频监控技术进行研究,设计了一种测试过程中无需人工干预、敏感现象捕捉准确且通用性强的监测系统,对促进EMC自动化测试技术具有实际工程意义。针对靶场的试验环境及各类非标控制仪
电子装调测试是微波组件最终质量的关键一道工序。由于微波组件具有结构复杂、类型多样的特点,传统的测试手段无法满足测试生产的需求。因此,需要以数字化与信息化为手段,建立电子装调测试单元执行管控技术,实现电子装调测试单元的自动化、智能化控制。本文针对电子装调测试单元的设备自动化程度高和物料周转不协调等特点,提出了面向电子装调测试单元的数字化执行管控技术,并结合实际项目,开发电子装调测试单元管控系统,并完
高精度的表面质量检测是钢板生产质量的重要保障,而提高采集钢板表面图像分辨率是提高钢板质量检测的精度的主要手段之一。在高分辨率图像显示时,常出现内存负担较大、图像加载缓慢、移动缩放不流畅的等问题,瓦片化显示技术是解决此类问题的有效方法。本课题将瓦片化显示技术应用到钢板表面图像显示中,以高分辨率高精度的钢板表面图像采集、多类钢板表面信息显示为目标,设计了基于线阵CCD采集和瓦片化图像显示的钢板表面图像