【摘 要】
:
在生活场景中,面部表情表现出绝大部分情感体现。通过对人脸表情的分析,可以最直接地获取人类情绪,从而判断其内心想法。同计算机视觉的其他领域相比,人类表情的面部呈现往往会受到受试者人脸特征的影响,在验证样本和训练样本的个性化身份特征差异较大时,模型的识别精度会降低,从而使现有模型泛化性较差,难以在实际应用场景中推广。本文基于卷积神经网络特征提取方法,引进注意力机制用于特征分离,提出了一种分离框架,分离
论文部分内容阅读
在生活场景中,面部表情表现出绝大部分情感体现。通过对人脸表情的分析,可以最直接地获取人类情绪,从而判断其内心想法。同计算机视觉的其他领域相比,人类表情的面部呈现往往会受到受试者人脸特征的影响,在验证样本和训练样本的个性化身份特征差异较大时,模型的识别精度会降低,从而使现有模型泛化性较差,难以在实际应用场景中推广。本文基于卷积神经网络特征提取方法,引进注意力机制用于特征分离,提出了一种分离框架,分离表情特征和身份特征,降低身份特征在表情识别中的影响。论文主要的工作和创新点如下:1、引进注意力机制,进一步加强卷积神经网络对人脸表情特征的提取能力。本文基于特征提取的研究思路,使用预训练的卷积神经网络模型作为特征提取器。通过注意力机制模块的处理,获得特征的通道注意力和空间注意力,基于通道和空间维度上精细化人脸表情特征,对目标范围内的人脸表情特征精准提取,提高了卷积神经网络模型在表情识别上的性能。2、提出一个基于表情和身份特征分离的算法框架。针对单纯的特征提取方法难以应对样本身份变化的问题,在精细化人脸表情特征的基础上,分离出表情特征和身份特征后,经由身份分类损失监督,得到身份的语义信息。再通过赋予表情相关特征较大的权重,降低身份特征相关权重,从而提高人脸表情识别算法在面对身份变化时的识别精度。基于特征分离思想改进的3个卷积神经网络算法之间的性能对比,将性能最好的Disentangle-Dense Net121算法在Oulu-CASIA和KDEF两个数据集上验证应用,并分别对比多个算法,论证了Disentangle-Dense Net121算法的优越性。设计了跨数据集的训练验证实验,利用在KDEF-Front数据集上训练得到的模型权重,验证在Ra FD-Front数据集上的识别精度。实验结果表明,在原始训练集的样本数量明显低于验证集的样本数量,且两个实验数据集样本之间的身份特征具有明显差异的情况下,Disentangle-Dense Net121算法依然具有令人满意的性能表现,大大降低了身份特征的变化对人脸表情识别的影响,提高了人脸表情识别模型面对身份特征变化时的鲁棒性。
其他文献
近几年我国为实现“碳达峰,碳中和”的目标,重点发展清洁能源。西北地区太阳能资源丰富,截至2021年6月,累计光伏装机容量达63.6GW,约占全国光伏装机总量的25%。但大量光伏电站发电并网过程中,发电功率的波动性对电网安全运行提出巨大挑战,精准预测光伏电站发电功率对新能源并网与调度具有重要意义。因此,很多学者对光伏发电功率预测进行了研究,受限于数据量,很多传统方法往往直接使用气温、辐照度等气象要素
目的:基于Cirrus HD-OCT(Cirrus high-definition optical coherence tomography)的广域偏差图(Panomap)分析屈光状态对原发性开角型青光眼患者视神经损伤区域的影响,并总结近视合并原发性开角型青光眼的视神经损伤区域特征。方法:以回顾性方式选取2017年1月至2022年3月于汕头大学·香港中文大学联合汕头国际眼科中心确诊原发性开角型青光
目的本研究的目的是探索食管鳞癌预后的相关因素,并构建一个基于血液学指标及营养指标的食管癌预后预测模型。资料与方法本研究收集2013年02月07日至2018年02月01日在汕头大学医学院附属肿瘤医院胸外科行根治性手术切除的793例食管鳞癌患者的临床资料,包括性别、年龄、身体质量指数(BMI)、预后营养指数(PNI)、老年营养风险指数(GNRI)、是否吸烟、是否饮酒、红细胞分布宽度(RDW)、红细胞平
【目的】探讨Charlson合并症指数(CCI)在食管鳞癌根治术后患者短期及长期预后方面的评估价值。【方法】回顾性分析2011年10月至2016年7月于汕头大学医学院附属肿瘤医院接受食管鳞癌根治术患者的临床资料,包括年龄、性别、吸烟史、家族史、既往和住院期间诊断的合并症、肿瘤位置及长度、临床T、N分期、组织学分级、术后并发症情况及随访术后生存时间和预后情况。用KM法绘制生存曲线、Logrank检验
双目立体视觉基于对人类视觉机制的模仿,实现对周围环境的三维重建,其核心原理是通过多视图几何模型从二维图像信息中估计场景的深度值。近年来,立体视觉不但是各大计算机顶会中的热点研究方向,同时广泛应用在自动驾驶、虚拟现实和智能机器人等热门领域。此项技术中,通过立体匹配获取视差图是决定三维重建完整性和精准性的核心步骤。然而在实际场景中,由于遮挡、低纹理、辐射畸变和硬件设备限制等常见因素,视差图的噪声和数据
精神分裂障碍是一种重性精神类疾病,在世界卫生组织关于精神疾病的排行榜中,精神分裂障碍位列榜首,成为对人类危害最大的精神疾病。然而目前临床上对精神分裂障碍的检测存在早期患者就诊率低、治疗周期长和终身治愈率低等问题,另一方面,临床上对精神分裂障碍的诊断过于依赖医生的主观经验,缺少基于有效生理评价指标的客观化辅助手段。针对以上问题,本文提出一种将功能近红外光谱成像(functional NearInfr
背景:经新辅助治疗(NAC)的乳腺癌患者术后都面临不同程度的复发转移风险,包括新辅助治疗后non-p CR的人群,同样也包括p CR的人群。研究与复发转移相关的临床病理参数乃至分子标记物对探索复发转移机制、优化个体化治疗、提高疗效有重要临床价值。目前相关研究非常有限,尤其是对新辅助治疗获得p CR的人群术后复发转移的危险因素和机制知之甚少。本研究通过分析接受新辅助治疗乳腺癌患者的临床病理资料,甄别
目的:肾癌是一种常见的泌尿系统恶性肿瘤,其最常见的组织学亚型是肾透明细胞癌(>80%)。肾癌患者常常因为诊断过晚、治疗手段有限而预后较差,因此,找出可于临床上运用的肾癌诊断标志物对改善患者预后具有重要意义。Micro RNA(mi RNA)是一类长度约19-25个核苷酸的单链非编码小RNA,许多研究表明,mi RNA在基因表达调控中发挥着重要作用,并与诸如感染、免疫系统疾病、内分泌系统疾病及癌症等
目的:糖尿病黄斑水肿(Diabetic macular edema,DME)是糖尿病患者中造成视力损伤的重要因素。我们基于两种常见商用三维光学相干断层扫描(Three dimensional optical coherence tomography,3D OCT)图像,使用三维卷积神经网络(Three dimensional convolutional neural networks,3D CNN
电磁超材料具有许多天然材料所不具备的特性,其电磁参数如介电常数和磁导率等可以通过改变内部的单元结构而改变,因而电磁超材料在电磁隐身、超透镜等领域具有广阔的应用前景。石墨烯因其本身所具有的独特物理性质尤其是电可调特性,一经发现便成为了众多领域的研究热点。当石墨烯被图案化时,入射到石墨烯表面的电磁波可以在石墨烯的边缘激发出表面等离激元共振,从而使能量被束缚在石墨烯微结构附近。本文基于超材料与石墨烯的理