基于卷积神经网络的微表情识别探索与研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:aiqi527927
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数十年来,不管是在心理学界还是模式识别界,人们都对面部表情进行了广泛的研究。目前更具挑战性的微表情识别研究也在兴起。微表情是指在人脸面部表现出微妙情感,它是一种快速而微弱的面部运动,人类几乎无法控制。尽管近年来人们对面部微表情的研究有了很大的进展,但在微表情识别方面仍有很大的改进空间。微表情分析在情感监控、犯罪侦查、心理治疗等许多领域都有应用。与传统表情识别相比,识别微表情更具有挑战性,因为微表情持续时间非常短,并且涉及的面部运动微小,到现在为止,该领域的工作还处于起步阶段,只有少量微表情数据库和方法。在微表情识别的前期大多都是使用手工特征,随着深度神经网络的发展进步,使用深度神经网络进行微表情识别的研究变得越来越有意义。本文在其他计算机视觉等问题上效果较好的两种网络模型Inception网络和Resnet网络基础上进行研究。主要包括:1)为了提升微表情识别效果,构建添加注意力机制的TIncep SE网络;2)为了利用微表情序列信息,对3DResnet系列网络,以加强表示的10帧微表情图片序列为输入进行相关实验;并利用TIncep SE与3DResnet两种网络模型组成双流网络3DRes TIncep SE模型。经过试验证明,本文提出的双流网络在CASMEII、SAMM、SMIC2/HS上有较好的识别效果,其中在SAMM、SMIC2/HS数据库上超过了目前效果最好的深度学习方法,尤其在SAMM上准确率Accuracy提升17%,综合评价指标F1提升29%。
其他文献
高动态范围(High Dynamic Range,HDR)图像具有较强的场景动态范围表现能力,在航空遥感和医疗成像等领域得到了广泛应用。但由于采集、传输和显示等设备的限制导致接收端的HDR图像质量退化,因此建立有效的HDR图像质量评价方法具有重要意义。目前,可采用支持向量机或者k-means等传统机器学习方法对HDR图像进行图像质量评价,但由于传统机器学习技术仅利用浅层架构,无法高度模仿人类视觉感
认知雷达相比于传统雷达有更强的环境自适应能力,其中通过感知环境并实时优化发射的波形是实现自适应的重要途径。通过认知波形优化方法,雷达能够提升目标探测效果。研究基于深度强化学习的认知雷达波形选择方法,对于推进认知雷达的智能化水平具有重要意义。论文设计了基于深度强化学习(DRL)的认知雷达波形选择(优化)方法框架。为解决传统强化学习对环境的感知和表示能力不足的问题,利用DRL来适应雷达任务复杂多变电磁
光场成像技术通过微透镜阵列结构可以实现对真实场景的光场捕获,以其拍摄简单、视点连续、色彩逼真的特点逐渐获得了消费者的青睐。然而,在网络带宽受限的情况下,如何对光场相机拍摄的光场图像进行有效地编码成为亟需解决的难题。光场图像拥有一些不同于传统自然图像的特点。因此,对光场图像的编码压缩需要在传统图像编码标准的基础上提出新的理论和技术。基于此背景,本文针对光场图像编码技术,利用卷积神经网络从亮度分量变分
近年来,利用蛋白质序列信息预测蛋白质相互作用(PPIs)的方法由于无需先验知识,且避免了传统生物实验方法耗时费力的弊端得到了广大的关注。如何对蛋白质序列进行有效地特征提取以及如何构建预测效果良好的机器学习分类器模型是目前基于序列预测蛋白质相互作用研究面临的最大问题。因此,本文从优化序列编码方法,改进分类模型的两个角度提出基于注意力机制的卷积神经网络模型,主要工作概括如下:(1)针对已有的联合三联体
面部表情识别是人脸研究的一个非常重要的模块,有广泛的应用场景,例如在智能安防场景下可以识别群体的情绪,来避免突发事件;在公安刑侦审讯过程中识别嫌疑人的微表情,来辅助办案人员判断其是否说谎;在网络授课过程中,通过摄像头捕捉学员的面部表情,来判断学生是否对授课内容存疑。但是仅仅是六种基础表情不足以描述复杂的人类情绪,针对这一问题,选择面部表情更为基础的单位——面部运动单元,而这些面部运动单元的组合可以
近年来,受益于深度卷积神经网络的成功,目标检测在准确性和效率上都取得了较大的进步。然而在算法的进步背后,海量的数据和注释必不可少。虽然通过相机或移动设备采集图像较为简单,但用于训练的目标注释需要在图像中确定目标的类别标签和边界框,人力成本较高。尤其是在需要专业知识或复杂的场景下,标注是难以获取的。尽管颇具挑战性,如何利用大规模未标注或部分标注数据减少标注成本并增强模型性能因其重要性正日益引起人们的
命名实体识别,指的是识别出待处理文本中指定类型的实体,这类命名实体具有特定的意义。在一般情况下,命名实体识别需要识别出的实体类型分为实体类、数字类和时间类这三大类,或进一步细分为人名、机构名、地名、时间、日期、货币和百分比这七小类。而在特定的领域中,会相应地定义领域内的各种实体类型。命名实体识别是自然语言处理中的一个基础性关键任务,为关系抽取、事件抽取、知识图谱、机器翻译、问答系统等诸多自然语言处
深度神经网络是深度学习的一个重要模型,其往往拥有非常多的层次结构,包含输入层输出层和一系列的隐藏层。但是若只是单纯的添加更多的隐藏层,深度神经网络依然只是运算的简单线性组合,并不具有人工智能的真正意义。此时,激活函数的添加为神经网络添加了非线性的表达能力。随着集成电路的发展,越来越多的神经网络开始使用集成电路实现,而神经网络加速器实现过程中,激活函数往往是硬件实现中最昂贵且最难以实现的部分。本文针
近几年深度学习的蓬勃发展,基于深度学习的许多课题成为热点研究对象,模态识别问题作为其中热门课题之一,旨在通过单个或多个模态序列进行分类,进而学习不同模态对应的内容,最后输出为文本内容。这其中主要模态是听觉和视觉,目前双模态识别(听觉和视觉)由于数据集不够丰富、语言的多样性以及说话人习惯等限制仍处于发展状态。本文从模式识别的数学定义出发,将提出的问题进行数学建模,构建了双模态视听的架构,提出了一种新
当今时代存在着海量的以结构化或者半结构化形式存在的文本信息,隐藏着巨大的价值。因此,从海量的文本信息中提取有价值知识是一项十分重要的任务。信息抽取任务就是以此为目标而诞生的。论文研究信息抽取子任务之一的关系抽取任务。关系抽取,旨在从文本中自动检测和识别出实体之间具有的某种语义关系,是知识图谱构建和信息抽取中的一个关键环节,具有重要的理论意义和广阔的应用前景。论文的主要工作如下:1.将门控图神经网络