基于孪生卷积神经网络的半监督表情强度估计算法研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:wbmissing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
面部表情在人们的日常交往中有着重要的作用,它直接传递了人们的情感。随着计算机科学技术的发展,自动化人脸表情分析成了一项受到越来越多关注的研究课题。面部表情分析也在人机交互和情感计算领域有着丰富的应用场景,如智能教育、医疗监控、数字营销、犯罪侦察等。通常来说,面部表情分析包括人脸表情识别和表情强度估计两项任务。现如今的人脸表情研究大多只关注于表情识别,即将表情识别为高兴、愤怒、恐惧、悲伤、惊讶、厌恶等六种基本表情,而对进一步区分强度等级的研究较少。心理学家指出,面部表情强度估计在解读面部表情的含义方面起着重要作用。然而标记面部表情强度是一项专业且耗时的任务。为了克服标记数据缺乏的问题,研究者们提出了顺序回归(Ordinal Regression)模型,以在无监督的情况下估计序列中每个表情图像的相对强度。但如果没有实际的强度标签,这些模型无法估计绝对强度。为进一步提高人脸表情强度估计的性能,一方面需要挖掘模型提取显著表情特征的能力,另一方可以寻找更多可用的监督信息用于网络训练。基于以上问题,本文在表情强度估计问题中做了以下探索工作:(1)为了解决标签不足的问题,同时克服身份信息对面部表情强度信息造成的干扰,提出了一种新的身份不变的半监督表情强度估计方法,利用显著的表情特征来估计表情强度。首先,面部表情由卷积神经网络提取特征,并与其对应的中性表情的特征做差分作为其显著的表情特征,目的是抑制表情无关特征对表情强度估计的影响。然后,将通过顺序信息构造的样本对输入到孪生卷积神经网络中,该网络通过多个损失监督无标记成对帧的相对强度、少数有标记关键帧的绝对强度以及大多数未标记帧的强度范围。(2)为了解决半监督学习对绝对强度估计精度不高的问题,提出了融合标签分布学习的增强序数回归方法(LDL-EOR)用于表情强度估计。利用序数回归学习相对强度,强度分布信息学习绝对强度,以抵抗手动和自动标签偏差引起的标签噪声。该设计旨在提高面部表情绝对强度估计的准确性,同时保持手动标记的低成本。通过计算数学期望值,将标签分布转化为连续强度值,使预测结果同时满足相对强度和绝对强度约束。为了保证LDL-EOR在不同监督环境下的可行性,本文提出了一个统一的标签分布生成框架,以逐帧自动重新标记训练数据。生成的软标签用于监督LDL-EOR模型,并增强其对原始标签中存在的噪声的鲁棒性。在CK+、BU-4DFE和PAIN数据集上做了大量的对比实验和消融研究,本文方法相比现有无监督和半监督方法在PCC、ICC和MAE等指标上均达到较高水平。
其他文献
《义务教育道德与法治课程标准(2022年版)》提出了“命题立意、情境创设、任务指向、评分标准”四方面的建议。2022年常州市中考第17题充分落实了这四个方面建议,为新课标理念指导下的学业水平考试试题命制提供了参考。
期刊
二氧化碳排放的会计核算是较为典型的“市场先行、准则后发”,从十二五的试点先行、十三五为全国碳市场打基础、十四五里程碑式的“碳达峰”和“碳中和”的目标,碳排放已经过了10余年的快速发展;与之不相匹配的却是会计处理规定的“踟躅不前”:国外方面,国际会计准则理事会(IASB)和财务会计准则委员会(FASB)联合对此问题研究多年,至今仅形成关于碳排放权确认及计量的“联合会议共识”;国内方面,自2016年财
学位
自深交所和上交所成立以来,我国上市公司数量已突破4000家。中国的经济取得快速发展的同时也面临诸多挑战,前有银广夏、昆明机床事件,后有国药控股、金亚科技、圣莱达事件,类似的财务舞弊现象层出不穷。在2019年,国内资本市场可谓是变局频出,獐子岛、康美药业、东旭光电财务造假被查,长生生物被深交所下发“重大违法强制退市的决定”,这些重大典型事件不但损害了投资者的权益,也干扰了经济秩序,影响证券市场的发展
学位
移动终端的普及和数字化学习技术的发展,催生了在线学习这一新兴学习方式。大规模在线学习平台以其开放、线上和多元化的优势,打破了时空限制,重塑了传统教学模式。但由于缺少教师及时有效地指导,在线学习者往往被淹没在海量的知识中,无法找到符合自身需求的在线课程,出现信息超载等问题。近年来,研究者开始使用推荐技术来解决信息超载问题,该技术试图从海量在线课程资源中筛选出符合学习者个体特征的内容,从而实现个性化课
学位
多模态对话情绪分析旨在从一段对话中分析目标话语的情绪状态,在对目标话语进行情绪分析时不仅需要利用语音、文本、视觉多个模态的信息,还需要考虑目标话语所处的上下文语境。这些可以为情绪分析提供一个全局的视角。让智能设备能够感知人们对话中的情感,在人机交互、意见挖掘等领域有着十分重要的研究意义以及广阔的应用前景。在目前的对话情绪分析的研究中,大部分工作主要从自我情绪惯性和他人的影响两个方面来考虑对话中的情
学位
<正>近年来,江苏省常州市以法治教育为突破口,以"5"彩法治大课堂为品牌,开展中小学法治教育一体化建设,初步实现了五个"一体化"。一是教育内容一体化。系统开展红色宪法教育、蓝色民法教育、黑色刑法教育、黄色行政法教育、绿色成长教育。常州市教育科学研究院成立中小学法治教育课程指导中心,举行法治教育培训活动38次,采取主题培训、学术沙龙、参与式研讨、研究课展示、成果展评等多种形式,不断提升师生的法治素养
期刊
活动断层是地震的根源,也是地震灾害的元凶,当城市及其周边区域存在活动断裂会给人民生命财产安全和城市建设与发展带来隐患。目前河南省较多省辖市所在城市均已开展活动断层探测工作,各城市间区域是活动断层研究程度比较薄弱的地方,致使地震安全基础探测工作出现不均衡发展。研究区位于河南省西部洛阳偃师市、焦作济源市和孟州市等市间区域,涉及的主要地质单元有济源盆地、洛阳盆地及两者间的邙山隆起,具有明显的盆岭构造轮廓
学位
近年来,随着4G网络的全面普及以及5G网络的迅速发展,人们的日常生活与移动智能手机捆绑得越来越紧密,我们每天的生活都在各个App中周转,产生了难以计量的数据,在这其中,大学生群体是移动社交媒体重要的用户群体,但随之而来的就是各个移动社交平台对于用户信息的肆意窃取和盗用,信息泄露的情况时有发生,让使用移动社交网络的用户产生了焦虑。为了响应国家对于个人信息安全的保护政策、贯彻落实个人信息安全保护相关法
学位
信息资源已经成为各个行业当之无愧的战略资源,数据资源也已经成为真正意义上的互联网行业的“石油”资源。然而随着信息量的日益增长以及数据库在各行各业中的广泛应用,当下人们需要一种更为直接,高效,灵活的数据库检索方式,其中基于自然语言接口的数据库问答系统成为了该问题的“有效解”。NL2SQL作为一种面向关系型数据库的问答技术,在最近几年里随着WikiSQL,Spider,CSpider,DuSQL等Te
学位
少年儿童是祖国未来的希望,阅读对少年儿童的发展起着重要的作用。随着社会经济和人民生活水平的提高,少年儿童的阅读教育受到社会广泛的重视。注重对不同年龄段少年儿童的阅读能力发展以及身心的健康成长,成为国家重点关注的话题。在这一背景下,分级阅读作为世界性的阅读趋势,引起了人们的关注。少年儿童图书馆作为公共图书馆,有着丰富的儿童馆藏以及优良的阅读环境,向少年儿童提供阅读服务时存在诸多优势,是儿童阅读推广的
学位