对话场景下的多模态情绪分析研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:cwg8872757
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多模态对话情绪分析旨在从一段对话中分析目标话语的情绪状态,在对目标话语进行情绪分析时不仅需要利用语音、文本、视觉多个模态的信息,还需要考虑目标话语所处的上下文语境。这些可以为情绪分析提供一个全局的视角。让智能设备能够感知人们对话中的情感,在人机交互、意见挖掘等领域有着十分重要的研究意义以及广阔的应用前景。在目前的对话情绪分析的研究中,大部分工作主要从自我情绪惯性和他人的影响两个方面来考虑对话中的情绪动态。在建模历史话语对目标话语的情绪影响时往往利用传统的循环神经网络,而这种方法不能从性能优异的预训练模型中受益以更好地在对话中进行表示学习。还有的研究工作只考虑了单个模态的输入,而没有对能够相互补充、印证的多模态信息进行充分利用,以提升模型性能。考虑到上述问题,本文提出了一种基于BERT预训练语言模型的多模态对话情绪分析方法。本文的主要工作如下:(1)针对如何建模历史话语对目标话语影响的问题,本文提出了将视觉和语音两个模态的信息适配到BERT预训练语言模型中进行处理的方法。在语音、视觉和文本三个模态上单独进行了情绪分析实验,对比了两种建模方式的优劣。一种是将目标话语与之前的历史话语进行简单拼接,然后利用BERT模型进行时序建模。第二种则是按照历史话语说话者和目标话语说话者的异同对历史话语进行了划分,然后将两种类型的历史话语与目标话语进行拼接,再进行时序建模。在模型训练的过程中,采用了一种微调的训练方式使得模型既能从大型预训练模型中受益同时又可以让预训练模型能够适应该任务。本文在IEMOCAP、MELD和AVEC三个公开数据集上进行大量的对比实验,三个单模态的结果都证明了在对话情绪分析中,对历史话语按照说话人进行区分的模型效果更好。(2)针对单模态信息不够全面的问题,本文提出了能够充分考虑多个模态信息的多模态对话BERT模型。其首先利用BERT模型分别对文本、语音和视觉模态历史信息进行时序建模,然后将这三个模态经过BERT模型处理后的输出进行融合,最后利用这个融合特征进行情绪分析。本文在IEMOCAP数据集上探索了四种不同的融合方法:直接拼接、注意力融合、低秩张量融合、门控融合,直接拼接得到了最好的效果。并在MELD和AVEC两个数据集上对模型进行了大量的实验。最后模型对于IEMOCAP情绪六分类和MELD情绪七分类的准确率分别为70.4%、65.8%。模型在AVEC数据集上效价、唤醒、期望和能量情绪维度上的Pearson相关系数分别为0.73、0.6、0.38、0.36,优于目前大部分主流模型。
其他文献
近年来,我国制造业企业股权集中度有了较大的变化,整体由高度集中转为逐渐分散。因为股权集中度变化,股东、董事会和管理者间的权力分布和权力制衡关系也发生了变化,三者间的权力博弈会影响企业对高管薪酬契约的规划和设计,所以导致高管薪酬结构也发生变化。在此过程里,一些传统制造业企业中单一的现金薪酬结构逐渐发展为多元,更有激励效果和效率的权益薪酬成为了高管薪酬结构中的重要组成部分。本文主要研究股权集中度对我国
学位
计算机和智能技术的迅速发展推动着一个全新时代的来临。为了适应新时代人才培养的需要,世界各国都比以往更关注青少年的编程教育,编程教育也成为了研究热点。在过往的编程教育研究中,学者们往往聚焦于作为教育者的教师和作为学习者的儿童,却少有关注家长在编程教育中的作用。当前国内家长对编程教育的态度和观念是怎样的?家长的观念是否会影响编程教育的效果?鉴于此,本研究决定对家长编程教育观念与儿童编程学业成就的关系进
学位
近几年,随着短视频平台的迅猛发展及广受欢迎,抖音成为青年声音的重要聚集地。2018年8月,抖音推出“政务媒体号成长计划”,随之越来越多的政务机构、媒体入驻抖音,逐步形成了“两微一端一抖”的传播新格局。如何利用新媒体平台发挥好对青年思想的引领作用,起到更好的传播效果,是新形势下思想政治教育工作者应该思考的重要课题。本研究采用个案分析法和内容分析法,选取党政军民学等各领域具有代表性的政务抖音号“人民日
学位
计算思维测评是计算思维教育的关键组成部分,也是对培养效果进行评估的重要手段。国内外鲜有研究关注基于文本编程的计算思维测评。基于文本编程的计算思维测评主要存在以下问题:(1)在已有的研究中,计算思维与文本编程的融合还不够深入,缺少从文本编程的视角对于计算思维的描述,进而导致基于文本编程的计算思维测评实践缺少科学合理的测评指标体系;(2)测评方式单一且缺乏理想的测评工具。已有的依托文本编程进行的计算思
学位
目前关于正当防卫制度的研究在刑法领域已形成较成熟的“五要件说”认定标准体系,但正当防卫的证明难题仍需刑事诉讼法领域积极应对。在正当防卫他向证明层面存在证明责任分配及证明标准设定不统一,证据制度单一固化的困境,正当防卫自向证明层面面临正当防卫的认定呈现损害结果导向化,以及法院审理阶段自向证明模式僵化等难题。结合三阶层犯罪论,应构建针对控方的有罪指控,先由辩方行使举证权利,提出正当防卫的相关证据以推动
期刊
伴随经济全球化的高速发展,经济与科技一体化已成为主要发展趋势;同时,随着人们生活方式的改变,市场和产业的生态正在掀起新一轮的变革。如何利用“大智移云物”相关技术进行交融渗透、相互促进,如何使科技更好地适应市场的需求,关系到我国产业结构的变革、关系到我国经济的发展,是我国企业管理中面临的新挑战。物流作为现代服务业的重要组成部分,在稳定增长、促进改革、调整结构、普惠民生、防范风险等方面起到了关键作用。
学位
《义务教育道德与法治课程标准(2022年版)》提出了“命题立意、情境创设、任务指向、评分标准”四方面的建议。2022年常州市中考第17题充分落实了这四个方面建议,为新课标理念指导下的学业水平考试试题命制提供了参考。
期刊
二氧化碳排放的会计核算是较为典型的“市场先行、准则后发”,从十二五的试点先行、十三五为全国碳市场打基础、十四五里程碑式的“碳达峰”和“碳中和”的目标,碳排放已经过了10余年的快速发展;与之不相匹配的却是会计处理规定的“踟躅不前”:国外方面,国际会计准则理事会(IASB)和财务会计准则委员会(FASB)联合对此问题研究多年,至今仅形成关于碳排放权确认及计量的“联合会议共识”;国内方面,自2016年财
学位
自深交所和上交所成立以来,我国上市公司数量已突破4000家。中国的经济取得快速发展的同时也面临诸多挑战,前有银广夏、昆明机床事件,后有国药控股、金亚科技、圣莱达事件,类似的财务舞弊现象层出不穷。在2019年,国内资本市场可谓是变局频出,獐子岛、康美药业、东旭光电财务造假被查,长生生物被深交所下发“重大违法强制退市的决定”,这些重大典型事件不但损害了投资者的权益,也干扰了经济秩序,影响证券市场的发展
学位
移动终端的普及和数字化学习技术的发展,催生了在线学习这一新兴学习方式。大规模在线学习平台以其开放、线上和多元化的优势,打破了时空限制,重塑了传统教学模式。但由于缺少教师及时有效地指导,在线学习者往往被淹没在海量的知识中,无法找到符合自身需求的在线课程,出现信息超载等问题。近年来,研究者开始使用推荐技术来解决信息超载问题,该技术试图从海量在线课程资源中筛选出符合学习者个体特征的内容,从而实现个性化课
学位