基于注意力机制的多模态情感分析算法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:yh820927
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
情感分析是数据挖掘中的重要研究课题。早期的情感分析主要关注于文本情感极性的抽取。随着社交媒体、电子商务等互联网应用的不断发展,情感分析的对象不再局限于文本,更多的是融合了短视频、图片、文字的多模态数据。目前大多数电子商务平台都允许用户在发表评论时使用短视频、图片、文本等。包含多种模态数据的情感分析任务被称为多模态情感分析。如何对多种模态的数据进行融合来提高情感分析的准确率,是目前多模态情感分析的主要问题。多模态情感分析对于网络营销、电子商务等的发展具有重要的意义。本文以互联网中多模态数据的发展为背景,以多模态的点评数据为研究对象。围绕具有代表性的图片加文本的点评数据以及用户口述评价的视频点评数据,分别开展情感分析算法研究。针对视频情感分析问题,论文提出了一种基于自注意力机制和神经网络的情感分析算法;针对图片文本融合的情感分析问题,我们提出了一种基于多层注意力网络的情感分析算法。总体来说,本文的主要工作和贡献归纳如下:(1)提出了一种基于自注意力机制和神经网络的视频情感分析算法:针对用户评论视频(用户针对特定话题发表口头评论的自拍视频)中的文本、图像和声音三种模态数据,使用自注意力机制对包含信息最丰富准确的文本数据进行编码。然后同时考虑视频内部不同片段之间的注意力机制和模态之间的注意力机制,以求准确地挖掘模态之间的关联信息。为了拟合不同特征数据间的复杂关联,本文选择多层神经网络实现多模态情感分析算法。为了验证所提出算法的有效性,我们在多个实际数据集上进行了实验,结果表明本文所提模型的效果优于多个对比模型。(2)提出了一种基于多层注意力网络的图片文本融合情感分析算法:针对点评网站上较为普遍的图片结合文本的评论形式,提出了可以准确识别文本情感的多层注意力网络模型。我们将图片用作文本的注意力,通过计算文本中每个句子和图片之间的相关程度来判断这个句子对图片文本组合整体情感的重要程度。在处理图片文本组合中的文本向量编码时,我们为了在编码过程中不丢失词语之间的语义关联,采用了自注意力层对词向量进行编码。此外,我们还使用了一个全连接层将图片对文本的注意力和语句之间的注意力相结合,避免丢失某些和图片没有联系的关键语句信息。我们在真实的餐厅点评数据集上进行了实验,结果表明了所提算法的有效性。
其他文献
正交异性钢桥面板凭借整体性好、承载能力大、自重轻、施工快、结构美观等优点,成为目前国内外中大跨径桥梁普遍采用的桥面结构形式。然而在整体结构荷载和局部车轮荷载的长
进入21世纪以来,随着计算机技术的发展,承载着人类幻想与对世界浪漫化解读的各类“非理性”的故事得以被制作成奇幻电影通过大荧幕呈现在大众面前,作为幻想电影的亚类型之一的奇幻电影随之迎来了发展的新时期。《指环王》三部曲与《哈利·波特》系列作为其中代表在好莱坞大获成功,国产奇幻电影也如同雨后春笋般纷纷出现,其中不乏如《哪吒之魔童降世》《捉妖记》等票房口碑双丰收的佳作,但也存在一部分被观众大量诟病甚至无人
传统强度调制直接检测技术在高带宽、长距离光纤通信系统中会受到功率周期性衰落现象的制约,而基于单边带调制直接检测技术的光纤通信系统不仅不受此影响,还能有效提升频谱效
以环氧树脂NPEL-128为基础聚合物,重质碳酸钙为填料,研究不同触变剂在环氧密封胶中的触变效果和应用性能。结果发现,新型聚酰胺蜡触变剂Crayvallac SLT具有易活化,高效的触变
根据机器视觉系统组成及检测原理,分析国内机器技术在工业检测中的应用现状,提出应用中出现的问题,探讨未来发展趋势。
基于Matlab软件平台研究了不同的数字滤波器对污染的语音信号的去噪效果。对比了加入噪声前后的语音信号的时域与频域图。仿真实验结果表明:4种滤波器中切比雪夫I型滤波器对
遥感图像分类为当今的社会发展起着不可忽视的作用,因此众多研究者一直在这个领域潜心研究,以提出更先进的理论方法,使其实现更高的价值。机器学习已成为当代研究遥感图像分
对通信行业而言,市场份额占有率的提升能够有效地增加收益水平,各通信公司对规模效益的重视会使其在市场竞争中占据领先地位。苏州市在2019年完成的GDP已经超过了 1.92万亿元,规模以上工业总产值上升至33592亿元,创历史新高,全市超千亿的行业达到11个。2020年,苏州市将继续提升科技服务业、软件和信息技术服务业、高科技制造业等新兴经济,此外还将加强软件、信息等高技术行业的龙头企业、支柱性企业的
通过对外部环境和内部环境的系统分析,河北养元明确了企业自身的优势和劣势,以及市场面临的机会和威胁。在此基础上,河北养元制定了企业市场成长期的营销策略,即定位策略上专
近些年来住房是我国人民不得不关心的一个话题,现在房地产市场不仅与人们的生活息息相关,更与我国的整体经济紧密融合在一起。尤其党的十九大以来,地产行业的发展迎来了新一