基于多头注意力机制的方面级情感分析研究

来源 :中南财经政法大学 | 被引量 : 0次 | 上传用户:flcyatwawa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着Web2.0的发展以及社交网络的兴起,越来越多的用户乐于在线发表对于某件产品、某个公共事件的评论,这些评论数据包含了大量的情感信息,具有极大的挖掘价值。然而评论数据往往是大量的,阅读并且总结这些数据会花费用户大量的时间。情感分析(Sentiment Analysis,SA)是一种自动化的、具有分析数据中隐含的情感信息能力、并且为用户提炼出情感倾向的工具。传统的情感分析的目标在于为每个文档、段落或者句子分配情感极性,而这样的方式只能为用户提供一个整体的情感倾向,而方面级情感分析(Aspect-based Sentiment Analysis,ABSA)能够对句子中的实体或者属性进行情感分析,是一种更为细粒度的情感分析,因其能够提供更加丰富的信息,得到了大量学者的关注。本文主要关注基于深度学习的ABSA问题,针对该研究内容存在的一些问题,尝试提出高效的解决方案。首先,当前的深度学习模型的输入往往是已预训练完成的词向量,现有的常用的词向量基于统计信息建模,而在SA中,情感信息对于分类结果的准确与否有着重要的影响,情感信息决定着句子或者段落的情感倾向,因此将情感信息编码到词向量中能够使得词向量具备一定的情感表达能力,从而提高模型分类准确率。因此本文提出情感词向量。首先利用情感词典、Word Net和负采样技术构造近义词-非近义词语料库,然后构建一个简单的三层预训练模型对现有的词向量进行微调(在已有的参数的基础之上使用数据集对参数进行少量的调整,以期得到更好的效果)。情感信息在模型微调过程中被编码到词向量之中,经过微调后的词向量即为本文得到的情感词向量。实验结果表明,与未将情感信息编码的词向量相比,情感词向量具备更强的文本分类能力。其次,根据基于注意力机制建模的Transformer、Bert等模型在自然语言处理上的优异表现,本文认为注意力机制在ABSA中存在巨大潜力,因此提出基于多头注意力机制的方面级情感分类模型。注意力机制能够有效的利用方面词信息和文本之间的关联信息,使模型能够知晓当前分析的实体或者方面,从而进行更加精准的分类;而多头注意力机制在此基础之上扩展了单个注意力机制的关注视野,使得模型能够关注到句子中更多的单词,从而达到更好的分类效果。实验结果表明,与一些先进的模型相比,本文提出的基于多头注意力机制的方面级情感分类模型具有更快的运行速度,同时保持了模型的分类能力。
其他文献
双离合器自动变速器(Dual Clutch Transmission,DCT)不仅具备换挡速度快、传动效率高、燃油特性好以及换挡冲击小、换挡平稳等优点,还具有能够保持换挡动力连续不中断等优点。在保证整车动力性和燃油经济性的同时,满足人们对驾乘平顺性和舒适性的要求。而离合器在服役过程中产生的摩擦磨损,导致离合器性态发生变化,影响双离合器自动变速车辆的起步和换挡质量,因而需要重点关注。目前,对于双离合
交错桁架钢框架结构体系具有重量轻、内部空间大和用钢量少等优点,是一种很适合用于装配式建筑的结构体系。为提升交错桁架结构的抗震性能,并在一定程度上避免结构体系出现薄弱层破坏,本文将交错桁架结构的柱采用通过柱肢间消能连杆耗能的双肢消能柱,形成消能柱-交错桁架结构,然后对该结构的抗震性能进行有限元分析。主要研究内容和成果如下:(1)分别建立有限元模型验证消能柱以及三节间桁架单元的试验结果,有限元分析结果
近年来,交通安全问题以及交通拥堵问题十分严重,为了监测汽车健康状态、道路交通拥堵状况,本文研发了一套基于智能终端的车路协同监控系统,主要研究内容及成果如下所示。首先,本文总结了车路协同技术与数据采集终端的国内外发展现状,并设计了车路协同监控系统的总体框架,总体框架主要包括车载终端、路侧终端、车位终端三部分。归纳了在研发车路协同监控系统过程中所用到的关键技术,包括CAN总线技术,OBD接口技术,4G
河南省一直以农业大省著称,粮食产量稳居国内第二,玉米在河南省是仅次于小麦的第二大主粮。近年来,河南省的玉米产量不断增长,由2009年的1752.91万吨增加到2018年的2351.38万吨,玉米产量在全国的占比维持在8.36%-10.12%区间内,河南省是我国重要的玉米生产大省。然而,自2015年来,河南省出现玉米种植收益连续为负的现象,玉米生产的收入风险突出,传统的产量基本保险已不能满足农户的风
目前,我国人口老龄化问题越来越突出,老年人口数量进入快速增长阶段,给我国的经济和社会发展带来严重影响,养老负担加重使得我国的养老保险制度可持续发展面临巨大挑战。与此同时,在“减税降费”背景下,政府提出城镇企业职工基本养老保险缴费率由19%下降到16%,以减轻企业负担,激发市场活力,在人口老龄化加重的背景下进一步下调缴费率,无疑对城镇职工基本养老保险的发展提出了更高的要求。一方面,降低税费减少了养老
中国出口集装箱运价指数(China Containerized Freight Index,CCFI)是全球唯一的用于反映集装箱运价的指数,该指数不但客观、及时地反映了中国集装箱运价的整体水平,而且量化了我国集装箱航运市场的变动情况,对货物贸易的运输成本有着重要的影响,是我国航运市场的“晴雨表”。做好对该指数的影响因素分析和预测有利于航运业以及政府及时掌握集装箱航运市场的运价动态,科学做出规避航运
航空货运具有时效性高、全球通达性强、承运货物价值高等特点,是物流运输中不可或缺的一环。在我国电子商务和快递业快速发展的背景下,我国航空货运具有巨大的发展潜力、在物流运输中的重要性愈发凸显。但是,目前我国航空货运网络存在抵御风险能力差的问题,严重影响我国航空货运的正常发展。因此,为提升我国航空货运网络的鲁棒性,保障我国航空货运的正常运行和健康发展,提前建立防范措施具有十分重要的意义。基于以上背景,论
现代煤化工产业的规模在逐年扩大,但还存在一些制约因素,其中水资源和水处理问题一直阻碍着煤化工的发展。煤化工每年不仅在生产上消耗大量新鲜水,而且还会产生近10亿吨的废水。废水具有差异性源于不同煤种以及煤化工生产过程,固定床煤气化废水是一类含高浓酚氨的废水。现有的煤化工废水处理流程除对氨的回收净化有所不足外,还常因为在酚氨回收工段出水中酚的含量过高从而影响后续生化处理。本论文以内蒙古某厂的煤气化废水为
随着监控摄像头的普及,基于视频数据的安防需求进步一步扩大。为了充分利用这些基础设施作为感知器官的能力,基于视频数据的行为识别成了学术上的研究热点话题。对于无人驾驶领域,针对道路上行人行为分析也是一个重要的难点,在该场景下的行为识别有助于提高汽车的防风险系数。行为识别不仅在安防,无人驾驶领域具有重要作用,在家庭服务机器人领域同样具有研究价值。随着世界范围的老龄化时代到来,家庭服务机器人市场也逐步开始
石墨烯因具有优秀的光学、热学、电学、机械性能,一经问世便成为了学者们关注和研究的焦点。目前,化学气相沉积法(CVD)是合成大规模、高品质石墨烯薄膜的最有效的方法。若要继续推动石墨烯在光电器件中的利用,就需要制备出可图案化且方向、位置可设计、电子结构可调节的石墨烯结构。而且,在许多领域中的应用对石墨烯的电导率、透光率等有着严格的要求,这些性质与石墨烯层数密切相关。因此,本研究从图案化石墨烯的要求出发