基于注意力机制的方面级情感分析研究

来源 :西华大学 | 被引量 : 0次 | 上传用户:wangxiaoxiao880523
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,自然语言处理各个领域取得迅猛的发展。支撑发展的核心技术之一—深度学习,在学术领域和工业界均取得了巨大的成就。许多学者们用深度学习技术来处理文本信息,借助神经网络和注意力机制进行文本情感色彩的判断。由于语言本身的复杂性,一个句子、一段文字可能会表达出多个不同的感情倾向,在借助深度学习技术分析较长篇幅文本的情感极性时遇到瓶颈。因此,将长文本进行细粒度的划分,从方面级的角度分析文本的情感成为当下情感分析领域的热门研究话题之一。然而,现有的研究也存在以下不足之处:首先,句子中不同单词相对于方面词的位置信息容易被忽略,导致神经网络和注意力机制在处理初始化后的词向量时不能合理分配单词的权重。其次,使用的神经网络结构较为单一,导致模型不能有效学习句子中隐藏的语义特征。在某一时刻,神经网络会遗忘掉前一时刻重要的词向量权重。最后,注意力机制的设计不合理,不能高效发挥它的作用。因此,针对以上存在的问题,本文提出三个不同的模型。第一个模型在初始化词向量的时候引入位置信息,构建位置向量。第二个模型将两种不同的神经网络相结合充分学习语义特征。第三个模型通过对注意力机制的设计和运用进行研究,提出了一种新型的多注意力机制协同工作的网络。本文的主要贡献如下:1.提出了一个融合位置特征和多级交互式注意力机制的方面级情感分析模型。首先,该模型根据句子中不同单词相对于方面词的位置构建位置向量,丰富词嵌入。考虑到不同上下文词对判断句子中方面词的情感极性的作用不同,模型根据它们距离的远近分配不同的词权重。其次,为了节约模型的训练时间,借助双向的多级交互式门控循环单元(GRU)提取语义特征。最后,使用注意力机制构建从方面词到上下文词和上下文词到方面词的句子的最终向量表示。在常用的四个数据集上,实验结果表明所提模型与基线模型相比有更出色的表现。2.提出了一个使用交互矩阵和全局注意力机制的方面级情感分析模型。该模型在考虑句子中单词间相互位置信息的基础上,引入长短期记忆网络、卷积神经网络两种不同类型的神经网络。在充分学习句子中的语义关系后,将方面词和上下文词的关系融合并矩阵化,进而与全局注意力机制相结合计算出最终的句子的向量。在常用的五个数据集上,实验结果显示所提模型与基线模型相比,性能好于其他同类模型。3.提出了一种新型的多注意力机制相结合的方面级情感分析模型。基于基础BERT模型,该模型进行了完善与提高。模型在初始化词向量的时候使用BERT,然后使用层内注意力机制和层间注意力机制两种不同类型的注意力机制。层内注意力机制是一个堆叠式结构,主要由多头自注意力机制以及点式前馈神经网络两部分构成。层间注意力机制使用一个交互式全局注意力结构。特别的,在此我们提出了一个特征关注机制模块帮助模型捕捉上下文信息。在常用的五个数据集上,实验结果表明我们的模型优于同类的情感分析模型。
其他文献
随着5G技术的逐步商业化,安装了各种新奇应用的用户设备对于我们已经不可或缺。类似VR/AR这样的高计算量应用通常是利用摄像头和本地传感器来执行基于实时感知操作。而这些应用有两个主要特性:第一,用户设备必须对传感器产生的数据流进行高速处理。第二,在数据流中提取有用信息的方式通常需要计算密集型服务支撑。由于上述两个特性,且用户设备计算资源有限,因此很难在用户设备上独立运行具有高计算量需求的应用。为此,
近年来,深度学习在不断地刷新着人们的生活,然而,深度神经网络迅猛发展的背后也存在着令人担忧的安全问题。近期,有学者发现深度学习中的神经网络模型很容易受到来自对抗样本的恶意攻击。对抗样本问题在图像数据、文本数据以及语音数据中都有出现,其最大的特点就是添加的恶意扰动足够小,以至于这些扰动对于观察者来说是不能够轻易察觉到的,此外,对抗样本还具有很强的迁移性,即对抗样本在使用相同数据集训练出来的不同的神经
近年来,国民经济迅速发展,人们生活水平不断提高,在关注生活品质的同时,自身健康问题也越来越受到重视。大众对于健身的观念也发生了转变,人们不再满足于通过医疗器械健身,或者是盲目的健身计划,而是寻求更加专业的、有计划的健身方式,从而可以避免盲目性的健身。例如肥胖是一个日益严重的公共健康问题,已经发展为流行病,肥胖是引发糖尿病、高血压、冠心病的重要危险因素,甚至还会让孩子面临心理和社交上的问题。除了控制
随着数据量的急剧增长,数据的存储和计算负担成为了许多用户的困扰,本地存储已经难以满足用户需求,云存储技术的出现很好地解决了这个难题。但是数据上传到云服务器之后,数据就不在用户的控制下了,许多安全问题就产生了。其中最重要的一个安全问题就是云端的数据的完整性,云服务器并不是完全可信的,服务器可能会因为各种原因导致数据的损坏,因此用户需要一个有效的方式来验证数据的完整性。一个好的数据完整性审计方案可以帮
大学生的体质健康问题越来越引起社会各界的广泛关注,大学生作为国家发展的新生力量,其体质健康关系着国家是否能有足够的力量迎接富强道路上的艰难险阻。但随着科技现代化的到来,人们的生活方式发生了很大的改变,大学生的体质健康状态也逐年下滑。机器学习方法正在以各种形式被应用于社会生活的方方面面,在很多领域为人们生活提供了方便。本文主要针对大学生体质健康问题,运用机器学习的方法,对不同类别体质的大学生进行运动
图像及视频分割作为多媒体数据内容挖掘与理解的关键步骤,成为近年热点研究的话题之一。视频协同分割作为视频处理的关键技术,相比诸多需要大量标注进行监督学习的方法,其通过挖掘视频间的相似性信息来弥补监督信息不足的缺点。同时,当下深度学习技术已广泛应用在许多领域,但多数深度学习技术依赖大量的数据标注。为解决获取成本高且时效性较低的数据标注的问题,迁移学习被研究者提出,以实现将已有的知识应用到目标任务中。无
入侵检测是网络安全技术的热点之一。通过分析从网络环境中提取到的数据,它可以检测是否有入侵行为的发生。随着计算机网络的不断发展,不断增长的网络流量给入侵检测带来了挑战。这使得入侵检测需要处理的数据量越来越大,而硬件的处理能力却并没有以相同的速度进步。为了提高入侵检测方法的检测性能,对数据进行降维是重要的研究内容。特征选择是数据降维的重要措施之一,它可以加快入侵检测的速度和提高入侵检测的性能。特征选择
网络中影响力节点的识别具有重要的社会意义和实际应用价值。传统影响力节点识别算法多以无符号网络为媒介,仅考虑个体间的正向链接关系。然而在真实的网络环境中,个体之间的联系不仅存在积极正向的关系,还存在消极负向的关系。一些基于符号网络的节点影响力识别算法也只是在传统识别算法的基础上进行简单改进,没有充分考虑节点间链接的正负属性。为准确识别出符号网络中的影响力节点,本文出了一种基于符号网络节点间依赖关系的
随着计算机网络技术的飞速发展,人们的交流变得更加便捷。然而,在网络中的交流可能会涉及一些重要内容,比如:个人的账户密码、企业的机密、国家的保密文件等。在传输的过程中,数据的安全性也受到人们的关注,隐写术也应运而生。隐写的载体可以是图像、文本、视频、音频等。日常沟通中图像占有较大的比重,因此本文采用的以图像为载体。针对隐写图像安全性、鲁棒性和最佳嵌入位置等方面的不足,研究与分析相关成果的基础上,提出
近年来,在线社交网络在世界范围内迅速普及,成为人们日常交流、信息获取和讨论热点事件不可或缺的工具。人们加入多个不同社交网络平台,如微博和推特,能够同时享受不同的服务。作为跨平台用户的自然人则充当了连接多个网络的桥梁。跨社交网络用户对齐问题旨在从多个不同社交网络上的众多虚拟账户中寻找相同的自然人。该问题由于其在跨网络商务推荐、链路预测、网络空间安全等应用领域的潜在实用价值受到学术界和工业界的广泛关注