基于融合情感词向量和层级Transformer编码器的文本情感分析研究

来源 :济南大学 | 被引量 : 1次 | 上传用户:bolinyuan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网、大数据等技术的飞速发展,人们越来越多地在网络平台上发表自己的观点和意见,这些观点和意见是以文本信息为数据载体的。因此,研究这些文本信息的情感倾向,有着极高的商业价值。文本情感分析就是对含有情感色彩的主观性文本进行分析,并挖掘出其蕴含的情感倾向的过程。起初,研究学者使用基于情感词典与规则的研究方法以及基于传统机器学习的研究方法来完成文本情感分析任务,尽管这些方法取得了良好的效果,但这些方法往往需要借助人力进行词性标注,并且泛化能力较差。近年来,深度学习方法凭借其强大的数据表征和学习能力,被广泛地应用到文本情感分析任务中,并取得了显著效果。然而文本情感分析研究依然存在着一些问题,首先,现有词向量无法准确表征单词的情感信息,其次,针对上下文较为复杂的数据集,现有模型无法有效地解决文本中的一词多义现象。根据现有文本情感分析模型存在的问题,开展了研究工作,具体研究内容如下:(1)针对现有词向量无法准确表征单词情感信息的问题,本文提出了融合情感词向量的方法,分别使用基于上下文情感信息建模的词向量与基于上下文语义建模的词向量对单词进行编码,来表征单词的情感和语义信息。在此基础上,使用了双向循环神经网络分别提取单词的情感特征以及语义特征,并将两种特征进行融合,然后,使用注意力机制来进一步提高模型的分类精度。最后,基于上述设计,本文提出了SS-Bi LSTM-ATT模型。实验结果表明,该模型在评估指标上优于所选取的对比模型。(2)针对文本情感分析任务中的一词多义现象,如何准确提取复杂的上下文是解决该问题的关键。因此,本文提出了SS-Hi Transformer模型来准确提取复杂的上下文,模型中使用了层级Transformer编码器结构,该结构利用Transformer编码器强大的特征提取能力,分别提取文本的单词级特征和语句级特征,从而更有效地捕捉上下文情感信息和语义信息。与现有模型不同的是,本文还采用基于Transformer的解码器来单独处理需要预测的语句,并使用注意力机制来让模型更关注于上下文语句和需要预测语句之间的相关性。此外,过短的上下文会导致上下文信息的丢失,而过长的上下文又会引入数据噪声。因此,实验中还探究并选取了模型的最佳上下文长度值。实验结果表明,该模型在评估指标上优于所选取的对比模型。
其他文献
道岔是火车站电气服务现场的重要设备之一,其状况的可靠性和安全性直接关系到铁路运输的安全运行。转辙机是铁路道岔的核心设备,可实现道岔的变轨和锁定功能,转辙机的工作状态对列车的速度和运行的安全起着决定性的作用。在转辙机监控中,转辙机缺口是转辙机工作状态的重要参数。它反映了道岔在定位和反位之间切换后基本轨与道岔尖轨之间的贴合程度。缺口的过大或过小,显示了道岔运作中可能存在的各种问题,并有可能导致挤岔、脱
学位
近年来个人信息保护面临的压力愈发严峻,个人信息权益受到侵害的数量与程度逐年增加。对于个人信息保护的立法虽已持续数年,但是个人信息保护面临的挑战依然严峻,个人信息法律保护模式研究正是基于现有的这个问题的探索回应。这种回应从个人信息的基本内涵出发,再对我国当前个人信息保护面临的困境与挑战进行分析,然后研究国内外不同国家的个人信息保护模式,最后提出我国个人信息保护模式的完善建议。个人信息的基本内涵从个人
学位
关联企业实质合并破产规则目前已经大量应用于司法实践,但由于没有成文法的指引,实践中呈现出各种不同的操作方法,其中既有平衡处理各方利益的典型案例,也有通过制度漏洞行逃避废债之实的反面案例。为回应实践之需要,特对此展开研究,以推动该规则在我国的立法确立与司法适用。在无成文法的背景下,通过对现有会议纪要、指导规定并结合相关案例进行分析,关联企业实质合并破产规则的适用主要体现在适用标准和程序两个方面。在适
学位
我国县级以上地方人大及其常委会,有权讨论并决定本行政区域内的重大事项与重大项目。作为地方的重大事项,涵盖本行政区内的政治、经济、文化、科技、生态环境、自然资源、民族宗教等一系列直接关乎公民权利、人民福祉、社会安定、国家发展的重大事项与重大项目。作为地方人大及其常委会的基本职权之一,长期以来,其内涵与外延存在界定不清、与地方人大其他职权交叉适用难题、与同级党委决策权、政府执行权的并行适用等问题尚未在
学位
有限责任公司的股权让与担保是让与担保在商事领域与股权相结合出现的新的担保形式,在实践中已经成为非典型担保的重要组成部分。我国中小微企业数量激增,但是在新冠肺炎疫情大流行的背景下,企业融资面临困境,现有的传统融资形式不足以满足企业的发展需要。股权让与担保这一新的担保形式在商事领域应运而生,凭借其特有的优势蓬勃发展。但是与让与担保的发展路径一致,股权让与担保在实践中产生,目前亦主要在实践中被广泛应用,
学位
随着智能终端设备的发展,以获取用户隐私信息和敏感数据为主要目标的恶意应用成为移动智能终端用户面临的主要威胁。移动恶意应用的检测方法主要分为基于静态分析、基于动态分析和基于网络行为的分析方法。基于静态分析的方法重点关注恶意应用的代码层面和可执行文件的分析,该方法无需运行应用,难以应对代码混淆技术。基于动态分析的方法针对应用程序运行过程中产生的事件和行为进行分析,此过程需要将恶意应用在虚拟设备或者真实
学位
开放共享已经成为大数据时代科研数据服务的发展趋势。国内外现有药学相关共享数据服务主要采用关键词字符串匹配方式检索,检索结果只是依据字符串编码相近或相似,无法从语义信息、分子结构特征等角度提供相似或相近检索,无法提供包含更深层次信息的搜索结果。从语义信息、分子结构特征等多维度研究挖掘数据之间的深层次联系,提供多维度数据检索服务,更有助于提升检索结果的准确度、深度和广度。论文主要从文本语义相似、分子结
学位
图像分割是根据有关特征对图像的不同区域进行划分,精确的分割对图像语义分析具有重要的意义。鉴于图像分割和基于划分的聚类方法所具有的共性,以及图像分割中实际存在的区域边界模糊化的问题,模糊聚类方法目前已成为实现图像分割的一类有效方法。但传统的模糊聚类方法由于只考虑了图像的像素强度对分割结果的影响,比较容易受到噪声影响,从而造成分割结果的不准确。引导滤波(Guided Filter,GF)方法由于可以有
学位
引文网络是通过论文之间的引用和被引用关系构成的复杂网络,描述研究者的成果、科学领域的发展和学科间的关系。论文间的引用关系,揭示相近领域下相关的研究内容。引文网络包含多个领域的研究成果,作为学术研究中重要的知识宝库和科学研究的重要介质。引文网络中引用论文与被引用论文的关系体现内容的相关性和知识的传递,引用关系在时间上具有单向性。由于论文引用关系是单向的、稀疏的,如何完善现有论文用网络变得至关重要。近
学位
“日盲”紫外真空探测技术一直在军事领域与民生领域发挥着重要的作用,包括导弹告警、紫外通信、火灾检测和电晕检测等。为了进一步提高“日盲”紫外真空探测器件的性能,β-Ga2O3作为新兴的第四代超宽禁带半导体,近年来不断被研究者们进行更加深入的研究。β-Ga2O3具有4.4~4.9e V的宽禁带,高达~8MV/cm的高击穿电场强度,另外具有稳定的化学性质,这些优势使其在光电器件和高频高功率电子器件中广泛
学位