基于预训练语言模型自注意力机制的情感分析研究

来源 :河南大学 | 被引量 : 0次 | 上传用户:linlong__
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络的盛行与网络技术的发展,用户可在网络中发表自己对事物的观点,这些观点中含有用户想要表达的情感因素。这些含有明显情感的评论可以直接反映用户或网民对该事物的看法,随着大数据技术的进步以及硬件设施的提高,各个平台都会建立自己的评论板块,这使得网络平台上的信息文本数据量呈现急剧增长得趋势,如何更高效的得到文本中的有效信息,并且更加准确地发掘评论中的情感因素已成为当前工业界和学术界的迫切要求。情感分析又称为意见挖掘、主观因素挖掘等,通过计算机处理大量网络评论,对具有情感因素的文本进行分析的过程,该研究可以有效的通过评论等信息掌握大众对一些事物的舆论倾向。本文主要研究内容如下:(1)针对于传统情感分类模型的分类效果不足以及无法准确的捕捉词语之间关系的问题,本文提出一种基于预训练语言模型词向量融合的GE-Bi LSTM(Glove-ELMO-Bi LSTM)情感分析算法,先通过预训练语言模型ELMO以语言模型为目的训练词向量,再与传统的Glove模型的训练结果进行运算融合,结合了全局信息以及局部上下文信息,增加了词向量矩阵的稠密度,词语之间的特征得到更好的表达,结合Bi LSTM神经网络可以更好地捕捉上下文信息的关系。经过实验结果证明:GE-Bi LSTM情感分析算法可以生成高质量词向量,在数据集上测试,准确率比传统模型提高2.3%,F1值提升了0.17。(2)针对于传统深度学习情感分析模型无法准确的捕捉语义之间关系的问题,本文提出一种基于自注意力机制的SABG(Self-Attention-Bi GRU)结构,该结构通过使用Self-Attention作为主要训练层,获取关键词信息,通过多位置的attention计算关键词权重,并最终进行拼接,输出的权重矩阵作为新输入,通过多层Bi GRU(双向Gated Recurrent Unit)所构建的残差网络,最终进行情感分类任务。该结构可有效防止梯度弥散,经实验证明,效果优于传统情感分类模型,准确率比传统模型提高1.4%。
其他文献
库存路由问题(简称IRP)作为物流配送系统的基础理论问题,主要研究的是为供应商制定给若干客户配送产品的计划,需要同时决策客户配送方案和车辆配送路线,在满足多项约束的情况下最终实现总开销最低的目标。最大级别交付策略下的多周期库存路由问题(简称MPIR-ML)是库存路由问题的变种之一,国内外对该变种问题的研究成果却几乎没有,对该问题的研究还存在着很大空间。本文主要研究MPIR-ML问题及其求解算法,用
自从2002年11月,金伯利进程国际证书制度建立,至今有54个国家和地区参与了这项关于毛胚钻石原产地控制的国际协议,在国际上对钻石的原产地进行全程追溯监控,要求参与的国家以
随着计算机视觉技术的飞速发展,对图像理解技术的要求也越来越高。图像检索作为图像理解方向的一个分支,具有十分重要的研究意义。该文针对图像检索算法进行相关研究,旨在通过对图像形成更加有效的图像类别信息,进而训练出更加有效的图像检索模型,以提高图像检索的性能。首先,建立基于“点-面”类别模式的图像检索模型。在一对一图像检索的基础上增加了类别信息,将单个图像上的图像检索转化为类别图像上的图像检索,挖掘查询
互联网和科学技术的发展不断地降低物品的生产成本,致使物品空间迅速膨胀,长尾物品越来越多;物质世界的日益丰富,使得人们对个性化的要求也越来越高,而不再是从众地消费热门物品。但在信息的汪洋大海中,人们很难发掘自己感兴趣的长尾物品,长尾市场也难以定位到合适的用户群体。为了解决信息过载和不对称的问题,推荐系统应运而生,但目前常见的推荐算法大都倾向于为用户推荐热门产品。因此,构建长尾物品个性化推荐模型具有十
近年来,伴随全球新一轮的产业革命和科技发展浪潮,国内外机器人产业迅速发展,规模和市场在不断扩大。通过提高机器人的认知和学习能力,可以使机器人在非定制化编程的情况下,
学位
冗余机械臂由于其特有的冗余特性,相比于传统的非冗余串联机械臂,灵活度更高,应用场合更广,因而成为机器人领域研究的热点。本文以实验室自主研制的7R冗余机械臂为研究对象,结合容错性研究这一前沿热点,对冗余机械臂的容错性能进行分析研究,为充实和完善冗余机械臂的容错理论提供方向,对后续冗余机械臂的研究具有重要的指导意义。本文的整体结构和研究内容大致如下:1.针对自行研制的双偏置7R冗余机械臂,改进了其坐标
2008年经济危机后,西方国家开始重视通过移民基金——让外国公民以投资的方式取得该国居留权的投资方案或基金来引进国外资金,中国公民向海外投资移民的人数持续增长。本文以
学位
广义近似消息传递算法,双线性广义近似消息传递算法以及参数化双线性广义近似消息传递算法在压缩感知领域具有广泛的应用。该文基于深度学习网络化广义近似消息传递算法、双线性广义近似消息传递算法及参数化双线性广义近似消息传递算法,使用数据集以训练的方式更新参数,减少算法所需先验知识,使参数更加贴合目标问题的解决,在具体应用上体现出更为优秀的性能。论文具体内容如下:首先,引入深度学习中深度网络的相关知识,网络