基于BERT和复合网络的短文本情感分析研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:g123s123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机科学技术的不断发展和互联网的逐渐普及,各类社交媒体平台数量逐渐增多,短文本数据呈指数级的态势不断增长。研究者们对短文本进行情感分析的研究热度不断提高。本文对文本预训练模型和神经网络进行研究,通过BERT模型对输入的文本数据进行向量化表示,构建深度神经网络对词向量进行训练和优化,设计并实现了BERT-CNN-Bi GRU和BERT-GAT两个中文情感分析模型。针对目前的情感分析模型不能结合文本局部特征信息和上下文关联语义信息的问题,本文提出了BERT-CNN-Bi GRU复合网络情感分析模型。该模型首先通过BERT预训练模型对中文微博数据集中的数据进行向量化表示,利用Text CNN和Bi GRU网络对输出的词向量进行训练,两个网络的输出再通过注意力机制进行加权求和,从而把Text CNN网络提取局部特征信息的能力与Bi GRU网络提取上下文关联信息的能力结合,最后使用全连接层进行分类。实验显示,本文提出的BERT-CNN-Bi GRU模型在中文微博数据集上的分类准确率和F1值分别为0.9683和0.9681,相比其它模型有明显的优势。针对传统神经网络无法提取文本内部结构信息、在情感极性较为复杂的数据集上分类效果降低的问题,本文提出了一种基于多层级文本异构图的BERT-GAT中文情感分析模型。该模型对中文短文本数据集中的整句进行结构拆分并构造“整句—分句—词”的多层级文本异构图,利用图注意力网络训练提取多层级异构图中的结构信息,通过自注意力机制将该结构信息与BERT输出的整句语义表示信息进行融合,得到增强后的文本语义表示信息并用于最后的分类。实验显示,相比其它模型,本文提出的BERT-GAT模型在酒店评论数据集上的分类准确率提高了1.9个百分点。
其他文献
卡夫卡的小说《在流放地》中有一种强烈的诺斯替主义的色彩。基于诺斯替主义的核心特征和主要气质,本文探究《在流放地》中这种强烈的诺斯替主义色彩产生的原因,旨在说明卡夫卡的这个作品为什么会在某些方面与其暗合。
期刊
在对勒·柯布西耶的诸多评论中,“不可言说的空间”一词常被提及,但深入的探讨却相当匮乏。本文通过引入诺斯替主义与拉康派精神分析理论等方式,试图拓展这一建筑理论的边界,一方面是提供一个理解柯布西耶创作及其转变的新视角,另一方面是寻找自现代主义诞生以来的建筑与艺术的更深层次的人文价值。
期刊
虚拟电厂(virtual power plant, VPP)作为电网分布式能源管理的重要解决方案,参与碳交易能够充分发挥其环境效益并提升VPP整体收益。结合电动汽车参与核证减排市场的需求,文中提出VPP聚合电动汽车参与碳市场的协调调度优化策略。首先,设计VPP代理电动汽车参与核证减排市场的方案和流程,并通过收取服务费的方式提升VPP收益;然后,分析VPP不同聚合资源的碳排放特性,并采用场景生成法评
期刊
目的 分析2022年和2021年上海市公立医疗机构门诊患者满意度。方法 通过对2022年和2021年上海市公立医疗机构门诊患者的问卷调查,分析门诊患者对医疗服务的满意率和满意度评分,了解门诊患者希望得到改善的医疗服务,并采用多层广义线性混合模型比较了2022年与2021年的满意度评分。结果 2022年和2021年上海市公立医疗机构门诊患者的总体满意率分别为96.60%和95.30%,总体满意度分别
期刊
时间反转传输技术是一种利用多径效应来实现信号在时空域上能量聚焦的信号处理技术。由于将能量聚焦到期望接收机处,对非期望接收机的干扰较小,因此将时间反转传输技术应用于多用户系统中可有效减小用户间干扰,但其性能受用户信道间相关性的影响。功率域非正交多址接入技术是基于功率复用的多址技术,多个用户的信号通过分配不同的功率进行区分,不额外占用正交信道资源。将时间反转技术和非正交多址接入技术相结合,可优势互补,
学位
星地融合网络(Satellite-Terrestrial Integrated Networks,STINs)凭借其广覆盖、高容量等优势,以应对海量的数据增长及满足用户泛在的通信需求,正成为当前研究的热点。然而,一方面,STINs场景的复杂性、异构性导致网络资源难以被合理利用,进而影响用户通信质量和网络性能;另一方面,STINs拓扑动态性增加了用户与网络接入点关联的复杂度,进而影响用户的通信效率。
学位
为了精细考虑电网传输特性对虚拟电厂调度计划的影响,提升虚拟电厂调度计划的可行性,研究虚拟电厂运行中所需要满足的电网运行条件,提出一种考虑电网运行要求的虚拟电厂优化调度方法。虚拟电厂中各类分布式电源运行状态调整将导致电网中电压、潮流分布发生变化。通过将上述运行约束嵌入传统虚拟电厂优化调度模型中,构建计及配电网传输特性的虚拟电厂优化调度方法。基于REDS-32节点系统构造的算例表明,若不考虑电网运行约
期刊
第五代移动通信(The 5th Generation Mobile Communication,5G)技术的全面普及给人们的生活模式带来了极大的改变,它以速率高、延迟低和可靠性强的优点为各行各业带来革命性的变革。在5G系统中,非接入层(Non-Access Stratum,NAS)处于协议栈的顶层,包含移动性管理(5GS Mobility Management,5GMM)子层和会话管理(5GS S
学位
卫星通信作为实现未来6G空天地一体化与全球无缝覆盖的关键技术,但传统卫星通信网络中星上资源受限,难以满足用户对于新型业务服务质量的需求。结合地面移动边缘计算技术(Mobile Edge Computing,MEC),形成卫星边缘计算场景,突破传统中心云模式下卫星中继带来的缺陷,通过边缘卫星节点为用户提供低时延、高可靠的计算服务。然而如何在拥有多层、异构计算存储资源的卫星边缘场景下合理管理系统资源,
学位
无线应用场景的多样性和业务的实时性对蜂窝网络的容量、覆盖范围和速率等方面提出了越来越高的要求。无人机由于其易部署、维护成本低、灵活性和机动性高、悬停能力强等优点,能够在突发性或临时性任务中作为空中基站提供通信覆盖,为下一代无线通信提供高效可靠的解决方案。因此,准确地建模无人机辅助蜂窝网络对无人机辅助蜂窝网络的设计和部署至关重要。本文针对不同无人机辅助的5G通信场景,采用随机几何理论建立了两种无人机
学位