基于混合神经网络的多标签文本分类研究

来源 :贵州大学 | 被引量 : 0次 | 上传用户:sfish001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的快速发展,互联网中的文本信息呈爆炸式增长,导致了信息过载的现象,对大量的文本信息进行高效且准确地分类能够很好地解决该问题。在现实生活场景中,文本信息往往具有多个标签,单标签文本分类已经难以对文本信息进行准确地定位,多标签文本分类逐渐成为自然语言处理中基础且重要的研究方向。因此,本文对多标签文本分类的特征提取和文本表示技术展开研究,构建了基于混合神经网络的多标签文本分类模型。本文的主要研究工作包括以下几个方面:(1)神经网络模型能够实现自动提取特征,但单个神经网络模型在特征提取过程中存在特征提取不够全面的问题,因此提出了一种融合Bi GRU和Capsule模型的混合神经网络模型。Bi GRU模型利用当前词的上下文信息提取输入文本的全局特征表示;注意力机制通过对不同特征分配其相应的权重来筛选出对分类任务更为关键的文本特征;Capsule模型通过动态路由机制提取出文本的局部特征表示。最终通过实验表明,构建的混合神经网络模型ATT-Bi GRU-Capsule得到了更全面的文本特征且其性能指标都优于实验中设置的其他对比模型。(2)在模型训练过程中,传统的文本表示方法存在学习不充分以及向量表征过于单一化的问题,而具有动态词向量的预训练模型可以让整个模型从一个更好的初始状态进行学习,且很好地处理词语的多义性特征,因此提出了一种基于预训练模型的多标签文本分类方法。首先构建了一个在BERT-base模型的输出结果上添加全连接层来调整输出特征维度的BERT-FC模型,接着在经典多标签英文数据集AAPD上验证了使用BERT-FC模型比其他的模型能够获得更好的性能;然后引入BERT预训练语言模型作为ATT-Bi GRU-Capsule模型的嵌入层,将其输出的动态词向量输入到特征提取层中,并与Word2Vec模型作为嵌入层进行对比,实验表明该模型具有更高的准确率,证明了文本表示在文本特征提取过程的重要性,进一步提高了分类的准确性。
其他文献
根据《中国环境资源审判(2019)》中统计,2019年已审结的刑事附带民事公益诉讼案件数量占检察机关提起的环境公益诉讼案件数量72.3%。与之在实践中被倾向性适用形成对比的是对其制度的原则性规定零星分布、具体规则缺位的局面。在刑民交叉的视角下,刑事程序与民事公益诉讼程序相互衔接的冲突解决规则,在司法实务中还处于摸索阶段。例如在管辖方面,因刑民交叉而产生级别管辖冲突;证据方面,存在检察机关调查核实权
乡村振兴战略阶段性目标要求2022年现代乡村治理体系初步构建,社会治理是乡村振兴的基石,全面依法治国战略要求现代乡村治理必须在法治轨道上,乡村要振兴要法治,应充分发挥两大国家战略的叠加整合效应优势,乡村法治保障关键发力点在法治政府建设、立法、司法、执法、普法及德治、自治。长沙高新区是全国首批国家级高新区,通过行政授权、委托行使长沙市人民政府、岳麓区人民政府、望城区人民政府的社会事务管理权限,调查其
本文聚焦于无人驾驶汽车领域的隐私权保护问题研究,从无人驾驶汽车隐私权保护的特殊性与重要性论述无人驾驶汽车中隐私权保护问题研究的必要性:特殊性在于无人驾驶汽车中隐私权保护问题与传统隐私权、其他语境下特殊隐私权的保护问题存在显著区别;重要性在于对无人驾驶汽车中隐私权的保护系对权利的保护、对商业价值的维系及对社会秩序的维护。文章主体部分从侵权主体、侵权行为、侵权责任三部分系统性地研究无人驾驶汽车中隐私权
民间借贷作为民间融资的重要途径,利率问题备受瞩目。本文从司法裁判的角度观察民间借贷纠纷中利率问题,发现最高人民法院于2020年8月修改了民间借贷利率的裁判依据,实现了民间借贷利率的变相下降,但民间借贷利率裁判仍存有不足之处,如利率裁判依据“一刀切”、片面化等问题,民间借贷审判及执行过程亦存在急需改进之处,如缺失司法裁量权适用、原被告双方无法形成有效对抗等困境。为了解决民间借贷利率裁判的司法困境,本
乔伊斯·卡罗尔·欧茨是美国当代著名小说家,被誉为当代世界文坛“心理现实主义作家”,并以多产闻名。自1963年第一部短篇小说集《北门边》问世以来,欧茨迄今已出版各类作品一百余部。欧茨常在其小说中剖析美国社会潜在的暴力。故事中常常出现强暴、谋杀等阴暗、暴力的情节,这些情节揭露了人性的黑暗面,致力于揭示生活中的不公和邪恶。在2013年的力作《被诅咒的》中,欧茨继续关注妇女的命运以及社会暴力等问题。故事虽
证券市场上ST公司的上市状态不断更迭,ST公司的一举一动都会引起市场的关注。随着市场竞争逐渐加剧,越来越多的企业在战略层面进行改革创新,以求自身实力的突破。在我国退市制度不断完善的背景下,结合企业战略对ST公司生命轨迹的影响因素进行深入研究,不仅有助于治理ST公司,而且可以从根源上防范正常公司演变为ST公司,这对于我国提升上市公司质量、推进经济结构转型升级有着重要的意义。本文主要基于新结构经济学视
当前,我国要建立以国家公园为主体的自然保护地体系、改善自然保护地保护、管理存在的问题,都离不开法治做保障。除了生态文明改革部署和政策导向为制定《自然保护地法》创造了良好条件,进行自然保护地专门立法还在于弥补自然保护地体系缺乏一部上位法、基本法的立法空白。已有自然保护地法律法规在一定时期为我国自然保护地的建立和管理发挥了重要作用,但现有问题表明自然保护地有关立法已经不适合当前我国自然保护地的管理需要
本文主要研究版画创作中“天地人和”的情感表达。“天地人和”是中国传统的思想文化,追求人与自然的和谐统一。而情感是人对生活现象的一种复杂而又稳定的生理评价和体验。近代以来,随着西方艺术思潮的引入,艺术家开始走出僵化的绘画模式,以自身对事物的观察和分析为出发点,将个人主观意识融入到画面中并以自己独特的绘画语言实现绘画中的情感传递。在版画创作过程中我们也要注意从个人角度去观察和分析身边的环境和场景,结合
歌剧《蝴蝶夫人》是浪漫主义时期作曲家普契尼最著名的作品之一。这是一部伟大的抒情悲剧,该剧以日本为背景,叙述女主人公乔乔桑与美国海军军官平克尔顿结婚后空守闺房,等待而来的却是爱情的背弃,最终以乔乔桑自杀为结局。《永别了,爱恋的家》是这部歌剧中最为出彩的男高音咏叹调,旋律悲凉又沉郁,具有强烈的戏剧性与抒情性。本文在了解《蝴蝶夫人》这部歌剧的创作背景以及剧情概括的基础上,着重从曲式分析、角色塑造、演唱三
在经济全球化浪潮下,经济发展模式从高速增长转变为高质量发展。在我国经济中制造业具有重要的位置,就传统的制造业而言,依靠廉价的劳动力和低产品附加值维持发展,加之不完善的绩效管理制度难以在市场竞争中取得优势。基于此,A公司成立10年来各方面都呈现快速发展趋势,具有很大的市场潜力,这样的形势给未来的发展带来巨大机遇的同时,也带来了不可忽视的挑战,随着A公司的不断发展,原有绩效管理体系的缺陷越发明显。本论