基于图卷积神经网络的文本分类研究

来源 :南宁师范大学 | 被引量 : 0次 | 上传用户:zx2353
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网无时无刻都在产生新的文本数据,借助文本分类可以极大的提高我们工作或生活效率。以往的文本分类工作都是基于传统的机器学习以及深度学习来进行处理的,传统机器学习需要构建繁杂的人工文本特征,深度学习虽然避免了人工特征的构建,但是存在着梯度爆炸以及梯度消失的问题,所以导致深度学习模型无法解决文本长依赖问题,同时深度学习是对单个样本数据进行处理的,无法考虑样本之间的关联关系,所以无法良好的处理文献互引数据。图卷积神经网络能充分考虑各个顶点的关联关系,其中顶点就是样本数据,目前图卷积网络是利用词共现的方式对文本进行处理,并构建成图文本数据,利用词共现能良好的解决长依赖问题,因此图卷积神经网络是目前解决文本分类任务较为有效的方式。本文基于图卷积神经网络进行改进,对传统的图卷积神经网络进行网络重构,提高了图卷积神经网络对数据的进行特征抽取能力,本文的主要工作有以下两点:一、通过超图与图卷积神经网络结合的超图卷积网络能良好的表达数据集中的多元关系,所以有效的处理文献互引数据集,但超图卷积神经网络使用的损失函数是传统的交叉熵,交叉熵损失函数只关心正确标签预测概率的准确性,忽略了其他非正确标签的差异,导致学习到的特征比较松散,从而使得模型对每个类之间所提取的特征相差不大,只是单纯的改进网络结构无法弥补交叉熵带来的缺陷。因此本文提出了基于原型学习的超图卷积神经网络,使用原型学习来弥补交叉熵带来的缺陷,原型学习会训练出每个类的中心向量,通过计算模型输出的特征与样本相对应标签的中心向量的距离作为模型的损失,通过原型学习的方式来指导模型进行权重参数的更新,使得模型对每个类所输出的特征更紧凑,类间的特征差距更明显。通过原型学习的加入,使得超图卷积神经网络的性能有了明显的提升,极大的提升了超图卷积神经网络在文献互引数据集的分类准确率。同时构建了文本超图,将基于原型学习的超图卷积神经网络分类模型应用在文本分类上,在数据量较小的情况下也能取得不错的分类性能。二、图卷积神经网络在处理文本数据集时,没有充分考虑各个顶点的异同,限制了模型从不同角度来考虑邻居顶点信息的能力,采用图注意力机制,可以为不同顶点分配不同权重,在信息聚合的时候可以依据注意力机制使用不同的权重来聚焦于对当前任务更为关键的顶点信息,但图注意力机制需要通过顶点特征来计算图中每两个顶点之间的连接程度,而顶点特征的维度一般都比较大,且数量众多,所以这个过程极耗计算机资源。而图卷积神经网络构建图结构数据时,将所有文本以及词汇作为顶点,所以其构建的图是极其庞大的,所以图卷积神经网络很难利用图注意力处理由文本构成的图结构数据,其算法复杂度无疑成本增加。因此本文提出基于注意力机制的图卷积文本分类模型,传统的图卷积神经网络文本分类模型在更新文档顶点信息的时候是利用与其连接的词汇顶点进行信息更新的,而传统的聚合方式没有充分考虑文档顶点对每个与其所连接的词汇的异同,而实际上,每个词汇对文档的重要程度是不一样的。本文提出了轻量级的图注意力机制,避免了计算资源占用过大的问题,并搭建了基于注意力机制的图卷积文本分类模型引导模型关注相关性更大的词汇,并从特征的多样性的角度来提取特征,提升文本分类的性能。本文对所提出的工作进行多组实验对比,在各个分类性能指标上能取得较高的结果,验证了本文所提出模型的有效性。
其他文献
在当代心理学观点中,学习是学习主体头脑中新、旧知识相互作用形成新的认知结构的过程。认知在新知识获取过程中发挥重要作用,学生在学习过程中产生的认知障碍必然会妨碍新知识的顺利构建。因此调查分析学生在学习过程中的认知障碍及其成因,有利于改善学习效果。离子反应是化学学科核心概念的重要组成部分,也是学生学习的难点痛点之一,调查与分析学习过程中产生的认知障碍及其成因对改善学习效果具有重要意义。研究以加涅学习结
数学模型思想是一种重要的数学思想,在当前实施的《义务教育数学课程标准(2011年版)》中,模型思想已被列为十大核心词之一,《普通高中数学课程标准(2017版)》也把数学建模能力列为六大核心素养之一,可见数学模型思想对学生的数学学习具有非常重要的意义。模型思想虽然如此重要,但在数学教学中仍存在着许多问题。比如学生能否应用数学模型思想解决实际问题,在解题时存在哪些问题,教师能否针对模型思想的理解和应用
21世纪是一个科技不断发展的时代,科技带给我们日新月异的变化。随着新时代的不断发展,时代所需要的人才不再只是单一的人才,而是需要创新发展的高素质人才。在合作学习的教学过程中,学生在相互合作、共同学习的氛围中学习,将会比传统教学上的学习发展得更好,更主动的学习知识。在合作学习中的课堂中,学生作为课堂的主人,教师作为组织者和引导者,学习的氛围轻松愉快,师生互动、生生互动比较频繁,学生的学习兴趣较为浓厚
职业教育是国民教育体系和人力资源开发的重要组成部分,担负着培养国家高技能人才和高素质劳动者的重要任务,与经济社会发展有着密切关联。2019年1月,国务院印发《国家职业教育改革实施方案》,提出在新时代背景下发展职业教育的具体要求与举措,这一纲领性文件也进一步确立了我国职业教育的地位,与普通教育同等重要。从属性来看,职业教育属于准公共产品,具有明显的公益性,其主要提供者和管理者为政府。政府作为职业教育
随着社会的不断进步,科学的快速发展,对于人才的需求也出现了变化,国家需要人才促进党和国家的发展,新时代的人才更注重理论和技术相结合,需要能在实际中应用理论。学生从初中阶段开始系统地学习物理,虽然这个阶段的学生抽象思维能力较弱,但好奇心强,乐于探索和接受新奇事物。物理模型是理论与实际的连接点,构建物理模型需要多种思维能力的结合。2017年版的普通高中物理课程标准中明确将学生的物理建模能力纳入学生学业
微视频是近几年来众多教育学者关注的热点,随着网络时代的发展,教学微视频发生巨大的变化,各种各样的教学微视频带给人们不同的视觉体验。同时,教育也在不断的改革创新,这就要求教学微视频要应对时代的发展,顺应时代的变迁,及时更新知识结构与逻辑思维,在教学微视频的创作过程中添加新的元素,将微视频在教学过程中恰当地应用,更多体现学科素养,达成教育目标。本研究在访谈和问卷调查的基础上,了解一线教师和学生对微视频
随着社会的飞速发展,对人才需求的层次也越来越高,教育改革是培养国家需求创新型人才的必经之路。教学改革的必然选择是深度学习,深度学习是使化学核心素养落地的重要途经。然而,受我国应试背景的影响,在当今的课堂教学中仍然存在重分数、轻能力的现象,教师主要就是考什么,教什么,培养学生的学科核心素养就像是一个口号,如何让学科核心素养真正落地是目前课堂教学中亟待解决的问题。深度学习的理念与化学实验教学关键性问题
高中化学新课程标准对实验教学提出了的新要求,并将化学核心素养作为学生全面发展的重要指标。化学实验教学不仅是化学课程的重点,也是体现学生科学探究与创新意识的具体内容。以发展学生科学探究与创新意识为出发点对高中化学实验进行设计,对提高高中化学实验教学质量起到促进作用。因此,开展促进学生科学探究与创新意识的高中化学实验教学策略研究是十分有必要的。在研究中采用了问卷调查法,通过发放调查问卷对实习学校学生的
社会的发展处于信息化的时代,对于人才的要求越来越高,创新型人才和探究型人才需求量增多。基础教育是培养学生科学探究能力最直接的途径,而化学学科是以实验为基础,通过实验培养学生的探究能力。随着新课程改革的要求,课堂教学提出教为主导,学为主体的教学理念;支架式教学是从学生的“最近发展区”出发,在教学中以学生为主体,从当前知识水平出发培养学生的创新能力和探究能力。通过对学生的科学探究能力的现状调查,利用支
体育教育能够帮助大学生强身健体的素质作用,融入德育、价值观、道德理想信念的元素,在体育教育时融合思想政治教育元素,帮助学生树立正确的价值观。“课程思政”是一种创新的教学理念,它主要是指在坚持传统思想政治理论课教育的基础上,把思想政治理论课的内容和精神与其他课程和教学相结合。2019年3月18日习总书记在学校思想政治理论课教师座谈会重要讲话等精神,再次强调落实立德树人应作为学校教育根本任务,构建学校